找回密码
 社区注册

快捷登录

QQ登录

只需一步,快速开始

快捷登录

QQ登录

只需一步,快速开始

终于有人把大数据讲明白了
2022-4-16 07:50| 发布者: 梁永健| 查看: 1680| 评论: 20
微富网 网站首页 活动策划 查看内容
摘要 : 导读:我们将从大数据的概念、核心技术、特点、通用应用这4个方面对大数据进行阐述。作者:王健宗 何安珣 李泽远来源:华章科技01 大数据概念数据发展推动科技进步,海量数据给数据分析带来了新的机遇和挑战。大数据 ...

导读:我们将从大数据的概念、核心技术、特点、通用应用这4个方面对大数据进行阐述。

作者:王健宗 何安珣 李泽远

来源:华章科技

终于有人把大数据讲明白了

01 大数据概念

数据发展推动科技进步,海量数据给数据分析带来了新的机遇和挑战。大数据是一种强大到在获取、存储、管理、分析方面远远超出传统数据库软件工具能力范围的数据集合,具有海量的数据规模、快速的数据流转、多样的数据类型和较低的价值密度这四大特征。

于是,我们需要新的处理模式来实现更强的数据处理能力以应对多样化的信息资产。

大数据技术追求的不是精确性的样本数据,而是面向全体的数据,这部分数据可能是不精确的、非结构化的,但大数据技术正是利用这些之前未被利用的数据,创造新的价值。

从海量数据中获得的数据处理结果可能是超乎我们的认知逻辑的,但是我们并不需要理解结果背后的因果关系。简言之,我们需要用相关思维替代因果思维。

02 大数据核心技术

大数据在信息系统的生命周期中,从数据源到最终产生有价值的可视化信息,主要经历6个步骤,分别是数据收集、数据存储、资源管理与服务协调、计算框架确定、数据分析和数据可视化,此过程涵盖了海量分布式系统、数据库、并行计算框架、数据挖掘等方面的技术。

图2-1罗列了大数据技术中各个步骤目前所对应的主流技术体系,大数据的相关技术日新月异、层出不穷,由于篇幅限制,不再一一列举。


终于有人把大数据讲明白了

▲图2-1 大数据的主流技术体系

03 大数据特点

大数据具有海量的数据规模、快速的数据流转、多样的数据类型和较低的价值密度这四大特征,下面将分别进行详细阐述。

1. 海量的数据规模(Volume)

大数据所采集、存储和计算的数据规模都非常大。随着互联网的广泛应用,使用互联网的人和企业等增多,数据的创造者变多,数据量呈几何级增长。近年来,随着数据维度变多、数据类型增加、数据的描述能力增强,数据可以传达的信息也越来越多,越来越准确。

2. 快速的数据流转(Velocity)

大数据不仅增长速度快,处理速度也快,有很强的时效性。在信息时代,人成为网络的核心,每个人每天都在制造新的数据,这些数据再被相应的机构如政府、互联网企业、银行、电信运营商等收集,形成了一个个庞大的数据体系。

面对如此庞大的数据体系,处理数据并得到结果的速度越快,数据的时效性就越强,价值就越高——而大数据和传统数据挖掘最大的区别也在于此,大数据更强调数据处理的实时性和时效性。

3. 多样的数据类型(Variety)

大数据的种类和来源多样化,多样的数据为数据处理带来了挑战。在数据结构上,大数据可以分为结构化数据、半结构化数据和非结构化数据;在具体形式上,大数据可以分为视频、音频、图像、博客、社交网络、互联网搜索等。大数据迎接的挑战就是要针对这些结构不一、形式多样的数据,挖掘其中的相关性。而这些前所未有的、来自各个领域的、不同形式的数据,赋予了大数据强大的威力。

4. 较低的价值密度(Value)

大数据的价值密度相对较低。数据的价值密度和数据的规模呈反相关,数据的规模越大,数据的价值密度越低。大数据最大的价值即在于从大量低价值密度数据中挖掘出对分析和预测等有价值的信息。

相较于传统数据挖掘利用结构化的数据类型,大数据把目光也投向了非结构化的、非抽样的、包含全体的数据类型。这为大数据带来了更多的有效信息,但同时也增加了大量无价值的甚至是错误的信息。


终于有人把大数据讲明白了

04 大数据的通用应用

大数据已经渗透到了全世界市场中的各个领域,彰显着巨大的价值,其在各个领域的详细应用情况如下。

1. 金融领域

大数据在金融领域应用广泛,如针对个人的信贷风险评估,银行根据用户的刷卡、转账、微信评论等数据有针对性地推送广告;理财软件通过大数据为客户有针对性地推荐理财产品。总结来说,大数据在金融领域的应用可以概括为精准营销、风险控制、效率提升、决策支持。

2. 医疗领域

医疗行业拥有大量的病例、检测记录、药物记录、治疗结果记录等,这些数据中蕴含着巨大的价值,如果可以加以利用,将对医疗界产生不可估量的影响。疾病确诊和因人而异的治疗方案设定是医疗领域的重大问题,大数据可以帮助建立针对疾病特点、病人状况以及治疗方案的数据库,为人类健康贡献巨大的力量。

3. 生物领域

各国研究人员正如火如荼地推进着人类基因组计划,这促进了生物数据的爆发式增长。基因检测可以帮助人们对自己现在的以及未来的健康状况有更深刻、全面的认识,甚至可以帮助父母在宝宝出生前就对其健康状况进行检测。因此,人类基因组计划是未来人类战胜疾病的重要工具。

大数据可以整合已有的人类基因的检测结果并进行分析,加速人类基因组研究的进程。

4. 零售领域

零售行业可以利用大数据了解顾客的消费偏好和趋势,用以商品的精准营销和相关产品的精准推销,降低运营成本,提高进货管理和过期产品管理效率。大数据可以帮助零售商预测消费者需求趋势,更高效地提高供应链满足需求的能力。对大数据带来的潜在信息的挖掘和有效利用,将成为未来零售领域的必争之地。

5. 电商领域

电商行业的数据集中、数据规模大,可以利用大数据在很多方面进行有效信息的分析提取,如用户消费趋势、地域消费特点等。

电商领域中的大数据应用已经颇具规模,电商也是最早利用大数据进行精准营销的行业。电商可以根据顾客消费习惯提前备货以提高商品送达效率,还可以通过对客户浏览、收藏、加入购物车和购买记录等数据的分析,对用户进行有效的商品推荐,提高销量。


关于作者:王健宗,博士,某大型金融集团科技公司资深人工智能总监、高级工程师,中国计算机学会大数据专家委员会委员、高级会员,美国佛罗里达大学人工智能博士后,曾任美国莱斯大学电子与计算机工程系研究员、美国惠普公司高级云计算解决方案专家。

何安珣,某大型金融集团科技公司高级算法工程师,中国计算机学会会员,中国计算机学会青年计算机科技论坛(YOCSEF深圳)委员。拥有丰富的金融智能从业经验,主要研究金融智能系统框架搭建、算法研究和模型融合技术等,致力于推动金融智能的落地应用与价值创造。

李泽远,某大型金融集团科技公司高级人工智能产品经理,中国计算机学会会员,长期致力于金融智能的产品化工作,负责技术服务类的产品生态搭建与实施推进。

本文摘编自《金融智能:AI如何为银行、保险、证券业赋能》,经出版方授权发布。

终于有人把大数据讲明白了

延伸阅读《金融智能》


这是一部讲解如何用AI技术解决银行、保险、证券行业的核心痛点并帮助它们实现数智化转型的著作。作者从金融智能一线从业者的视角,深入剖析了传统金融行业的痛点与局限,以及金融智能的特点与优势,阐明了人工智能等技术在金融业的必要性,并针对金融智能在银行、保险和证券业的诸多应用场景,给出了具体解决方案。
微富网声明1,本文仅代表作者观点,与微富网无关。其原创性以及文中陈述文字和内容未经本站证实!
2,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容!
3,如果本文内容有侵犯你的权益,请发送信息至admin@vfuw.cn,我们会及时删除!
4,如需要使用营销软件或者程序开发请联系客服或者注册登录免费体验!(网址:mp.vfuw.cn)

路过

雷人

握手

鲜花

鸡蛋
发表评论

最新评论

引用 远喜虫宝 2022-4-16 08:01
转发了
引用 传奇03 2022-4-16 08:01
转发了
引用 八戒的大耳朵付 2022-4-16 08:00
转发了
引用 羽灬飘凌飘uu 2022-4-16 07:59
转发了
引用 提拉米苏的青春 2022-4-16 07:59
转发了
引用 不念则忘不h 2022-4-16 07:58
转发了
引用 还行吧行j 2022-4-16 07:57
转发了
引用 俞王啸坤范 2022-4-16 07:57
转发了
引用 飞哥~飞鸟微视 2022-4-16 07:57
转发了
引用 xiaoyuzhou2018 2022-4-16 07:56
转发了
引用 臸掵邂逅 2022-4-16 07:55
转发了
引用 傲视之妻忌 2022-4-16 07:55
转发了
引用 半仙仙g 2022-4-16 07:54
转发了
引用 秋叶728 2022-4-16 07:53
转发了
引用 123461961 2022-4-16 07:53
转发了
引用 極地无言言l 2022-4-16 07:52
大数据就是侵犯老百姓的隐私,细思极恐
引用 ______121 2022-4-16 07:52
大数据!
引用 科罗拉多 2022-4-16 07:51
最精华之处,不是自上而下的分配资源。而是可根据需要,从任何角度合成资源,并作用于终端的任何一个点位。
引用 神殇質陌路 2022-4-16 07:50
可以入行大数据的,很多大型企业都在招聘,只要自己愿意做,愿意学
引用 syrinx华 2022-4-16 07:50
大数据在金融领域应用广泛,如针对个人的信贷风险评估,银行根据用户的刷卡、转账、微信评论等数据有针对性地推送广告;理财软件通过大数据为客户有针对性地推荐理财产品。总结来说,大数据在金融领域的应用可以概括为精准营销、风险控制、效率提升、决策支持。

查看全部评论(20)

推荐阅读
抖音小店无货源店群风口项目,新手小白该如何入手?精细化运营实操教学 抖音小店无货源店群风口项目,新手小白该如

大家好我是小高近期抖音小店一直处于电商行业的风口,项目非常火爆了解的人跟想做的 ...查看详细>

官方新闻
全民拼团新增升级团长功能!
全民拼团新增升级团长功能! 我们实际活动运营中,可能会出现以下问题:1:老客户不想拉人裂变,直接加入了别人的...查看全文
商家为什么要选择共享店铺!
商家为什么要选择共享店铺! 相信很多商家在实际经营中都会遇到以下难题,1:门店不在核心商圈,入客量越来越低;2...查看全文
关于活动宝部分音乐无法自动播放的问题!
关于活动宝部分音乐无法自动播放的问题! 因腾讯更改了规则~活动宝H5系统自带音乐部分素材是用得网易云音乐,无法播放,商户可...查看全文
关于活动宝手机版无法登录的通知!
关于活动宝手机版无法登录的通知! 因微富网原公众号主体变更无法继续认证,活动宝预计将在2022年2月底变更新的服务号,...查看全文
2022年春节放假通知!
2022年春节放假通知! “龙飞凤舞万象新,鸿腾乾坤又一春”。新春佳节渐近,为使大家度过一个欢乐、祥和、平...查看全文
      联系我们 搜索

      联系我们

      对话产生契机,讨论收获惊喜, 只为成就无限创举

      湖北省 利川市
      电商产业园

      欢迎来这里一起喝喝茶,
      聊聊你的产品。

      +86 139 9777 1122
      (9:00AM-6:00PM)

      代理合作请联系本号码
      业务合作请点此处

      洽谈合作
      admin@vfuw.cn

      共享万亿级市场
      工作日24小时内回复

      加入我们
      jiangheng@vfuw.cn

      我们欢迎每一个对设计怀
      有疯狂激情的人。