11月27日,由西安交通大学管理学院MBA中心主办,西安交通大学MBA暨专业学位创投俱乐部承办的“大数据分析的思路与方法浅谈”主题讲座顺利举行,讲座特邀西安交通大学教授刘跃文做精彩分享。刘跃文教授从香港城市大学、中国科学技术大学获得博士学位,具有丰富的数据挖掘经验,获批“QQ可能认识的人”等十余项专利,在ISR等国际期刊上发表数十篇论文,并获得了国家重点研发计划、国家自然科学基金等多项基金资助。
讲座核心关键词:描述现状 识别异常 发现规律 预测未来。
讲座中刘跃文教授传道受业解惑,讲述了什么是大数据,我们应该如何理解数据、如何分析数据以及如何从数据中获取价值,刘跃文教授分享的关于大数据分析的“十六字箴言”贯穿于整个讲座之中。
01
什么是大数据?数据分析挖掘价值
术语“大数据”倾向于指使用预测分析、用户行为分析或某些从数据中提取价值的其他高级数据分析方法,很少涉及特定规模的数据集。
毫无疑问,现在可用的数据量确实很大,但这不是这个新数据生态系统最相关的特征。对数据集的分析可以发现新的相关性,从而发现业务趋势、预防疾病、打击犯罪等。
同时科学家、企业高管、医学从业者、广告从业者和政府都经常遇到在这些领域使用大型数据集的困难。大数据并不是万能的,真正可以付诸大数据、人工智能实践并产生商业价值的部分,只有业务、数据、技术均可行的区域。
02
大数据分析的"十六字箴言"
描述现状 、识别异常 、发现规律 、预测未来
大数据分析了解的是常识所不能触及的现状,避免用数据分析数据,核心是找到什么是正常数据,什么是异常数据。数据异常是相对于正常的,进行数据异常分析需要寻找参考系,比如绝对值、历史值、横向比较值、其他数据体系、理论等。
了解数据表象背后的原因,如整体性规律、个体性差异、随机性原因、数据问题等,需要利用周期性规律判断数据异常,同时分析规律也往往要通过过滤异常后才会浮现,数据分析是当出现一个数据模式的时候,探索哪些是客观规律,能否通过曲线拟合得到预测值。整个数据分析的过程都围绕“描述现状 、识别异常 、发现规律 、预测未来”做价值挖掘。
03
创新扩散理论的价值
创新扩散理论是传播效果研究的经典理论之一,是由美国学者埃弗雷特·罗杰斯(E.M.Rogers)于20世纪60年代提出的一个关于通过媒介劝服人们接受新观念、新事物、新产品的理论,侧重大众传播对社会和文化的影响,该创新扩散模型具有三大特性:
1、累积接受者的分配图形具有S型的曲线;
2、当期的增加购买者具有钟型(Bell)的区线型态;
3、Bell曲线是对称的。S曲线揭示了累积扩散程度,即新品的销售状况;Bell曲线揭示了新品扩散的速率,既市场增长率,其受到创新系数和模仿系数的影响,P( T) = p+ ( q/ m) Y( T) 其中P和q/m是常数,Y(T)是先前买家的数量。
通过“彩色电视机的销量”的预测案例,我们明确新产品一定遵循创新扩散理论,且通过创新扩散理论可识别潜在客户从而进行市场布局。数据分析研究的是事物的内在规律而不是数据的多少,发现内在规律预测未来才是数据分析的价值。
04
数据探索性分析的方法
刘跃文教授讲到,数据按照是否结构化可分为三种,分别为结构化数据(行数据, 存储在数据库里,可以用二维表结构来逻辑表达实现的数据), 非结构化数据(视频、图像、音频、文本、文档、网页等)以及半结构化数据(具有一定的结构性,但结构变化很大,如XML)。
我们做数据分析首先要了解数据的基本情况,需要明确:从哪里获取数据?数据反应了什么业务情况?需求方需要实现什么目标?有多少条数据?数据有多少个字段?同时刘教授也讲授了三种数据探索性分析的方法,如下:
“单变量”数据探索:数据分布、统计指标、现状描述;
两变量关系数据探索:关联关系、对比分析;
三变量关系数据探索:分组关联关系对比、多层级对比分析、可视化交互。
05
现场演示
最后刘跃文教授现场演示,通过案例和软件让大家更加清晰如何理解和应用大数据,如何实现大数据分析,如何从大数据中获取价值。
06
答疑解惑
此次讲座在所有同学的意犹未尽中渐近尾声,刘老师针对大家的疑问做了答疑解惑,老师说到自己学习生涯中遇到的最大挑战是“学的越多,不会的越多”,寄语西安交大的莘莘学子不断学习不断接受新挑战,开创美好未来。
本次活动由西安交通大学管理学院MBA中心主办、西安交通大学MBA暨专业学位创投俱乐部承办。
版权声明
1、凡本网注明“来源:专硕神州”(即作者为专硕神州;下面的来源也是同样的道理)、“来源:MBAHOPE”、“来源:EMBAHOPE”、“来源:MEMHOPE”、“来源:MPAHOPE”、“来源:MPAccHOPE”的所有作品(或者专硕神州用其他转悠名义发布的作品),均为专硕神州网合法拥有版权或有权使用的作品,未经本网授权不得转载、摘编或利用其它方式使用上述作品。已经本网授权使用作品的,应在授权范围内使用,并注明“来源:专硕神州网”。违反上述声明者,本网将追究其相关法律责任。
2、来源于专硕神州网的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如有任何侵权或者不同意发布,请及时与我们联系,我们将及时处理。邮箱:yes@zhuanshuocn.com
3、本网不保证向用户提供的外部链接的准确性和完整性,该外部链接指向的不由本网实际控制的任何网页上的内容,本网对其合法性亦概不负责,亦不承担任何法律责任。";