2016年3月Page目录大数据概念、背景与意义1、大数据时代—研究背景与意义大数据时代背景1.1大数据定义及特点1.2大数据研究的意义1.4科学发现第四范式1.5大数据的影响1.3大数据典型应用案例1.6Page1、大数据概念、背景与意义1.1、大数据时代背景工业革命以后，以文字为载体的信息量大约每十年翻一番，1970年以后，信息量大约每三年翻一番；如今，全球信息总量每两年就可以翻一番；1TBGB1PBTB1EBGB1ZB1012GB2011年全球被创建和复制的数据总量为1.8ZB(1ZB=10EB=10IDC认为，到2020年，全球所有IT部门拥有服务器的总量将会比现在多出10倍，所管理的数据将会比现在多出50倍；根据麦肯锡全球研究院预测，到2020年，全球数据使用量预计将暴增44倍，达到35ZB。Page1、大数据概念、背景与意义1.1、大数据时代背景医疗卫生、地理信息、电子商务、影视娱乐、科学研究等行业，每天都在创造着大量的数据；新的数据源和数据采集技术的出现大大增加了数据的类型，数据类型的增加导致数据空间维度增加，极大地增加了大数据的复杂1、大数据概念、背景与意义1.1、大数据时代背景Google：通过大规模集群和MapReduce软件，每个月处理的数据量超过400PB。

Facebook：注册用户超过810亿，每月上传照片超过10亿张，每天生成300TB以上的日志数据淘宝网：有3.7亿会员，在线商品超过8.8亿，每天交易数千万笔，产生约20TB数据。Page1、大数据概念、背景与意义1.1、大数据时代背景Yahoo：Hadoop云计算平台有34个集群，超过3万台机器，总存储容量超过100PB。大型强子对撞机每年积累的新数据量为15PB左右。世界商业巨头沃尔玛(Wal-Mart)在全球有6000多个分店，它们每小时产生一百万条顾客购买事务记录，这些数据的规模大约为2.5PB，相当于美国国会图书馆数据量的167倍。Page1、大数据概念、背景与意义1.1、大数据时代背景数据规模从TB级别上升到PB甚至ZB级别人类社会已经进入了大数据时代人类社会已经进入了大数据时代Page1、大数据概念、背景与意义1.2、大数据定义及特点（1）定义：大数据(bigdata)，或称巨量资料，指指的是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。【百度百科】大数据（bigdata），或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。

【维基百科】Page101、大数据概念、背景与意义1.2、大数据定义及特点（2）特点（4个V）:Volume（体量浩大）Variety（模态繁多）Velocity（生成快速）Value（价值巨大但密度很低）Page111、大数据概念、背景与意义1.3、大数据的影响大数据隐含着巨大的社会、经济、科研价值，已经引起了各行各业的高度重视。著名的O’Reily公司断言：‚数据是下一个‘数据是下一个‘IntelInsideIntelInside’，未来属于将数据转换成产品的公司和人们。来属于将数据转换成产品的公司和人们。‛Page121、大数据概念、背景与意义1.3、大数据的影响（1）企业界自2005年以来，IBM投资160亿美元进行了30次与大数据有关的收购，促使其业绩稳定高速增长，到2012年，IBM股价突破200美元大关，3年内大数据时代的意义，股价翻了3倍。eBay通过数据挖掘精确计算出广告中每个关键字为公司带来的回报。通过广告投放优化，2007年以来eBay广告投放费降低了99%，而顶级卖家占总销售额的百分比却上升至32%。目前，巨大的经济利益驱使大企业，例如：IBM、Oracle、Microsoft、Google、Amazon及Facebook不断扩大数据处理的规模，成为大数据处理技术的主要推动者。

Page131、大数据概念、背景与意义1.3、大数据的影响（2）学术界2008年Nature出版专刊‚BigData‛介绍海量数据带来的挑战；data‛，讨论数据洪流所带来的挑战；2012年4月，欧洲信息学与数学研究协会会刊出版专刊‚BigData‛，讨论了大数据时代的数据管理、数据密集型研究的创新技术等问题2012年5月，香山科学会议组织以‚大数据科学与工程---一门新兴的交叉学科？‛为主题的第424次学术讨论会，国内外35个单位43位专家参会；2012年6月，中国计算机学会青年计算机科技论坛（CCFYOCSEF）举办‚大数据时代，智谋未来‛的学术报告会。Page141、大数据概念、背景与意义1.3、大数据的影响（3）政界2012年3月22日，美国奥巴马政府宣布投资2亿美金启动‚大数据研究和发展计划‛，该计划由美国国家科学基金会、国立卫生研究院、国防部、能源部、国防部高级研究计划局、地质勘探局共6个联邦部门和机构共同提高收集、存储、保留、管理、分析和共享海量数据所需的核心技术过去几年，欧盟已对科学数据基础设施投资1亿多欧元，其中数据信息化基础设施是优先领域之一截止2012年1月，欧盟投资5000万欧元专门征集针对大数据的研究项目Page151、大数据概念、背景与意义1.4、大数据研究的意义（1）国家战略意义大数据是与自然资源、人力资源一样重要的战略资源，是一个国家数字主权的体现。

大数据时代，国家层面的竞争力将部分体现为一国拥有大数据的规模、活性以及对数据的解释、运用的能力。一个国家在网络空间的数据主权将是继海、陆、空、天之后另一个大国博弈的空间。在大数据领域的落后，意味着失守产业战略的制高点，意味着在大数据领域的落后，意味着失守产业战略的制高点，意味着数字主权无险可守，意味着国家安全将出现漏洞。数字主权无险可守，意味着国家安全将出现漏洞。------中科院院士李国杰Page161、大数据概念、背景与意义1.4、大数据研究的意义（2）科学研究意义人类探索现实自然界，用计算机处理人类的发现、人类的社会、自然与人，在这个过程中，随着巨量数据的产生，人类在不知不觉中创造了一个更复杂的数据自然界，同时，人、社会和宇宙的历史将变为数据的历史数据的历史。Page171、大数据概念、背景与意义1.4、大数据研究的意义（2）科学研究的意义目前的所有的科学研究领域都可能形成相应的数据科学。自然科学研究自然现象和规律，认识的对象是整个自然界；社会科学是研究自然和社会环境中人的行为以及低级动物行为的科学。如图所示，数据科学支持了自然科学和社会科学的研究工作数据科学支持了自然科学和社会科学的研究工作。

Page181、大数据概念、背景与意义理论分1.5、科学发现第四范式科学实计算机模拟大数据科学过去几过去几千年千年，描述自然现象过去几百过去几百年年，用模型来概括现象 过去几十 过去几十 年年，以计 算为中心，模拟复杂 现象 今天 今天大数据时代的意义，以 数据为中 据中发现联系 Page 191、大数据概念、背景与意义 1.5、科学发现第四范式 已故图灵奖得主吉姆.格雷（Jim Gray） 在他最后一次演讲中描绘了数据密集型科 研‚第四范式‛。 FourthParadigm 》由微软公 司出版 Page 201、大数据概念、背景与意义 1.5、科学发现第四范式 第三与第四范式的区别 第三与第四范式的区别 “All models increasinglyyou can succeed without them” -----Google公司研究部主任Peter Norving PB级数据使我们可以在没有模型和假设的前提下就可以分析数据。 将数据丢进巨大的计算机机群中，只要有相互关系的数据，统计分析算

来源【首席数据官】，更多内容/合作请关注「辉声辉语」公众号，送10G营销资料！