大数据时代Is coming……艾普云—Openstack云系统专家目录1.2.3.4.5.什么是Big Data大数据市场简析云与大数据大数据应用案例艾普云在大数据时代的布局艾普云—Openstack云系统专家2Big Data名词由来2011年5 月，在“云计算相遇大数据” 为主题的EMC World 2011会议中，EMC 抛出了Big Data概念20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data艾普云—Openstack云系统专家Big Data时代到来在web 2.0的时代，人们从信息的被动接受者变成了主动创造者全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年…每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年…推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16年…每天亚马逊上将产生 6.3 百万笔订单…每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB…Google 上每天需要处理24PB 的数据…艾普云—Openstack云系统专家Big Data时代到来数据量增加数据结构日趋复杂大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长根据IDC 监测，人类产生的数据量正在呈指数级增长，大约每两年翻一番，这个速度在2020 年之前会继续保持下去。

这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量TBPBEBZB. 这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴. 大数据时代正在来临..艾普云—Openstack云系统专家什么是Big Data大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合1. Volume2. Variety结构化数据、半结构化数据和非结构化数据数据量巨大全球在2010 年正式进入ZB 时代，IDC预计到2020 年，全球将总共拥有35ZB 的数据量如今的数据类型早已不是单一的文本形式，订单、日志、音频，能力提出了更高的要求4. Velocity3. value沙里淘金，价值密度低实时获取需要的信息以视频为例，一部一小时的视频，在连续不间断监控过程中，可能有用的数据仅仅只有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”是目前大数据汹涌背景下亟待解决的难题大数据区分于传统数据最显著的特征。如今已是ZB时代，在如此海量的数据面前，处理数据的效率就是企业的生命艾普云—Openstack云系统专家大数据的含义与界定 大数据是指数据量超出传统尺度，一般软件工具难以捕获、存储、管理和分析的数据集。

 不同行业、不同企业、不同时期、大数据的规模不尽相同、无需也无法统一。 目前，大体上，数据量达到大字节（TB,240）的，被称作大数据。艾普云—Openstack云系统专家数据存储演进及含义单位代号 数值含义的概略表述字节Byte 8位（Bit） 在计算机上的一个字母是1B千字 节兆字 节吉字 节太字 节拍字 节艾字 节泽字节尧字节KBMBGBTBPBEBZBYB210字节220字节230字节240字节250字节260字节270字节280字节一页文字大约5KB一首流行歌曲大约4MB一部电影大约1GB美国国会图书馆网络备份大约260TB谷歌每小时处理数据大约1PB中国每人一册500页的书大约1EB截止2010年全人类信息总量约1.2ZB目前难以表述艾普云—Openstack云系统专家大数据的基本特征海量的、可细分的B专属的、可共享的动态的、可扩展的AC五大基本特征沉淀的、可挖掘的实时的、可追溯的DE艾普云—Openstack云系统专家目录1.2.3.4.5.什么是Big Data大数据市场简析云与大数据大数据应用案例艾普云在大数据时代的布局艾普云—Openstack云系统专家1012011年-2016年中国大数据市场规模计世资讯认为，2011年是中国大数据市场元年，一些大数据产品已经推出，部分行业也有大数据应用案例的产生。

2012年-2016年，将迎来大数据市场的飞速发展。计世资讯预测，2012年中国大数据市场规模将达到4.7亿元，2013年大数据市场将迎来增速为138.3%的飞跃，到2016年，整个市场规模逼近百亿。22012年各行业大数据市场规模计世资讯预测，2012年政府、互联网、电信、金融的大数据市场规模较大，四个行业将占据一半市场份额。由于各个行业都存在大数据应用需求，潜在市场空间非常可观。中国企业大数据现状中国500强企业日数据生成量企业非结构化数据越来越多结构化数据半结构化数据中国500强企业数据中心数据年增长率非结构化数据中国企业级数据中心数据存储量正在快速增长，非结构化数据呈指数倍增长，如果能有效的处理和分析，非结构数据中也富含了对企业非常有价值的信息。艾普云—Openstack云系统专家12企业大数据应用需求分析1 目前企业的数据系统架构存在问题2目前企业数据分析处理面临的问题3各行业企业对大数据的关注程度艾普云—Openstack云系统专家13大数据对经济社会影响巨大据国外预测：大数据用于制造业能减少50%的成本，用于零售业能增加60%的利润。美国将大数据用于医疗保健，能产生3000亿美元的效益；欧洲把大数据用于公关管理能产生2500亿欧元的效益。

大数据引入经济学和社会学，基于数据精确量化分析的社会科学，被称为“计算社会科学”。艾普云—Openstack云系统专家各国高度关注大数据的应用 2009年，联合国启动《全球脉动计划》，借助大数据分析全球灾害、疾病、环境变化等大数据应用场景 ppt，向相关各方发出预警，推动应对。 2012年1月，WEF达沃斯年会把“大数据、大发展”列为重要议题，引起全球政界、商界的高度关注。 2012年3月，美国政府发布《大数据研究计划》，推进大数据在科研、医疗、能源、安全等领域的应用。 欧盟、日本、新加坡等国政府都在加紧行动。艾普云—Openstack云系统专家目录1.什么是Big Data2.3.4.5.大数据市场简析云与大数据大数据案例艾普云在大数据时代的布局艾普云—Openstack云系统专家16云计算与大数据蓝蓝的天上白云飘白云下面数据跑如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀！艾普云—Openstack云系统专家大数据时代下的系统需求•High performance –高并发读写的需求高并发、实时动态获取和更新数据•Huge Storage –海量数据的高效率存储和访问的需求类似SNS网站，海量用户信息的高效率实时存储和查询•High Scalability && High Availability –高可扩展性和高可用性的需求艾普云—Openstack云系统专家需要拥有快速横向扩展能力、提供7*24小时不间断服务RDBMS VS. NoSQL大数据存储的核心需求 保证一致性的开销过大，难以实现高并发 存储性能受限于控制器，性能难以保证 不保证遵循ACID原则，提高并发读写性能高并发读写 Schema-Free存储适应不同数据类型 关系型表单存储难以适应不同数据类型 上亿行数据的超级达标效率极低舍弃SQL标准功能，尽量简化数据操作，提升效率MapReduce实现高效访问高效率存储和访问 无法简单的通过添加服务节点来扩展数据容量和负载能力，难以进行横向扩展 数据库升级需要停机维护和数据迁移，导致服务中断 支持水平扩展，可简单的通过添加服务节点来扩展数据容量和负载能力高可扩展性和高可用性数据库升级不影响服务持续 传统基于盘阵的存储设备，造价昂贵，且市场垄断严重，建设成本居高不下，扩容成本尤其高 许可和维护花费高昂低成本建设运维 基于X86设备，价格低廉开源系统，节省许可费用艾普云—Openstack云系统专家NoSQLNoSQL是Not Only SQL的缩写，而不是Not SQL，它不一定遵循传统数据库的一些基本要求，比如说遵循SQL标准、ACID属性、表结构等等。

相比传统数据库，叫它分布式数据管理系统更贴切，数据存储被简化更灵活，重点被放在了分布式数据管理上。•NoSQL运动两个核心理论基础：•Google的BigTableBigTable提出了一种很有趣的数据模型，它将各列数据进行排序存储。数据值按范围分布在多台机器，数据更新操作有严格的一致性保证。•Amazon的DynamoDynamo使用的是另外一种分布式模型。Dynamo的模型更简单，它将数据按key进行hash存储。其数据分片模型有比较强的容灾性，因此它实现的是相对松散的弱一致性：最终一致性。艾普云—Openstack云系统专家Big Table为管理大规模结构化数据而设计的分布式存储系统，可以扩展到PB级数据和上千台服务器。数据模型支撑技术Key-Value映射：用GFS来存储日志和数据文件(row:string, column:string, time:int64)→stringꢀ 按SSTable文件格式存储数据用Chubby管理元数据Bigtable的表会根据行键自动划分为片（tablet），片是负载均衡的单元。参考文献：《The Chubby lock service forloosely-coupled distributed systems》艾普云—Openstack云系统专家——Google论文NoSQL数据库商业价值在大数据推动的商业革命暗涌中，要么学会使用大数据的杠杆创造商业价值，要么被大数据驱动的新生代商业格局淘汰。

Hadoop Hadoop数据应用策略、数据流技术 数据采集、数据存储、数据机器学习算法 处理——百度首席科学家 威廉.张 ——Yahoo！北京全球软件研发中心架构师 韩轶平标准的虚拟化及分布式存储内存计算技术持续创新传统的企业级数据仓库产品线收购Aster DataHadoop、MapReduce——Teradata首席客户官周俊凌——SAP中国区企业信息管理咨询资深顾问 杜韬腾讯在天津投资建立亚洲最大的数据中心；新浪推出企业微博产品，提供精准的数据分析服务。艾普云—Openstack云系统专家目录1.2.3.什么是Big Data大数据市场简析云与大数据4.5.大数据案例艾普云在大数据时代的布局艾普云—Openstack云系统专家24商业价值——淘宝马云的判断来自于数据分析双“十一”背后的技术讨论商业价值政府、金融、电信等行业投资建立大数据的处理分析手段，实现综合治理、业务开拓等目标；应用到制造等更多行业。艾普云—Openstack云系统专家商业价值结构化数据向非结构化数据演进，使得未来IT投资重点不再是建系统为核心，而是围绕大数据为核心；海量数据可以在各个部门创造重大的财物价值，未来投资倾斜。

艾普云—Openstack云系统专家用户行为分析大数据应用案例（中信银行信用卡中心）发卡量增长迅速：2008年发卡约500万张，2010年增加了一倍。业务数据增长迅速：随着业务的迅猛增长，业务数据规模也线性膨胀。大数据挑战数据存储、系统维护、数据有效利用都面临巨大压力。可扩展、高性能的数据仓库解决方案能够实现业务数据的集中和整合；可以支持多样化和复杂化数据分析提升信用卡中心的业务效率；通过从数据仓库提取数据，改进和推动有针对性的营销活动。需求EMCGreen-plum实时的商业智能可以结合实时、历史数据进行全局分析,风险管理部门现在可以每天评估客户的行为，并决定对客户的信用额度在同一天进行调整；原有内部系统、模型整体性能显著提高采用大数据方案后价值体现秒级营销Greenplum数据仓库解决方案提供了统一的客户视图，更有针对的进行营销。2011年，中信银行信用卡中心通过其数据库营销平台进行了1286个宣传活动，每个营销活动配置平均时间从2周缩短到2-3天。艾普云—Openstack云系统专家29大数据应用案例（农夫山泉）农夫山泉数据量变得越来越大，分销表中数据基数大，增速快，数据展现速度越来越慢；数据运算速度越来越慢，已经让人无法忍受，影响业务的正常进行；数据更新慢，采用传统的ETL(数据抽取、转换、装载)，农夫山泉的分析系统数据基本上一天才能更新一次。

大数据挑战能够应对海量数据的挑战，实现高效的逻辑运算、实时的数据分析以需求现及快速的数据展 的解决方案。SAPHANA实现了快速的数据展现与原有商业智能报表展现方案相比，新方案数据展现速度快25-30倍；形成了强大逻辑计算能力测试了120多张已经上线的报表，基本上速度提升100～150倍；SAPHANA和Business Objects 4.0组合只用了46秒就完成原来需要24小时才能完成的逻辑计算；采用大数据方案后价值体现实现了数据的实时、同步HANA使得数据从业务系统中转换到HANA中时基本上没有任何延迟。艾普云—Openstack云系统专家30大数据应用案例（“数字黄河”）数据激增，IT系统负担加重；大数据挑战地域分隔，信息孤岛拉低效能；无法共享，数据同步成为难题；标准各异，数据规范有待统一。制定短期和长期技术规划大数据应用场景 ppt，以适应未来信息系统的发展。需求IBMInfo-Sphere解决跨平台异构应用系统的数据共享与

来源【首席数据官】，更多内容/合作请关注「辉声辉语」公众号，送10G营销资料！