BIG DATA大数据随着云时代的来临，大数据（Big data）也吸引了 越来越多的关注。分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化 数据和半结构化数据，这些数据在下载到关系型数 据库用于分析时会花费过多时间和金钱。大数据分 析常和云计算联系到一起，因为实时的大型数据集 分析需要像MapReduce一样的框架来向数十、数 百或甚至数千的电脑分配工作。Ŀ¼CONTENTS1. 大数据是什么？ 2. 大数据的特征和结构 3. 大数据时代的机遇和挑战 4. 大数据的趋势 5. 大数据的应用和案例第一部分大数据是什么？大数据（BIG DATA）指无法在一定时间范围内用常规软件工具进 行捕捉、管理和处理的数据集合，是需要新 处理模式才能具有更强的决策力、洞察发现 力和流程优化能力的海量、高增长率和多样 化的信息资产。大数据定义海量决策力高增 长率洞察 发现力多样化流程优 化能力对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具 有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。

大数据是“未来的新石油”大数据是需要新处理模式才能具有更强 的决策力、洞察发现力和流程优化能力 的海量、高增长率和多样化的信息资产。 大数据就是“未来的新石油”。BIG DATA何谓大？（数据度量）1Byte = 8 Bit 1 KB = 1,024 Bytes = 8192 bit 1 MB = 1,024 KB = 1,048,576 Bytes 1 GB = 1,024 MB = 1,048,576 KB 1 TB = 1,024 GB = 1,048,576 MB 1 PB = 1,024 TB = 1,048,576 GB 1 EB = 1,024 PB = 1,048,576 TB 1 ZB = 1,024 EB = 1,048,576 PB 1 YB = 1,024 ZB = 1,048,576 EB 1 BB = 1,024 YB = 1,048,576 ZB 1 NB = 1,024 BB = 1,048,576 YB 1 DB = 1,024 NB = 1,048,576 BB到底有多大？1PB相当于50%的全美学术研究图书馆藏书信息内容 5EB相当于至今全世界人类所讲过的话语 1ZB如同全世界海滩上的沙子数量总和 1YB相当于7000位人类体内的微细胞总和大数据带来的变革1更多不是随机样本 而是全部数据2更好不是因果关系 而是相关关系3更杂不是精确性 而是混杂性第二部分大数据的特征和结构? 容量（Volume）数据的大小决定所考虑的数 据的价值和潜在的信息? 种类（Variety）数据类型的多样性? 速度（Velocity）指获得数据的速度大数据的特征1 237 65 4? 价值（value）合理运用大数据，以低成本 创造高价值? 复杂性（Complexity）数据量巨大，来源多渠道? 真实性（Veracity）数据的质量? 可变性（Variability）妨碍了处理和有效地管理数 据的过程大数据的结构结构 化半结 构化非结 构化大数据包括结构化、半结构化和非结构化数据， 非结构化数据越来越成为数据的主要部分。

据IDC的调查 报告显示：企业中80%的数据都是非结构化数据，这些数据每年都按 指数增长60%。大数据就是互联网发展到现今阶段的一种表象或特征而已，没有 必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集 和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。大数据的安全威胁1大数据基础设施安全威胁2大数据存储安全威胁3隐私泄露问题4 针对大数据的高级持续性攻击5数据访问安全威胁6其他安全威胁大数据的三个层面特征 定义价值 探讨现在 和未来大数据 隐私1分布式处理平台感知技术2云计算存储技术3互联网的 政府的 企业的 个人的 大数据 大数据 大数据 大数据理论THEORY技术TECHNOLOGY实践UTILIZATION大数据改变生活优化 革命 颠覆 改变各级政府、主管部门、上市公司、 企业集团、外资公司都将基于大 数据分析平台优化其决策。大数据分析能力逐渐加强，传统 市场研究行业、证券研究所、产 业链咨询机构将逐渐消失。银行都将基于企业大数据平台开 展银行直销业务，同时按照产业 链金融服务事业部模式开展业务因大数据系统的出现，所有依赖 信息不对称盈利的业务都将消失。

大数据对政府、金融机构、企业来说， 象空气一样不可或缺！第三部分大数据时代的机遇和挑战机遇和挑战机遇? 大数据技术促进国家和社会发展 ? 大数据蓝海成为企业竞争的新焦点 ? 大数据时代呼唤创新型人才挑战? 大数据技术的运用仍有困难 ? 大数据给信息安全带来新挑战机遇1：大数据技术促进国家和社会发展实现科学发展 做出科学决策大数据技术的运用前景是十分光明的。当 前，我国正处在全面建成小康社会征程中， 工业化、信息化、城镇化、农业现代化任 务很重，建设下一代信息基础设施，发展 现代信息技术产业体系，健全信息安全保 障体系，推进信息网络技术广泛运用，是 实现四化同步发展的保证。大数据分析对 我们深刻领会世情和国情大数据应用场景 ppt，把握规律，实 现科学发展，做出科学决策具有重要意义， 我们必须重新认识数据的重要价值。机遇2：大数据蓝海成为企业竞争的新焦点? 大数据所能带来的巨大商业价值， 被认为将引领一场足以与20世纪计 算机革命匹敌的巨大变革。? 大数据正在对每个领域都造成影响， 包括商业、经济等领域。? 大数据正在促生新的蓝海，催生新 的经济增长点，正在成为企业竞争 的新焦点。机遇3：大数据时代呼唤创新型人才盖特纳咨询公司 预测大数据将为 全球带440万个IT 新岗位和上千万 个非IT岗位。

麦 肯锡公司预测美 国到2018年需要 深度数据分析人 才44万——49万， 缺口14万——19 万人需要既熟悉本单 位需求又了解大 数据技术与应用 的管理者150万， 这方面的人才缺 口更大。中国 是 人才大国，但能 理解与应用大数 据的创新人才更 是稀缺资源。挑战1：大数据技术的运用仍有困难目前，大数据技术的运用仍存在一些困难与挑战，体现在大数据挖掘的四个环节中。1 数据收集要对来自网络包括物联网和机构信息系统的数据附上时空 标志，去伪存真，尽可能收集异源甚至是异构的数据，还 可与历史数据对照，多角度验证数据的全面性和可信性。3 数据处理大数据的复杂性使得难以用传统的方法描述与度量，需要 将高维图像等多媒体数据降维后度量与处理，利用上下文 关联进行语义分析，从大量动态及可能模棱两可的数据中 综合信息，并导出可理解的内容。2 数据存储要达到低成本、低能耗、高可靠性目标，要用到冗余配置、 分布化和云计算技术，存储时对数据进行分类，通过过滤 和去重，减少存储量，并加入便于检索的标签。4 结果的可视化呈现使结果更直观以便于洞察。目前，尽管计算机智能化有了 很大进步，但还只能针对小规模、有结构或类结构的数据 进行分析，谈不上深层次的数据挖掘，现有的数据挖掘算 法在不同行业中难以通用。

挑战2：大数据给信息安全带来新挑战加大隐私 泄露风险 1? 大量数据的集中存储增加了其泄露的风险； ? 一些敏感数据的所有权和使用权并没有清晰界定。对现有存储和安防措施提出挑战 2? 复杂的数据存储在一起，可能造成企业安全管理不合规； ? 安全防护手段更新升级慢，存在漏洞被运用到攻击手段中 3? 黑客可收集更多有用信息，大数据分析让攻击更精准； ? 大数据为黑客发起攻击提供了更多的机会“棱镜门”引爆大数据时代争议? 事情的起因是美国中情局前职员斯诺登向媒体爆料，过去6年间， 美国的情报部门通过一个代号为“棱镜”的项目，从多家知名互 联网公司获取电子邮件、在线聊天内容、照片、文档、视频等网 络私人数据，跟踪用户一举一动。他说，自己只需要坐在办公桌 前，动动指头，敲敲键盘，就能了解很多人的私密信息。? 斯诺登的爆料引起一片哗然，根据他提供的资料，被卷入“棱镜 门”事件的公司包括微软、雅虎、谷歌、苹果、Facebook等9大 IT业巨头。在“棱镜门”事件开始发酵之后，这些公司先是赶紧 出面否认与美国政府的监视项目进行过合作，并相继发表声明， 呼吁政府采取更透明态度，以证明他们的“清白”。第四部分大数据时代的趋势借助大数据尖端分析加速发展? 如果正确的数据出现在合适的时间，您的业务将有望获得什么机会？如何更有效率地运营您的业务？通过数据分析 获得变革的潜力与直观理解影响着医疗、银行、交通运输、制造等各行各业。

? 对于许多早期的使用者，当他们从传统商业智能 (BI) 的实践发展到可靠直观理解的更高级分析（预测性和规范性） 时，数据改变了他们的业务，无论是通过新的发现、更尖端的产品和服务或总体更好的客户体验。大数据的趋势趋势一 趋势二 趋势三 趋势四数据的资源化：是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。与云计算的深度结合：大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密 结合，预计未来两者关系将更为密切。科学理论的突破：随着大数据的快速发展，就像计算机和互联网一样，大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术，可能会改 变数据世界里的很多算法和基础理论，实现科学技术上的突破。数据科学和数据联盟的成立：未来，数据科学将成为一门专门的学科，被越来越多的人所认知。各大高校将设立专门的数据科学类专业，也会催生一批与之相关的新的就业岗 位。趋势五 趋势六 趋势七 趋势八数据泄露泛滥：未来几年数据泄露事件的增长率也许会达到100%，除非数据在其源头就能够得到安全保障。

可以说，在未来，每个财富500强企业都会面临数据攻击，无论他们 是否已经做好安全防范。而所有企业，无论规模大小，都需要重新审视今天的安全定义。数据管理成为核心竞争力：数据管理成为核心竞争力，直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后，企业对于数据管理便有了更清晰的界定，将 数据管理作为企业核心竞争力，持续发展，战略性规划与运用数据资产，成为企业数据管 理的核心。数据质量是BI(商业智能)成功的关键：采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。其中要面临的一个挑战是，很多数据源会带来大量低质量数据。想要 成功，企业需要理解原始数据与数据分析之间的差距，从而消除低质量数据并通过BI获得 更佳决策。数据生态系统复合化程度加强：大数据的世界不只是一个单一的、巨大的计算机网络，而是一个由大量活动构件与多元参与者元素所构成的生态系统，终端设备提供商、基 础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供 商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。第四部分大数据的应用和案例大数据的应用领域教育学 天文学 生物医学 气候学 金融学情报学 电子政务 商业智能 企业管理 生活娱乐公共服务 传媒业 图书馆学 市场营销 总统选举大数据 业务战略企业战略目标业务目标业务模式企业大数据建设方法大数据 建设目标 大数据目标 服务对象 服务模式 应用场景服务改进大数据 架构设计 大数据服务定义 大数据信息模型 大数据管理定义 技术选择 验证测试 大数据持续改进 技术升级大数据实施 容量规划 安装、配置 验收测试 系统上线架构优化大数据运维大数据服务管理 系统监控 资源调度生命周期管理 服务性能管理扩展现有架构1针对数据多样性和数 据量进行设计3发现新模式更深入地分析当前数 据2针对高数据速度

来源【首席数据官】，更多内容/合作请关注「辉声辉语」公众号，送10G营销资料！