大数据时代 与大数据时代的银行 中国银行 2013-10-16 提 纲 大数据时代 •数据爆炸式增长 •数据资产价值增长 •数据思维的转变 •大数据时代特征 大数据技术 •大数据相关技术 •核心技术Hadoop •传统数据与大数据 •两种方式的结合 大数据与银行 •对银行的价值 •应用场景 •实施建议 提 纲 大数据时代 •数据爆炸式增长 •数据资产价值增长 •数据思维的转变 •大数据时代特征 大数据技术 •大数据相关技术 •核心技术Hadoop •传统数据与大数据 •两种方式的结合 大数据与银行 •对银行的价值 •应用场景 •实施建议 中国网络虚拟世界全景图 大数据时代 数据信息爆炸式增长 大数据时代 •数据爆炸式增长 •数据资产价值增长 •数据思维的转变 •大数据时代特征 大数据技术 •大数据相关技术 •核心技术Hadoop •传统数据与大数据 •两种方式的结合 大数据与银行 •对银行的价值 •应用场景 •实施建议 大数据时代 数据信息爆炸式增长 大数据时代 •数据爆炸式增长 新量级、新处理模式、新企业智能 •数据资产价值增长 •数据思维的转变 •大数据时代特征 移动互联网 大数据技术Mobile Internet •大数据相关技术 •核心技术Hadoop Unstructured •传统数据与大数据 物联网 •两种方式的结合•Web Pages Internet of Things •E-mail 大数据与银行 •Multimedia •对银行的价值 •Instant Messages •应用场景 •Documents •实施建议 Semi-structured •XML Docs Structured •Logs •Database •Click-stream •Spreadsheet •File in record format •Equipment/ Device, RFID tag 大数据时代 数据资产价值不断增长 大数据时代数据成为了有价值的公司资产、重要的经济投入和新型商业模式的基石。

虽然数据还没•数据爆炸式增长有被列入企业的资产负债表，但这只是个时间问题。 •数据资产价值增长——摘自［英］Viktor Mayer-Schonberger Kenneth Cukier 所著的《大数据时代》 •数据思维的转变 •大数据时代特征 大数据技术Facebook 2012/05/18日上市，其公 布的账面资产为66亿元。 •大数据相关技术 •核心技术HadoopFacebook IPO定价38美元/股，总 价值1040亿美元。 •传统数据与大数据 •两种方式的结合 Gartner 研究表明：Facebook收集大数据与银行了万亿条“获利信息”，每条信 息约4美分价值，即每个Facebook用•对银行的价值 •应用场景户的价值为100美元。 •实施建议 ——通过“账面资产”来确定企业的价值的方法，已经不能充分反映公司的真正价值； ——投资者也开始注意到数据的潜在价值； ——拥有数据或者能轻松收集数据的公司，其股价会上涨； ——如果不出意外，给数据的潜在价值贴上价格标签会给金融部门带来无限的商机； 大数据时代 数据处理思维转变 大数据时代 •数据爆炸式增长 数据关系力少量的样乐于接受数据求明确清晰 本数据 的纷繁复杂全量数据 •数据资产价值增长 •数据思维的转变 •大数据时代特征探求难以捉摸的要求数据 转而关注事物的数据的精确不 因果关系 精确无误 关联关系 是那么重要了 大数据技术 传统数据分析思维 大数据分析思维 •大数据相关技术 数据处理思维转变 •核心技术Hadoop •传统数据与大数据 •两种方式的结合案例一 案例二 大数据与银行 •谷歌翻译系统为了训练其系统，收集其能找到的所有翻译； •借助语言学家的研究成果，开发语法检•对银行的价值 •应用场景•谷歌收集了上万亿页的语料库，包括质量查的算法和规则； 参差不齐的文档； •同样的算法，当数据从500万提高到10亿•实施建议 •上万亿的语料库，相当于950亿句英语； ，其准确率从75%提高到95%以上； •相对而言，谷歌的翻译质量还是最好的； •“我们得重新衡量更多的人力是应该消•谷歌翻译之所以更好，不是因为它拥有一耗在算法发展上还是语料库的丰富上” 个更好的算法机制，而是增加了各种各样•微软机器翻译部门茶余饭后的谈资：每的数据，包括有错误的数据； 当有一个语言学家离开，翻译质量就会•在谷歌的翻译团队中，大多数工程师并不变好一点； 懂其翻译出来的语言； 大数据时代 数据处理思维转变 大数据时代 数据处理思维转变 •数据爆炸式增长 •数据资产价值增长 关联关系，预测的关键。

很多时候，知道“是什么”就够了，没必要知道“为什么”。 •数据思维的转变 一旦我们完成了“关联关系”分析，我们就可以继续向更深层次研究因果关系，找出背后•大数据时代特征 的“为什么” 大数据技术 •大数据相关技术 •核心技术案例一 其它案例 Hadoop •传统数据与大数据 •聘请了20多名书评家和编辑组成的团队，在网页上•沃尔玛：请把蛋挞和飓风用品摆在一起•两种方式的结合 创立“亚马逊的声音”向客户推荐新书，写书评； ，请把啤酒和尿片摆在一起； 大数据与银行•通过客户的购买历史，寻找客户的相似性，对客户•中英人寿保险（Aviva)，通过生活方式 分群进行产品推荐，推荐的总是与以往购买的相似数据，如爱好、常•对银行的价值浏览的网站、常看的 或略有区别； 节目和收入，来分析更有可能患高血压•应用场景 •通过大量的数据分析，找出书籍之间的关联关系，、糖尿病和抑郁症的人； •实施建议即“item-to-item”,时亚马逊发生了天翻地覆的变 •某信用评分公司，利用Facebook的社交化。 圈来预测个人偿还债务的可能性； •AMAZON销售额的三分之一来自于“item-to-item”•对冲基金通过分析Twitter微博的数据 的推荐系统。

文本，作为股市投资的信号； •AMAZON最终放弃了在线书评，书评团队被解散。 大数据时代 数据的无穷价值 大数据时代数据非常之多而且具有战略重要性，但是真正缺少的是从数据中提•数据爆炸式增长 取价值的能力。•数据资产价值增长 •数据思维的转变 ——谷歌首席经济学家Hal Varian •大数据时代特征决策依赖数据的公司，其运营情况比不重视数据的公司出色很多， 这些公司的生产率比不使用数据进行决策的公司高6%。大数据技术 ——MIT商学院教授 Erik Brynjolfsson•大数据相关技术 1、数据的价值并不仅限于特定的用途，它可以为了同一目的而被多次•核心技术Hadoop 使用，也可以用于其他目的。 •传统数据与大数据 2、数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山一•两种方式的结合 角，而绝大部分则隐藏在表面之下。 大数据与银行3、数据就像一个神奇的钻石矿，是“取之不尽，用之不竭”的。 •对银行的价值 •应用场景案例 •实施建议 移动电话公司的通话记录以及用户的位置信息，可以被不断的发掘出价值来： 人们周五晚上聚集地点，汽车在哪个地段的行驶缓慢，这些信息可以用来确定房地产价值或广告牌的价格； 通过分析各路段上移动用户的数量，定位拥堵路段以及拥堵的程度； 丹麦癌症协会分析1990-2007年手机用户的通话记录，分析使用手机与癌症的关系； 大数据时代 半结构化、非结构化数据来源 大数据时代 •数据爆炸式增长 •数据资产价值增长 Web DOC / Media Social Media Machine / Sensor •数据思维的转变 Clickstream •大数据时代特征 大数据技术 •大数据相关技术 •核心技术Hadoop •传统数据与大数据 •两种方式的结合 大数据与银行 Call Log Apps •对银行的价值 •应用场景 Log •实施建议 大数据时代 大数据涵盖的数据范围 大数据时代 •数据爆炸式增长 •数据资产价值增长定义大数据范围 •结构化数据：存在于关系数据库中，多年来 •数据思维的转变 更广的信息范围一直主导着IT应用； •大数据时代特征 新的数据与分析类型 •半结构化数据：包括电子邮件、文字处理文大数据技术件以及大量发布在网络上的新闻等，以内容 实时信息 为基础，这也是谷歌和•大数据相关技术百度存在的理由； •核心技术Hadoop 来自新技术的数据 •传统数据与大数据•非结构化数据：广泛存在于社交网络、物联 非传统形式的媒体 网、电子商务之中。

伴随着社交网络、移动•两种方式的结合 计算和传感器等新技术不断产生，有报告称，大数据与银行大数据量 超过80%的数据属于非结构化数据。 •对银行的价值 最新流行词 •应用场景 •实施建议社交媒体数据 * 2012年IBM对95个国家中26个行业的1144名专业人员调查结果 大数据时代 大数据的四个维度 大数据时代 Volume Velocity Variety Veracity •数据爆炸式增长 需要处理的数据量能数据生成的速度快， 数据结构化、非结构数据的一致性、完整性、•数据资产价值增长 够达到TB级、ZB级 处理的速度也要快 化、文本、多媒体 正确性、延迟、歧义均会影响数据的可信程度 •数据思维的转变 容量 速度 •大数据时代特征多样性 确定性 大数据技术 •大数据相关技术 •核心技术Hadoop •传统数据与大数据 •两种方式的结合每一天都会产生超过 15 PB的新信息。数据产生速度快 可能包括的数据类型有： 有些数据具有固有的大数据与银行量预计每 2 年就会翻数据变化与处理的频度由天•文本 一番。 加速到秒不确定性，例如：人/毫秒；订单、支•微博 付、欺诈、微博、监控视频、的感情和诚实性；天•对银行的价值 GB •传感器数据 1024MB •音频 •应用场景传感器、信令每时每刻都在气形势；经济因素； 不停的产生数据 以及未来。

在处理这TB •视频 10^3 GB •点击流 些类型的数据时，数•实施建议 数据在运动中 据清理无法修正这种PB •日志文件 10^6 GB 数据创建、处理和分析的•邮件 不确定性。然而，尽速度持续在加快。加速EB •PDF 管存在不确定性，数10^9 GB 的原因是数据创建的实•Office文档 时性天性，以及需要将据仍然包含宝贵的信•手机呼叫 ZB 10^12 GB 流数据结合到业务流程息。确认并接受这种•地图GPS 和决策过程中的要求。不确定性的需求是大 •… YB 10^15 GB 数据的特点。 提 纲 大数据时代 •数据爆炸式增长 •数据资产价值增长 •数据思维的转变 •大数据时代特征 大数据技术 •大数据相关技术 •核心技术Hadoop •传统数据与大数据 •两种方式的结合 大数据与银行 •对银行的价值 •应用场景 •实施建议 大数据技术 不只是 Hadoop 大数据时代以开源Apache Hadoop为基础，诸多厂商进行不同程度改造及商业化；传统数据库厂•数据爆炸式增长 商与其既有数据库产品集成，形成了多种大数据平台。 •数据资产价值增长 •数据思维的转变 HDFS:适合运行在通用硬件上•大数据时代特征 的分布式文件系统； 大数据技术Hive：为Hadoop提供类SQL接Big Data Applications 口的结构化数据库 •大数据相关技术 Hbase：基于HDFS的分布式列•核心技术Hadoop 式数据库 •传统数据与大数据 Pig：数据分析处理的过程语•两种方式的结合 言 大数据与银行Mahout：支持Map/Reduce并行Pig! 计算的机器学习算法库 •对银行的价值 Zoo Keeper：针对大型分布式•应用场景 系统的可靠协调系统 •实施建议 SQL HIVE Zoo RAW Keeper 大数据技术 传统方式与Hadoop方式的比较 大数据时代 传统并行计算架构并行计算 + 分布式存储 •数据爆炸式增长 •数据资产价值增长 •数据思维的转变 •大数据时代特征运算 大数据技术 •大数据相关技术 •核心技术Hadoop •传统数据与大数据 •两种方式的结合 大数据与银行 •对银行的价值储存 •应用场景 •实施建议 传统储存架构•计算与存储一体，计算向数据靠拢，高效专用存储 模式 •为程序员屏蔽通性、并发、同步与一致性等问题 •任务之间无依赖(share-nothing)，具有高系统延展性 (scale-out) 大数据技术大数据处理技术提供了新的数据处理方式，特别是针对 非结构化的数据处理方式，是传统数据处理方式的补充 大数据时代 •数据爆炸式增长传统方式 新方式 •数据资产价值增长 结构化，可分析，逻辑性强 分布式计算处理大数据 •数据思维的转变 集中化的处理 •大数据时代特征 大数据技术 •大数据相关技术数据 Hadoop •核心技术Hadoop •传统数据与大数据交易数据仓库 流 网页数据 •两种方式的结合 大数据与银行应用数 St据ru ctur结ed构 化预测与U行n动st社交数据 企业信息 ructure •对银行的价值 •应用场景主机数Re据peatabd le 重复分析 Linea线r整合 探索分析 文本数据 性迭代分E析xploratory •实施建议 Iter传at感iv器e OLTPMonthly sales 数据 数据 reports Brand sentiment P rofitability analysis 新数 Product sRtrFategy ID CEuRstPom 数er据传统 su rve 数ys据 源 据源Maximum asset utilization 大数据技术 不同数据处理方式的结合 大数据时代银行传统管理信息领域 •数据爆炸式增长 •数据资产价值增长 传统数据•数据思维的转变 处理传统关系数据库 •大数据时代特征 ODS 数据分析 结果 大数据技术 •大数据相关技术 •核心技术Hadoop •传统数据与大数据 流处理非传统非关系数据 源 •两种方式的结合 大数据与银行实时分析超低延迟分析结 果 •对银行的价值 •应用场景 •实施建议非传统非关系数据 互联网非结源 构化处理 传统关系数据库数据分析、数结果 据操作 & 模型构建 提 纲 大数据时代 •数据爆炸式增长 •数据资产价值增长 •数据思维的转变 •大数据时代特征 大数据技术 •大数据相关技术 •核心技术Hadoop •传统数据与大数据 •两种方式的结合 大数据与银行 •对银行的价值 •应用场景 •实施建议 大数据与银行 银行有构建大数据平台的迫切需求 大数据时代 分散在银行服务网络与IT系统中的海量信息是构建分析竞争型•数据爆炸式增长 •数据资产价值增长企业的基础 •数据思维的转变 •大数据时代特征 大数据技术 •大数据相关技术 •核心技术Hadoop •传统数据与大数据 •两种方式的结合 大数据与银行 •对银行的价值 •应用场景 •实施建议 银行有构建大数据平台的迫切需求 大数据与银行大数据将在全方位提升银行能力 大数据时代大数据可能带来的提升 GPS •数据爆炸式增长 客户管理 外部数据 •数据资产价值增长 •数据思维的转变通过大数据分析平台，接 入客户通过社交网络、电•大数据时代特征 子商务、终端媒介等产生的非机构化数据，能够构大数据技术 建客户360度全方位视图 内部管理 •大数据相关技术 及流程优化 •核心技术Hadoop •传统数据与大数据产品管理.大数据能增强企业 大数据分析平台，能内部的透明度，使企 够获取客户的反馈信业上下级之间的信息•两种方式的结合 息，即使获取客户需流通更通畅；同时，大数据与银行求银行 大数据时代，进行深入分析，可基于大数据优化企 对银行产品进行合理业内部的各种流程，•对银行的价值 •应用场景设置提高企业运作效率； 营销管理 风险管理 •实施建议 借助大数据分析平台，通过对形式多样的用户数据（消大规模大数据分析能够帮助银行了解客 内部户的自然属性和行为属性，结合费数据、浏览记录、购买路 径）进行挖掘、追踪、分析，数据客户行为分析、客户信用度分析、 客户风险分析以及客户的资产负以提升精准营销水平系统管理 大数据分析平台，能够通过分布债状况，建立完善的风险防范体式计算，提高银行交易性能、海系。

量数据处理能力

来源【首席数据官】，更多内容/合作请关注「辉声辉语」公众号，送10G营销资料！