一、简介

近年来“物联网”(IoT)和“大数据”是两个最受瞩目的话题。在物联网的概念里，有关任何开和关切换到网络的设备皆会彼此连接，它们之间都彼此相互连结。这包括了手机、咖啡机、洗衣机、耳机、台灯以及可穿戴的设备，很多物品都是属于这个范畴(图 1)。这也适用于机器零件，例如：飞机的喷气发动机或石油钻井平台的钻头。无论有没有意识到这一点，我们的生活周围已经被这些依赖于大数据的东西所包围了，不过这也使得生活更美好。

图1 物联网在连接设备的应用 (来源: the IPSO Alliance)

物联网(IoT)是目前大数据市场的最新趋势。在未来十年内，估计会出现约两百五十亿个网络连接设备，比个人计算机、手机和平板计算机等的数量加起来还多，这是一个很庞大的连接(有人甚至估计这个数字还要高得多，超过一千亿)。物联网是连接 “物品” 的巨大网络。这关系是在人与人、人与事、物与物之间。因此，影响物联网最大的因素之一就是数据：数据量、数据的管理和使用，如图2 所示。

图2 物联网连接数据的数量

二、大数据

大数据是指大量的数据，它是非结构化和没有组织性的，指的是不断增加的数据，且需要收集、储存、管理和分析的技术。这是个复杂的和多层面的现象，影响到人员、流程和技术。从技术的角度来看，大数据整合了组织、管理、分析和显示数据，这些都是“Seven V’S”的特点。

图3 在 Seven V’S 里面的大数据演变为数据的价值

1. 资料量

大数据的数据量，是指从这些来源(文字、声音、视频、社交网络、调查研究、医疗数据、空间意象、犯罪报导、气象预报和自然灾害等等)所收集到的各个数据。而在处理大数据的问题时，数量的多寡是一个关键的因素。

2. 数据输出输入的速度

这个速度影响负责大量数量和数据进来的速度。例如，当发生数据有时间上的紧迫、需要立即处理并迅速保存的时候。

3. 数据类型，多样性

多样性是指数据的不同数据资源和格式，而它不能将自己储存在结构化的关系数据库系统。数据的多样性直接影响数据的完整性。数据中的多样性越复杂，就越容易产生错误。

4. 真实性

由于非结构化和大数据的处理应考虑其准确性 - 数据的真实性。而“真实性”将成为最受关注的一项因素，尤其是对于大数据的处理、相关分析以及最后结果这些方面而言。

5. 有效性

数据的有效性可能听起来相似于数据的准确性，但概念上却是不同的。有效性意味着数据的正确性和精确度。

6. 能见度

能见度指的是能够看到或被看到–它是隐含的。来自不同来源的数据需要合并在一起，而它们是由可见的技术层所组成的大数据。

7. 价值

这是一个非常重要、具有价值或很有用的数据。这个“价值”是大数据处理后所期望的结果。实际上，数据的价值必须超过成本。

大数据技术是一项新的技术和结构，意指在从各种非常大量的数据中获取价值，并透过使用快速采集来发现和/或分析大数据技术层，包括：

图4 大数据在物联网中的角色

如果没有适当的把数据收集到位，对企业而言将不能排序所有在嵌入式传感器(图 4)中流动的信息流。这意味着，如果没有大数据，物联网仅可提供企业一点点东西。要引进先进的物联网使用案例，其关键在于：在一般情况下进行数据分析、要能从想象中到实际上可以实施、借助进入到数据基础结构，来达到经济实惠和易维护性。

8. 大数据架构

新大数据结构是弥补传统系统中的不足之处，但也增加了整体的复杂性。这种技术使公司能够分配数据的储存与数据的分析，并分析有效性以及辨识模式、趋势等。公司不仅能够进行历史分析和回馈导向的报告，同时也期待着，预测商业的见解，从而积极支持未来的决策。多数专业系统需要处理不同的需求和方法。特别是对于物联网而言，M2M 和传感器的数据，因为数据的实时处理和分析是必要的，而且传统系统无法提供其所需，因此内存和流动式数据库的应用程序是必要且不可少的。

大数据的技术结构可以分成六个不同的重点领域，以专业技术为主轴：数据储存、数据存取、数据整合、分析处理、视觉和数据管理。

图5 简易大数据架构

9. 云端运算

而物联网真正的创新来自于它与云端运算的完美结合。当连接设备之间相互发生作用时，大量的数据将产生于此。这些数据很容易地被捕捉到以及储存，但需要将其转化为有价值的知识和可执行的情报–而这是云端真实的实力所在。实际上，云端运算是一个模型，为了足够方便、并依据网络需求权限，来配置运算资源的共享池(如网络，服务器，储存，应用和服务)，它可快速配置和发布最小的管理工作或服务提供商互动。有三种云端服务模式如下(图 6)：

(1)云端软件服务(SaaS)

多数的 SaaS 应用程序，是用来涵盖在所有情况的范围之下企业用户的所需。

(2)云端平台服务(PaaS)

PaaS 提供开发人员工具和知识库构建、测试、配置和在云端基础设施上运行这个应用程序。PaaS 借助无需配置和扩展 Hadoop 的元素来实现降低管理的工作量，并作为先进分析应用程序的开发平台。

(3)云端基础设施服务(IaaS)

IaaS 在共享资源服务器中能分配或拖延时间，这往往是虚拟化，处理的运算和储存需求的大数据分析。

图6 服务模式

三个主要的云架构模型已经随着时间的推移而发展; 私有、公共和混合云(图 7)。它们都共享资源商品化的想法，并为此常常虚拟化的计算和抽象的储存层。

(4)私有云

私有云是专用于一个组织，不共享物理资源。此资源可由公司内部或外部提供。私有云配置的典型要求是安全性，严格区分企业的数据储存和处理是否被无意或是恶意进入共享资源。

(5)公共云

公共云的数据传输、储存和处理共享实体资源。然而，客户有隐私的可见运算环境和独立储存。安全方面的问题，采用一些私有云或自定义的配置，对绝大多数的客户和项目不相关。

图7 私有和公共云端运算之间的区别

(6)混合云

混合云架构合并私有和公共云的配置。通常是为了实施安全性和弹性，或提供更便宜的基本负载和脉冲能力。

云端运算模式提高 IT 的灵敏性，就能节省很多成本。此外，云端运算是一个自由的大数据 - 任何企业都能在规模庞大的数据里与非结构化数据一起运作。云端运算和云端数据储存的兴起，对于大数据的出现而言，将成为一个前兆和推动者。云端运算借助标准化技术方法，来计算时间和数据储存，并商品化。它比传统的物理配置有更显著的优势。然而，云端平台有好几种形式，有时不得不与传统架构一起整合。云端运算运用可视化在同一台实体机器上，来运算资源来以运行许多标准化的虚拟服务器。云端提供者允许低价格和根据短的时间间隔来计费，以实现这一经济规模效益。这种标准化使得计算需求，具有弹性和高可用性的选项。

借助增加附加的实例与服务他们每个人一部份的需求，来垂直扩展以实现弹性。像 Hadoop 的软件是专门为分布式系统来利用垂直扩展，他们在大平行规模里处理小的独立任务。分布式系统也可以作为数据储存大数据实际应用案例，例如 NoSQL 数据库，或文件系统像是 Hadoop 的 HDFS。透过与复杂工作流程的机器集群，可用风暴在接近实时之下提供协调数据流的处理来替代。典型的云端大数据项目的数据处理重点放在缩放或采用 Hadoop。像 Hive 和 Pig 这两个工具已经在 Hadoop 之上，这使得它可行轻松地处理庞大的数据。

三、HADOOP

Hadoop 是一个强大的开放架构，它几乎是由整个大数据堆中许多不同的技术所组成，借着利用正在使用的几个组织，并透过物联网(IoT)来收集分析和处理数据。对于物联网(IoT)收集非结构化数据，这仅仅成功了一半，另一半处理批量，是使用 Hadoop 分析数据。物联网的成功或失败取决于大数据，随着企业步入物联网的世界里，物联网与大数据之间的共生关系被广泛利用在盈利的业务决策上。物联网大部分是关于数据而不是设备中的数据。大数据和物联网就像是战略合作伙伴，因为它们不只是从物联网收集数据，还必须进行处理和分析，以争取改善业务营运。因数据的特性，物联网设备适合用于采用分析大数据的方法。物联网(IoT)的基础设施已经达到了成熟的水平：

Hadoop 运用企业级储存处理层，可储存接近一兆的文件。各种相关性可以在不同类型的非结构化数据之间，借助利用 Hadoop 和物联网，从而为企业的竞争优势提升到另一个层级。下图所示的相互作用物联网(IoT)，说明数据储存和大数据分析引擎之间是如何发生的，如图 8。

图8 物联网三要素之间的相互作用

四、物联网的应用和大数据 HADOOP

1. 迪斯尼世界独有的流行魔术手环

迪斯尼世界独有的魔术手环，是物联网如何利用大数据的最佳范例之一。魔术手环是一种可穿戴式的手环，游客可以戴在手腕上，从办理报到手续到他们的房间开始、购买食物、进入主题公园的旋转门。迪斯尼收集有关游客在主题公园内活动的非结构化数据，以将其用于分析，帮助他们 - 工作人员的吸引力和游乐设施的有效性，调节餐厅在尖峰时段的存货，容纳更多的客人进入饭店。

2. 受到大众喜爱的珠宝店 Alex and Ani

Alex and Ani 这两家受到大众喜爱的珠宝店，它们在店内使用 Beacon 的技术来追踪商店内的游客数量和发送特定的折扣券，使顾客一进入到商店中就能发送给他们。

3. Beacon 技术在麦当劳食品供应链

麦当劳是用 Beacon 技术透过顾客的手机应用程序，知道谁在麦当劳餐厅附近，以提供优惠券给客户。顾客收到有个人化种类的讯息，并使用手机应用程序找出最有关联的交易。

4. UPS(联合包裹服务公司)

UPS 是美国最大的运输公司，他们正在利用传感器数据进行大数据分析，以提高办事效率来节省资金，并减少对环境的影响。UPS 在送货车辆上安装传感器来追踪油量行驶里程数，停止和加速的发动机状况。这些物联网传感器从每个车队的每一台车辆采集近 200 个数据点，每一天将近 80,000 个。UPS 已成功地减少有害排放燃料的消耗和减少车辆的空闲时间。

五、运用大数据的案例

现在的大数据技术提供了各种不同的能力。它已经用来创造新产品、预测行为和趋势，并优化销售活动。大数据正在改变各种行业的经营方式，它能提供量身打造的医疗保健，使得我们的城市更智慧、更安全。本节的其余部分将讨论，大数据被用于一些特定的情况。

1. 利用大数据来预测犯罪地点

预测未来犯罪是现在现实的一部分。其中一个例子是洛杉矶警察局(LAPD)在近期利用大数据来预测犯罪地点，因此降低整个大都市区的犯罪，在使用预测软件的区域作出了以下贡献，降低 33%的室内偷窃、21%的暴力犯罪和 12%财产犯罪。当地震发生的时候，在附近会有很高的机率出现余震。这个数学模型，是由一位助理教授乔治莫赫所开发的，它可以用来定义和预测新余震图案。

犯罪数据显示类似的模式(见图 9)。这些数据有助于洛杉矶警察局 LAPD了解犯罪的性质。它表示当犯罪发生在一个地方的时候，就会有更多的犯罪出现在附近，这些犯罪活动的模式，就类似余震模式。当他们把之前的犯罪代入方程式，就会产生在过去预测里发生了什么事。而现在该部门可以透过运算来分析识别犯罪模式，这系统的分析，让暴力犯罪在洛杉矶连续递减。

就像遵循一个地震余震，附近的盗窃也跟着快速重复发生(从洛杉矶 2004/5 的数据)

图9 犯罪余震

2. 以大数据作为医疗保健创新的源泉

大数据的发布可能会激发很多公司开发医疗保健应用程序，或类似的创新。以下是大数据革命创造有关医疗创新的一些例子：

(1) MHealthCoach 支持慢性病照护的病人、提供教育，并透过一个互动系统来治疗。这个应用程序利用医疗保健的成本和项目的数据，这是由卫生保健研究与质量的机构所赞助的，以及来自临床试验的结果和警告。MHealthCoach 也可被供应者用来识别高风险患者，和提供重要的消息并提醒他们(图 10)。

图10 Mhealthcoach

(2) Asthmapolis 创造了一个可使用 GPS 追踪器的东西，它借助哮喘来监测吸入器的使用情况，并在 Google Play 商店和 App S

来源【首席数据官】，更多内容/合作请关注「辉声辉语」公众号，送10G营销资料！