一、大数据概念"大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的 数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 " 大数据"首先是指数据体量 (volumes)? 大，指代大型数据集，一般在 10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在 一起，已经形成了 PB 级的数据量；其次是指数据类别(variety)大， 数据来自多种数据源， 数据种类和格式日渐丰富， 已冲破了以前所限 定的结构化数据范畴， 囊括了半结构化和非结构化数据。 接着是数据 处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到 数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随 着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数 据源的局限被打破， 企业愈发需要有效的信息之力以确保其真实性及 安全性。 百度知道—大数据概念 大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具， 在合理时间 内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的 的资讯。 大数据的 4V 特点： Volume、 Velocity、 Variety、 Veracity。

互 联网周刊—大数据概念 "大数据"的概念远不止大量的数据（TB）和处理大量数据的技术，或者所谓的"4 个 V"之类的简单概念，而是 涵盖了人们在大规模数据的基础上可以做的事情， 而这些事情在小规 模数据的基础上是无法实现的。换句话说， 大数据让我们以一种前所 未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力 研究机构 Gartner—大数据概 念 "大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的 类别上看， "大数据"指的是无法使用传统流程或工具处理或分析的信 息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处 理方法的数据集。亚马逊网络服务 （AWS） 、 大数据科学家 JohnRauser 提到一个简单的定义： 大数据就是任何超过了一台计算机处理能力的 庞大数据量。 研发小组对大数据的定义： "大数据是最大的宣传技术、 是最时髦的技术，当这种现象出现时，定义就变得很混乱。" Kelly 说："大数据是可能不包含所有的信息，但我觉得大部分是正确的。 对大数据的一部分认知在于， 它是如此之大，分析它需要多个工作负 载， 这是 AWS 的定义。

当你的技术达到极限时， 也就是数据的极限"。 大数据不是关于如何定义，最重要的是如何使用。 最大的挑战在于哪 些技术能更好的使用数据以及大数据的应用情况如何。 这与传统的数 据库相比，开源的大数据分析工具的如 Hadoop 的崛起，这些非结构 化的数据服务的价值在哪里。二、大数据技术数据采集： ETL 工具负责将分布的、 异构数据源中的数据如关系数 据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最 后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基 础。 数据存取：关系数据库、NOSQL、SQL 等。 基础架构：云存储、分布式文件存储等。数据处理：自然语言处理(NLP，NaturalLanguageProcessing) 是研究人与计算机 交互的语言问题的一 门学科。处理自然语言的关键是要让计算机"理解"自然语言，所以自 然 语 言 处 理 又 叫 做 自 然 语 言 理 解 (NLU ， NaturalLanguage Understanding)，也称为计算语言学(Computational Linguistics 。一方 面 它 是 语 言 信 息 处 理 的 一 个 分 支大数据涉及的技术， 另 一 方 面 它 是 人 工智 能 (AI, Artificial Intelligence)的核心课题之一。

统计分析：假设检验、显著性检验、差异分析、相关分析、T 检验、方差分析、卡方分析、偏 相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐 步回归、回归预测与残差分析、岭回归、logistic 回归分析、曲线估 计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚 类法、 判别分析、 对应分析、 多元对应分析 （最优尺度分析） 、 bootstrap 技术等等。 数据挖掘： 分类 （Classification） 、 估计 （Estimation） 、预测（ Prediction ） 、相关性分组或 关联规则（ Affinity grouping or association rules ） 、聚类（Cluste

来源【首席数据官】，更多内容/合作请关注「辉声辉语」公众号，送10G营销资料！