首席数据官

Hi, 请登录

大数据:大数据的实际应用、发展趋势和面临的问题

2、大数据分析我们应该关注哪两个内容呢?

数据建模结构图

(1)、数据建模

数据建模指的是对现实世界各类数据的抽象组织,确定数据库需管辖的范围、数据的组织形式等直至转化成现实的数据库。 将经过系统分析后抽象出来的概念模型转化为物理模型后,在visio或erwin等工具建立数据库实体以及各实体之间关系的过程(实体一般是表)。

数据建模是一种用于定义和分析数据的要求和其需要的相应支持的信息系统的过程。因此,数据建模的过程中,涉及到的专业数据建模工作,与企业的利益和用户的信息系统密切相关。一般分为三种类型:

①、使用计算机描述一个系统的行为。

②、使用计算机以数学方法描述物体和它们之间的空间关系。

③、应用程序和数据建模是为应用程序确定、记录和实现数据和进程要求的过程。

KPI指标鱼骨图

(2)、KPI 指标

KPI指标是指关键业绩指标,是企业绩效考核的方法之一,其特点是考核指标围绕关键成果领域进行选取,MBA、CEO12篇及EMBA等常见企业管理教育均对关键业绩指标(KPI)的应用及其特点有所介绍。

最常见的关键业绩指标有三种:一是效益类指标,如资产盈利效率、盈利水平等;二是营运类指标,如部门管理费用控制、市场份额等;三是组织类指标,如满意度水平、服务效率等。

(2)数据建模和KPI指标对大数据分析的影响

前者是传统数据仓库下的数据建模,在该数据模型下需要支持上面各种分析方法和分析策略;后者是根据业务目标和业务需求建立的KPI指标体系,对应指标体系的分析模型和分析方法。解决这两个问题可以基本解决大数据分析过程中产生的问题。

3、大数据两大核心:云技术和BI

(1)、云技术

云技术是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。

云技术关系图

云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着物联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。

(2)、BI

BI(Business Intelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确地提供报表并提出决策依据,帮助企业做出明智的业务经营决策。

BI商业智能解决方案

大数据教育时代来临_大数据时代下的教育_\"大数据\"时代挑战信托营销规则 证券日报

把商业智能看成一种解决方案应该比较恰当。商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理,以保证数据的正确性,然后经过抽取(Extraction)、转换(Transformation)和装载(Load),即ETL过程,合并到一个企业级的数据仓库里,从而得到企业数据的一个全局视图,在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理(这时信息变为辅助决策的知识),最后将知识呈现给管理者,为管理者的决策过程提供数据支持。商业智能产品及解决方案大致可分为数据仓库产品、数据抽取产品、OLAP产品、展示产品、和集成以上几种产品的针对某个应用的整体解决方案等。

(3)、云技术和BI的关系

通过云技术和BI商业智能相结合,从而达到相辅相成互补的作用,离开云技术大数据没有根基和落地可能,离开BI和价值,大数据又将变化为舍本逐末,丢弃关键目标。简单总结就是大数据目标驱动是BI,大数据实施落地式云技术。所以说明大数据两大核心为云技术和BI。

传统的BI分析通过大量的ETL数据抽取和集中化,形成一个完整的数据仓库,而基于大数据的BI分析,可能并没有一个集中化的数据仓库,或者将数据仓库本身也是分布式的了,BI分析的基本方法和思路并没有变化,但是落地到执行的数据存储和数据处理方法却发生了大变化。

六、大数据的实际应用

说起大数据的实际应用,我们举一些我们知道的例子,这样更贴近我们的生活,也可以让我们更容易理解大数据,也能更好的感受大数据的魅力。

1. 梅西百货的实时定价机制。根据需求和库存的情况,该公司基于SAS的系统对多达7300万种货品进行实时调价。

2. Tipp24 AG针对欧洲博彩业构建的下注和预测平台。该公司用KXEN软件来分析数十亿计的交易以及客户的特性,然后通过预测模型对特定用户进行动态的营销活动。这项举措减少了90%的预测模型构建时间。SAP公司正在试图收购KXEN。

3. 沃尔玛的搜索。这家零售业寡头为其网站自行设计了最新的搜索引擎Polaris,利用语义数据进行文本分析、机器学习和同义词挖掘等。根据沃尔玛的说法,语义搜索技术的运用使得在线购物的完成率提升了10%到15%。“对沃尔玛来说,这就意味着数十亿美元的金额。”Laney说。

4. 快餐业的视频分析。该公司通过视频分析等候队列的长度,然后自动变化电子菜单显示的内容。如果队列较长,则显示可以快速供给的食物;如果队列较短,则显示那些利润较高但准备时间相对长的食品。

5. Morton牛排店的品牌认知。当一位顾客开玩笑地通过推特向这家位于芝加哥的牛排连锁店订餐送到纽约Newark机场(他将在一天工作之后抵达该处)时,Morton就开始了自己的社交秀。首先,分析推特数据,发现该顾客是本店的常客,也是推特的常用者。根据客户以往的订单,推测出其所乘的航班,然后派出一位身着燕尾服的侍者为客户提供晚餐。

6. PredPol Inc.预测犯罪机率。PredPol公司通过与洛杉矶和圣克鲁斯的警方以及一群研究人员合作,基于地震预测算法的变体和犯罪数据来预测犯罪发生的几率,可以精确到500平方英尺的范围内。在洛杉矶运用该算法的地区,盗窃罪和暴力犯罪分布下降了33%和21%。

7. Tesco PLC(特易购)提高运营效率。这家超市连锁在其数据仓库中收集了700万部冰箱的数据。通过对这些数据的分析大数据时代下的教育,进行更全面的监控并进行主动的维修以降低整体能耗。

8. American Express(美国运通AmEx)实现商业智能。以往,AmEx只能实现事后诸葛式的报告和滞后的预测。“传统的BI已经无法满足业务发展的需要。”Laney认为。于是,AmEx开始构建真正能够预测忠诚度的模型,基于历史交易数据,用115个变量来进行分析预测。该公司表示,对于澳大利亚将于之后四个月中流失的客户,已经能够识别出其中的24%。

大数据发展趋势

七、大数据发展7大趋势

所以,在政府的明确方向引导,专家学者的共同推动下,现在大数据呈现7大趋势:

1、趋势一:数据的资源化

何为资源化,是指大数据成为企业和社会关注的重要战略资源,并已成为大家争相抢夺的新焦点。因而,企业必须要提前制定大数据营销战略计划,抢占市场先机,这样才能保证立足于商场不败之地。

2、趋势二:与云计算的深度结合

大数据离不开云处理,云处理为大数据提供了弹性可拓展的基础设备,是产生大数据的平台之一。自2013年开始,大数据技术已开始和云计算技术紧密结合,预计未来两者关系将更为密切。除此之外,物联网、移动互联网等新兴计算形态,也将一齐助力大数据革命,让大数据营销发挥出更大的影响力。

3、趋势三:科学理论的突破

随着大数据的快速发展,就像计算机和互联网一样,大数据很有可能是新一轮的技术革命。随之兴起的数据挖掘、机器学习和人工智能等相关技术,可能会改变数据世界里的很多算法和基础理论,实现科学技术上的突破。

4、趋势四:数据科学和数据联盟的成立

未来,数据科学将成为一门专门的学科,被越来越多的人所认知。各大高校将设立专门的数据科学类专业,也会催生一批与之相关的新的就业岗位。与此同时,基于数据这个基础平台,也将建立起跨领域的数据共享平台,之后,数据共享将扩展到企业层面,并且成为未来产业的核心一环。

大数据时代下的教育_大数据教育时代来临_\"大数据\"时代挑战信托营销规则 证券日报

5、趋势五:数据管理成为核心竞争力

数据管理成为核心竞争力,直接影响财务表现。当“数据资产是企业核心资产”的概念深入人心之后,企业对于数据管理便有了更清晰的界定,将数据管理作为企业核心竞争力,持续发展,战略性规划与运用数据资产,成为企业数据管理的核心。数据资产管理效率与主营业务收入增长率、销售收入增长率显著正相关;此外,对于具有互联网思维的企业而言,数据资产竞争力所占比重为36.8%,数据资产的管理效果将直接影响企业的财务表现。

6、趋势六:数据质量是BI(商业智能)成功的关键

采用自助式商业智能工具进行大数据处理的企业将会脱颖而出。其中要面临的一个挑战是,很多数据源会带来大量低质量数据。想要成功,企业需要理解原始数据与数据分析之间的差距,从而消除低质量数据并通过BI获得更佳决策。

7、趋势七:数据生态系统复合化程度加强

大数据的世界不只是一个单一的、巨大的计算机网络,而是一个由大量活动构件与多元参与者元素所构成的生态系统,终端设备提供商、基础设施提供商、网络服务提供商、网络接入服务提供商、数据服务使能者、数据服务提供商、触点服务、数据服务零售商等等一系列的参与者共同构建的生态系统。而今,这样一套数据生态系统的基本雏形已然形成,接下来的发展将趋向于系统内部角色的细分,也就是市场的细分;系统机制的调整大数据时代下的教育,也就是商业模式的创新;系统结构的调整,也就是竞争环境的调整等等,从而使得数据生态系统复合化程度逐渐增强。

大数据面临的问题

八、大数据发展过程中面临哪些问题?

一个事物的发展,往往伴随着表扬和批评,那么大数据又存在哪些问题,值得我们注意呢?

1、问题一:数据真实性存在质疑。

在这个数据能够快速变现的时代,因为巨大利益的诱惑,数据的真实性通常要打一个“?”,官员要政绩、学界要成果、商界要名利。注水性数据导致硬数据软化。基尼系数、博主粉丝量、复兴指数,为何一直在被质疑?因为越来越多的软件购买信息,弄虚作假,使得大数据也是真假难辨。数据背后的细节,数据源的真实、全面性以及处理过程中的科学性,是大数据走向权威和信任的重要评断标准。

2、问题二:数据样本具有代表性,数据信息不全面。

大家都知道“井底之蛙”的故事吧,这则寓言故事告诉我们看世界的角度不同,眼界也不同。就好像微博不能代表网友的全部意见,而网友更不能代表社会的心声。所以我们在收集数据的时候,因为渠道的不同,往往数据信息也具有这个网站独特的代表性,导致信息不够全面,这样导致大数据分析出来的结果也不是准确的。

3、问题三:数据信息存在相关性误差。

举一个不恰当的例子,一个城市的网页点击率越高,说明这个城市网络形象越好。这显然是不准确的,虽然,数据统计表明网页点击数量和城市网络形象存在某种联系,但负面事件带来的网页量大爆发也是不可忽略的,所以这个结论的科学性大打折扣。利用大数据,

试看结束,如继续查看请付费↓↓↓↓
打赏0.5元才能查看本内容,立即打赏

来源【首席数据官】,更多内容/合作请关注「辉声辉语」公众号,送10G营销资料!

版权声明:本文内容来源互联网整理,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 jkhui22@126.com举报,一经查实,本站将立刻删除。

相关推荐

二维码
评论