随着大数据技术和业务不断发展,将企业的核心能力以数字化形式沉淀到平台,形成以企业服务为中心,以业务中台和数据中台构建起数据闭环运转的运营体系,供企业更高效地进行业务探索和创新,以数字化资产的形态构建企业差异化的核心竞争力。企业中台服务不仅是企业数据的集中地和业务的策源地,更是一个企业开始具备有观察自身问题的显微镜和预见未来问题的望远镜这两种能力的过程。
在OLDI(Online Data-Intensive)时代,越来越多的企业的核心业务都是在线业务,因此把在线业务中台简称为业务中台。但对那些不是以在线业务为主的企业,它需要的业务中台可能就不是在线业务中台了,而是数据中台或别的什么中台。 不具备业务属性的能力,即便是共性的,即便有一个专职的部门在做,即便对业务非常重要,也不能称之为中台,而还是应该称之为平台。否则就会出现很多与业务八杆子打不着的各种中台,混淆视听。因此,应该说所有中台都是业务中台,没有别的类型的中台。数据中台、搜索中台、内容中台、零售中台等等,都是特定形式的业务中台,也还是业务中台。
业务中台是阿里巴巴首先提出的企业it架构的转型之道,站在阿里巴巴集团全局的角度看业务,中台是从整体战略,业务支撑连接消费者和业务创新等方面进行统筹规划的,因此业务中台内含了阿里巴巴电商交易的主营业务数据业务化,中台更多关注的是如何支撑在线业务,阿里巴巴一开始将淘宝作为平台连接商家和消费者进行电商交易活动,随之发展出淘宝商城及后来的天猫天猫,本质上还是电商交易平台,既然都是电商交易平台,就都涉及售前售中和售后的业务流程
业务中台围绕以交易为核心关联的领域组成,交易的对象是商品,商品通过店铺卖给会员,交易的凭证是订单在线交易需要支付,承担后需要货物的出库和物流派送,等售前需要营销促销活动吸引流量并加强转化,售后用户会对店铺商品进行评价等由此典型的业务状态由多个业务服务中心组成。
“中台是从多个相似的前台业务应用共享的需求中产生的,因此最先提出的中台是业务中台。数据是从业务系统产生的,而业务系统也需要数据分析的结果,那么是否可以把业务系统的数据存储和计算能力抽离,有单独的数据处理平台提供存储和计算能力,这样不仅可以简化业务系统的复杂性,还可以让各系统采用更合适的技术,专注做本身擅长的是这个专用的数据处理平台即数据状态。
业务中台抽象包装和整合后台资源转化为便于前台使用的,可重用可共享的核心能力。实现了后端业务资源到前台应用能力的转化,为前台应用提供了强大的炮火支援能力。业务状态的共享服务中心提供了统一标准的数据,减少了系统间的交互和团队间的协作成本数据中台介入,业务中台后台和其他第三方数据完成海量数据的存储,清晰计算和汇总,构成企业的核心数据能力,为前台基于数据的定制化创新和业务状态,基于数据反馈的持续演进提供了强大支撑。
一、中台的类型有哪些?
按照目前普遍的说法,中台分为6类:
数据中台:提供数据分析能力,帮助企业从数据中学习改进,调整方向。
业务中台:提供重用服务,例如用户中心、订单中心之类的开箱即用可重用能力。
算法中台:提供算法能力,帮助提供更加个性化的服务,增强用户体验。
技术中台:提供自建系统部分的技术支撑能力,帮助解决基础设施、分布式数据库等底层技术问题。
研发中台:提供自建系统部分的管理和技术实践支撑能力,帮助快速搭建项目、管理进度、测试、持续集成、持续交付。
组织中台:为项目提供投资管理、风险管理、资源调度等支持。
如果一个公司的数据中台没有和业务中台紧密配合,那么这种纯粹的数据中台只是蹭热点,不会有很大的效果。所以我们认为,更有价值的中台是业务偏向的数据中台,而不是通用型的数据中台。
二、数据中台为什么成为企业推崇的“新思路”
1.数据中台的核心思想
关于数据中台的定义和概念,已经被讲烂了,结合近三年的数据中台实践,总结一下就是“让数据更快、更省地用起来”的一种思想、架构。也就是,数据中台所做的一切,最终的目标都是数据价值的挖掘和应用输出,为了达到这一目标,涉及数据的采、存、管、治、用各个环节和流程,可以用来“降本增效”的产品,都归属于数据中台产品体系。
2.数据中台与数据平台、数据仓库的关系
在数据中台概念清晰之前,各个互联网公司其实也都做了很多的基础建设工作,只是没有明确地定义为数据中台而已。每个公司都在实践中寻找解决数据应用实践方法,例如构建指标体系解决指标口径不一致的问题;建设自助取数工具,业务自助取数不求人,开发人力释放专注于数仓模型建设;开发配置化的BI可视化产品,减少可视化报表对接口开发、前端开发人力的依赖;建设精准营销(DMP)平台,业务自助圈选目标用户进行精准触达,提升运营活动频率等。所以,个人理解,数据中台概念的出现,只是提供了一套完整的解决方案和思想,把原来的不成体系的“野路子“,扣上”中台“的帽子后,成了有方法论、战略的指引和支撑正规军了。
可以把数据中台类比成汽车工厂,如果发动机、轮胎等零配件已经生产完毕,可以很快组装出一辆汽车。而Hadoop生态,集群建设,就像水电煤等基础设施,提供工厂运行所需能源支持,大数据平台,数据开发工具就像是机床设备,提供制造零配件的工具能力,而数据仓库的建设,则像是用机床加工好各自零配件,并且提供快捷的仓库索引目录,能够最短时间找到所需配件。
三、数据中台需要具备的核心能力与产品架构
1.数据中台的核心能力
数据汇聚
将异构数据源通过源和目标参数配置实现数据入湖、入仓,以及存储介质的转换,降低人肉脚本处理带来的风险和维护成本。构建统一的数据集散中心,打破数据孤岛。
资产沉淀
将数据提纯加工,形成可快速使用的数据模型,建立完善的数据共享机制与安全管控流程,构建数据复用能力。同时需要对资产进行常态化、周期性的质量管控与治理。
产品化能力
数据采集、资产管理、数据应用流程的平台化、配置化,基于工具实现数据的快速流转,提升数据输出的效率。
业务赋能
数据驱动决策、为产品智能化、运营精细化赋能。一是赋能效率的提升,二是赋能过程的数据资产管控。
2.数据中台产品架构
(1)数据应用效率问题
自助BI与可视化分析:以产品化的方式降低数据获取、数据分析、数据应用的成本,解决数据响应周期长、开发成本高、运营效率低问题
能力要求:集成数据建模、自助分析、数据可视化、数据治理、智能分析的一站式数智化决策分析平台,数据开发专注数仓模型建设,提供健全的模型、完善的资产元数据信息后,业务拖拽式、可视化的数据查询和分析,不需要数据开发介入。针对需要周期性使用的数据,可以保存成可视化Dashboard,自助进行可视化报表减少,释放接口和前端开发人力。比如:QuickBI、观远、帆软BI、tableau等
智能营销平台(DMP):基于大数据计算和数据挖掘技术,构建用户画像标签体系,用户圈选、精细化分层,进行差异化运营和营销触达,提升运营ROI。业务同学可基于平台实现从人群圈选、场景构建、触达投放、效果回收的闭环,同时,基于算法挖掘标签及模型推荐的人群组合,从基于人的经验运营,到基于大数据算法推荐的智能运营。
(2)数据资产建设与治理问题
21年云栖大会,阿里云数据中台负责人强调,要在场景的驱动下,把数据中台的资产模块做的更厚实。
数据流向
目标:提供数据资产建设、资产管理与治理的完整产品方案,通过数据资产化管理和共享流程提高数据复用性,减少重复开发成本,基于完善的监控覆盖保障数据质量,并周期性的盘点、治理资产,达到降本的目标。
数据地图:通过业务域、主题、标签、字段元数据等信息,帮助用户快速检索到目标数据,基于条件过滤或自助搜索,“逛数据”,“用数据”。
数据质量监控:围绕“准确性、一致性、及时性、唯一性、完整性”等标准维度,提供配置化的质量监控规则,对数据表数据量、字段值进行监控覆盖,从源头及时发现数据问题并加以干预,保障数据质量。
数据血缘:数据入湖到输出应用经过多个环节,上游数据问题如何快速通知下游,下游数据逻辑排查如何向上追溯,以及数据治理表或路径下线,如何评估下游的影响并通知,都依赖于全链路数据血缘的建设。可以说,完善的血缘功能,可以极大提高数据开发的工作效率
成本优化:数据有自己的生命周期,比如活动期间的数据监控报表,活动下线后,报表可以下线释放资源。成本优化提供高耗任务、小文件、冷数据等不同治理维度的指标,及治理目标,从资产健康度评估维度,指导数据开发人员主动进行成本优化、数据治理,系统层面具备治理目标检测、一键治理、数据回收、彻底删除等治理功能,并且可以基于固化的治理规则,进行系统自动化治理。
(3)数据开发流程的效率问题
目标:提供异构数据源数据同步可视化工具,通过源和目标参数配置实现数据入湖、入仓,以及存储介质的转换,降低人肉脚本处理带来的风险和维护成本。建设统一的数据开发平台,数据开发只需要关注数据处理逻辑,无需关注集群资源、任务调度,通过配置化的方式进行依赖关系配置,及任务运行周期,快速进行数据回溯、任务重启、停止
数据集成:业务数据库、操作日志、状态变更消息等数据源接入数据中心,如Biglog同步、MySQL库表订阅、Kakfa数据落HDFS等。数据经过实时或离线ETL后,数据集成再将数据输入CK、Hbase、ES等供业务端应用
离线开发平台:批数据处理,一般为T+1或小时级的准实时数据,包括任务逻辑处理、依赖配置、调度配置、任务运维等功能。
实时开发平台:流数据处理,以FlinkSQL、StreamSQL为主要计算处理框架,实时处理消息队列等各种流式数据,输出实时报表、实时接口推荐等服务
随着批流技术组件的发展,批流一体化开发平台的建设也陆续在实践中。
(4)数据服务快速输出
有人也把数据中台称之为DAAS,即数据即服务,数据如何快速输出业务端,赋能产品创新。API服务统一管理,建
来源【首席数据官】,更多内容/合作请关注「辉声辉语」公众号,送10G营销资料!
版权声明:本文内容来源互联网整理,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 jkhui22@126.com举报,一经查实,本站将立刻删除。