本项目的建设目标主要包含以下三个维度

项目背景

随着客户证券业务规模地不断扩大及相关产品和服务种类地迅速增加，数据总量正在急速增长、数据类型也在不断增多。同时，随着互联网技术不断引入公司相关业务系统，线上服务占比大幅提升，已逐步成为公司主要的业务受理渠道，客户触点也随之从有形转为无形，数据成为了解业务和挖掘客户需求的重要依据。

明略数据帮助国内大型券商机构建设企业级大数据平台是企业科技发展规划中的重点任务，通过全面建设大数据及流平台，不断完善数据架构体系，发挥协同优势，为智能化服务、数据化运营、优化数据管理提供基础。

建设企业级大数据平台，可以支持集团非结构化数据的存储及分析挖掘，扩展客户分析，风险挖掘数据源,同时，能够支持业务系统流数据的实时分流，为业务准实时监控和风控提供支持。

项目历程

大数据平台于2017年年中正式启动，通过多方的共同努力，计划于同年年底正式投入试运行。

以下是对项目实施历程的回顾，以及每个里程碑式意义的阶段介绍。

项目历程

大数据平台建设是一个工程，是一个过程。大数据平台建设涵盖内容丰富，实施周期紧凑，在半年的时间里，涉及了数仓多个源系统的数据迁移、10多个数据源的接入，数百个画像标签的开发、1套实时全景业务展示、1个模型应用验证、1套画像功能的部署。下面就项目过程的重点阶段进行总结。

大数据平台建设

利用大数据的流式处理技术，完成Cloudera的CDH大数据平台搭建，提供HDFS，HIVE，HBase，Flume，Impala，Kafka，Kudu，Oozie，Solr，Spark，YARN，Zookeeper等服务组件，实现业务数据的实时接入与计算，并采用丰富的图表将各指标数据进行可视化展示。

客户画像建设

用户画像可通过对海量低价值密度用户数据的深入加工，得到客户金融特征的一组标签，在业务运营中能够有助于更加高效地理解客户、研究客户需求、分析客户潜在意图，能够将数据驱动的思想引入到业务运营流程中。此次大数据平台搭建，共完成了近10大标签维度，数百个标签的开发，并提供了便捷的标签管理功能、可筛选功能等，并与CRM客户对接，可提供标签数据服务，帮助营销和销售人员定位目标客户，了解客户潜在需求，开发需求产品以及向客户精准营销。

全景业务展示建设

大数据平台全景业务展示应用实现App活跃客户，App装机，开户信息，市占率百川资讯数据管理系统怎么登陆，等业务运营指标的实时展示功能，该版本的上线业务价值:通过大数据流式处理技术，将业务指标的洞察从T + 1提升到实时洞察，快速洞悉业务。

指标计算结果的处理考虑到业务对实时性的高要求，采用了构建在Spark上的实时计算框架Spark Streaming进行业务处理，满足实现高吞吐量、高实时性及高并发性的需求，对业务数据进行实时指标计算。数据经过计算后存入HBase，使用内存数据库Redis来缓存计算模块用到的配置信息和一些高频使用的中间变量，以提高系统计算效率。计算完的结果数据通过Kafka下发，在全景业务展示区进行实时数据的前端页面展示。

对于存储在HBase中的指标数据结果，会通过Oozie编写WorkFlow的方式，每日定时跑批将数据备份到Hive中，方便后续的数据查询治理。

全景业务展示系统很好的解决了核心业务指标及客户行为的实时洞察与分析，将数据时效性提高到秒级，并提供了数十种数据展现形式，实现了数据多维展示及趋势分析，为宏观决策和快速业务响应提供了良好的支撑。客户画像、关联账户分析、舆情分析、文本检索。

其他功能建设

此次大数据平台的建立，还包括搭建了爬虫管理平台、自然语言处理功能、数据挖掘作业及演示，以及提供包括CRM在内的多个应用的标签数据服务。

项目成效

明略数据为客户建立大数据平台，整个企业的IT规划丰富了既有数据平台的多样性与可扩展性。满足了目前数据时代下，对于日益丰富的数据种类，快速增长的数据数量的数据平台需求，并且大数据平台提供了面对海量数据的挖掘建模功能，为公司的金融创新提供了数据和技术保障。大数据平台中存储了各个业务系统的核心数据，并形成了信息统一，丰富的历史数据存储为企业保存了无形数据资产。先进的平台架构、可线性拓展硬件资源使大数据平台能够成为一个高效的运算平台，为企业创造更多的价值。

精准营销

通过数百个维度对客户进行全方位洞察。实时对日志数据进行采集、分析和标签化。可以对千万级客户进行秒级识别、需求感知乃至预判，同时采用场景化智能引擎，精准投放资讯、产品和服务，瞬时达成对客户的有效响应，大幅提升服务的覆盖面及专业化程度;

来源【首席数据官】，更多内容/合作请关注「辉声辉语」公众号，送10G营销资料！