近年来,大数据和AI新技术持续蓬勃发展。根据Gartner发布的2022年数据管理技术成熟度曲线,Lakehouse(湖仓一体)、Data Mesh、Data Fabric技术成为数据分析领域的重要趋势,支撑金融机构高效使用数据和业务创新。随着AI技术掀起新一轮的技术浪潮,金融科技作为行业数字化转型的“领头羊”,在金融业大数据和AI深度融合方面将会走向何方?
多年来,金融业持续采用随时代发展而成熟的数据仓库、大数据、AI等技术,以增强企业经营和自身服务能力。以前银行主要提供存款、贷款、外汇、信用卡等传统金融业务,随着移动支付、快捷支付、网络零售等新兴金融业务的涌现,金融机构对数据平台的数据类型、数据分析能力提出更高的要求。
早在2020年,华为云CTO张宇昕在华为全球分析师大会上提出“湖仓一体”架构理念,该架构实现全量数据入湖存储,在湖内实现数据分层加工,全局使用一份数据支撑上层多业务工作负载。华为云Stack湖仓一体架构凭借丰富的数据类型和全面的分析引擎,成为多数金融机构的共同选择,已在中国工商银行、招商银行、民生银行、交通银行落地,国有大行、股份制银行中的80%+已经选择华为云湖仓一体方案。
基于这些最佳实践,“民生信用卡-华为大数据联合创新实验室”荣获《亚洲银行家》中国最佳AI实验室奖,交通银行基于“湖仓一体的数据中台实践”荣获《亚洲银行家》最佳大数据应用奖,进一步证明华为云湖仓一体和数智融合方案先进性。2023年,金融客户基于湖仓一体,将进一步实现大数据与AI的互联互通和数据共享,开启数智融合新阶段。
然而数据湖、数据仓库、AI技术是相对独立的技术栈,经过多年发展大数据金融数据分析,因为各自曾经独有的特点,导致多年后客户现场系统资源分散,仓-湖-AI各系统平台存在数据孤岛,若采用数据隔离或数据迁移,无法满足全量、敏捷分析的需求;而数据工程师和AI模型开发工程师的工作也存在割裂情况,DataOps和MLOps未完全打通,导致协同效率低;AI开发的准备工作复杂度过高,80%时间都花在数据准备环节,导致AI训练用数复杂低效;数据的数量和质量也同样成为制约大数据和AI技术在金融业的深度融合的障碍,当前金融企业大多的数据湖数据规模、种类、质量均无法满足LLMs模型训练的诉求。
6月7日,在华为智慧金融峰会2023上,华为云Stack重磅推出数智融合解决方案,通过四大创新,加速金融大数据和AI技术深度融合。
存储-缓存-计算三层分离,提供极致性价比
数智融合提供存储、缓存数据加速、计算资源三层池化方案,解决湖仓智平台资源割裂的问题,整合大数据、数仓、AI计算所需的CPU和GPU资源池,降低运维成本和难度,减少数据和模型开发使用过程中数据来回搬迁,从多套湖仓智平台走向一套数智融合使用的资源池,性价比提高30%,打破分析引擎的资源边界,通过统一计算资源池提升利用率、降低运维成本。
融合数据管理+融合数据加速,用数更敏捷
数智融合提供LakeFormation实现全局统一的元数据、数据访问控制、数据全生命周期管理,让业务数据、元数据、权限策略实现管理中心化大数据金融数据分析,构建统一数据湖;同时具备算子下推和数据缓存与索引加速的能力,实现底层数据存储的联动权限管理,以及跨服务/引擎/集群的数据共享;支持百万级表的细粒度数据权限控制和管理策略,让全局统一赋权;通过架构的不断创新,让一份数据在数据湖、数仓、AI之间自由共享,用数更敏捷,存算分离性能逼近存算一体。
数据+AI融合工作台,降低开发、运维门槛
数据分析和AI开发统一工作平台,让DataOps和MLOp
来源【首席数据官】,更多内容/合作请关注「辉声辉语」公众号,送10G营销资料!
版权声明:本文内容来源互联网整理,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 jkhui22@126.com举报,一经查实,本站将立刻删除。