首席数据官

Hi, 请登录

Cloudera助力英国银行Santander新一代数据仓库诞生!

Santander UK的大数据之旅始于四年前。他们是Apache Kafka等新数据流技术的早期采用者银行大数据应用案例,希望通过对移动用户使用实时数据和应用内分析来彻底改变客户体验。

Santander UK

从那时起,Santander UK通过大数据技术增强了创新能力,得到了迅速发展。对大规模流式分析的需求大为增加并成为当下需求。今天,在Santander UK,Cloudera的大数据,机器学习和分析平台通过Apache Kafka提供集成的高质量和可扩展的平台即服务(PaaS)。

另一个对Santander UK下一代数据仓库至关重要的技术组件是使用Apache Kudu实现对快速数据的快速分析。 结合Data Vault 2.0设计方法论的各个方面,它有助于从数百个Apache Kafka数据流中快速摄取数据; 既可以从现有的传统系统中卸载工作负载,也可以提供有关客户行为和银行当前状态的问题。

银行大数据应用案例_大数据 银行 应用_大数据 银行应用

加快面市速度

由于Santander UK的创新平台通过Apache Kafka将传统系统与新的Data Vault集成在一起,因此可以轻松地在线移动快速数据流。由于所集成数据的结构清晰,布到Apache Kudu Data Vault中的新事件流主要是配置驱动的 - 数据事件符合Data Vault 2.0方法的Hub,Satellite和Link结构。这允许schema对业务中的更改做出反应,或者对如何符合数据的新理解做出反应。

Santander UK可以通过扩展基于Scala Akka和Apache Kafka的弹性事件交付平台来影响数据转换,从而实现实时的快速,可扩展的数据丰富。由于这种可重复使用的平台和架构,可以实现更快,更及时的数据,更快的决策以及更快的面市速度。

数据科学和数据产品的快速原型

银行大数据应用案例_大数据 银行 应用_大数据 银行应用

最终银行大数据应用案例,这个流数据源会有许多潜在的消费者;然而,通过将Cloudera 数据科学工作台(CDSW)集成到Data Vault,我们已经收集到了一些有趣的洞察。这些为不断扩大的数据科学团队提供了全面的数据科学体验,并且还是典型的Santander UK创新时尚 - 在解决重大工程和架构挑战之前,可以快速将想法出原型并创建新的数据产品。构建一个快速原型,然后,如果它产生价值,就将其发展成一流的产品。

快速整合:贡献模型

在Santander UK数据创新团队实现创新和灵活性的过程中,他们创造了贡献模型的概念。因为集群是多租户的,有来自不同业务部的数据源、清理和工程化新数据集;如果认为对其它业务有用,可以使用Data Vault样式链接表将这些有用的数据集成到Data Vault schema的核心。通过这种方式,团队可以通过快速生成新的数据集组合来增加数据产品的价值,通过使用Cloudera Navigator进行治理来实现可追溯的血缘,以及使用Apache Sentry进行访问控制的安全性。如果业务部门的数据被认为对其他人有用,则它与核心链接并根据治理原则共享。

cloudera

贡献模型允许我们利

试看结束,如继续查看请付费↓↓↓↓
打赏0.5元才能查看本内容,立即打赏

来源【首席数据官】,更多内容/合作请关注「辉声辉语」公众号,送10G营销资料!

版权声明:本文内容来源互联网整理,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 jkhui22@126.com举报,一经查实,本站将立刻删除。

相关推荐

二维码
评论