美团住宿数据治理团队从事数据治理工作多年，从最初的被动、单点治理，发展到后来的主动、专项治理，再发展到现在的体系化、自动化治理。一路走来，他们不断进行积累和沉淀，也在持续思考与实践。目前该团队取得了一些阶段性的成果，并得到美团多个业务线的认可和肯定。过程的经验与教训，希望能和大家分享，也希望能给从事数据治理工作的同学带来一些新思路。

一、序言

美团住宿数据治理团队通过多年数仓建设及数据治理的经验沉淀，并结合业务发展阶段对于数据治理的诉求，将治理的思路逐步从专项、表象、问题驱动的治理，转变为自动化、体系化的治理，并从标准化、数字化、系统化三个方向进行了落地与实践。

二、背景介绍

美团住宿业务从2014年上线之后发展多年，历经探索期、进攻期，发展期，并逐步由发展期向变革期过渡。业务从之前的快速扩张阶段进入相对稳定的发展阶段，运营手段转变为精细化运营，同时对数据的成本、效率、安全、价值等方向的要求也越来越高，这些都对数据治理提出了新的要求。

图1 住宿业务发展阶段

另一方面，住宿数据组所属的数据中心内部有住宿、门票度假等多条业务线，各业务线业务模式不同，所处业务生命周期阶段不同，在数据治理上的认知及经验积累也不同。如何能将数据治理经验及能力高效复用，使数据中心各业务线在数据治理的效率和效果上都能稳步提升，避免踩坑，这就需要数据治理更加标准化、体系化、自动化。

此前，我们在数据治理上已经有了一些积累和沉淀，前一阶段主要从单点、被动的治理转变为主动、专项的治理，治理动作有意识、有规划，也有一定的针对性，且取得了一定的成果（前一阶段的治理经验可参考美团酒旅数据治理实践一文），但总的来说仍以问题驱动治理、凭经验治理为主。面对新的数据治理责任及要求，过往的方式存在着一些问题，主要包括以下几个方面。

治理认知差异大

治理方法不标准

治理效率低、效果差

数据管治缺乏体系化

三、治理体系化思考

从上述背景中不难看出，我们面临着不同业务生命周期阶段对数据建设和治理不同的要求及挑战，同时过往更多的以被动治理、问题驱动的专项治理方式方法也比较落后，这直接导致技术团队很难满足业务方对于财务、业务支持等方面的要求。

通过不断的汲取教训和总结经验，我们开始意识到数据管治是一个非常复杂的综合性问题，只有构建出一套标准的业务数据管治体系，才能确保数据治理在现状评估、目标制定、流程规范建设、治理监控管理、能力建设、执行效率、效果评价等各环节有效落地。下面介绍一下我们在治理体系化层面的理解和思考。

3.1 什么是数据治理体系化？

针对数据管理和治理，我们期望搭建一套集管理体系、方法体系、评价体系、标准体系、工具体系等核心能力的组合，持续服务于数据管治实施。可以类比一般的电商公司，如果需要运转并服务好顾客数据业务发烧友，它首先必须搭建起来一套销售体系、产品体系、供给体系、物流体系、人力体系等等，只有这样才可以相互配合，实现服务好用户这一大目标。

图2 数据治理体系思考3.2 数据治理体系化如何解决目前治理存在的问题？3.3 业务数据管治体系框架如何建设？

我们的建设思路是：以团队数据治理目标为核心导向，设计实现目标需要的相关能力组合，并根据组织要求，实施过程的问题反馈，持续不断地迭代完善数据业务发烧友，最终实现数据治理的愿景。

体系框架主要包含以下内容：

图3 数据治理体系概览

体系框架建设成果：业务数据治理体系框架是针对数据治理工作整体做的顶层方案设计，框架定义好了业务线数据治理是什么、怎么做、做什么、用什么工具以及达成什么目标。拉齐各方对业务数据治理的认知，标准化治理路径方法和组成部分，指导数据治理有序、有效地进行。

图4 数据治理体系框架3.4 体系框架如何落地实施？

参照业务线数据标准化管治体系框架各组成部分特点，我们具体通过标准化、数据化、系统化3大部分能力建设及运营，来实现数据管治体系框架的落地，并应用在数据治理问题的解决中，最终拿到可量化的结果。

图5 数据治理体系化落地思路四、治理体系化实践4.1 标准化

数据治理标准化是企业进行数据资产管理的关键突破口和重要手段，一系列政策、法规、规划需要转化为标准和制度才能有效落地。数据治理标准化既有利于建立健全各种数据管理工作机制、完善业务流程，又有利于提升数据质量，保障数据安全合规使用，释放数据价值。但在数据治理标准化建设过程中，我们经常会面临以下三个问题：

针对上述三个问题，我们从解决问题的视角出发，划分数据开发流程，通过事前约束、事中监控、事后分析评估的思路，整理补齐缺失的流程规范，从而实现标准流程规范在数据管治各环节全覆盖，并建设系统化工具来保障标准规范的落地实施。下文将分别从规范建设及工具保障两方面来介绍我们在数据治理标准化过程中是如何解决上述问题的。

图6 数据治理标准化思路4.1.1 规范建设

规范是数据治理建章立制的基础，针对标准规范建设不合理及流程规范缺失的问题，我们用体系化的建设思路从整体架构上对数据开发流程及数据治理流程进行划分，并针对全流程数据管治各个环节建设相应规范：

图7 数据治理规范化建设成果4.1.2 工具保障标准规范可视化-知识中心

在标准规范的共享方面，以往技术团队在实际规范落地过程中可能存在以下问题：

针对上述问题，我们重新收集整理已有规范文档并进行分类，补充缺失文档，优化文档内容，并新增知识中心模块，将知识体系框架产品化，在产品层面维护统一的入口及权限管理，同时严格控制发布流程，解决了标准规范在实际落地时“找不着”、“质量差”、“没权限”等问题。

图8 知识中心及文档发布流程测试规范工具化-八卦炉

在数据测试规范落地方面，以往数据测试规范都是通过Wiki维护，无法约束大家实际执行过程，导致数据质量较差，容易出现数据故障。为减少数据开发过程中由于测试不规范而导致数据故障的情况，提升数据质量及业务满意度，我们利用数据中心与数据平台工具组合作共建的ETL测试工具（美团内部工具-八卦炉）来保障测试规范SOP落地执行，要求大家在不影响测试验数效率情况下充分测试，实现数据治理问题在事前约束，减少事后问题量，保障数据质量，工具建设如下图所示：

图9 测试规范工具化-美团八卦炉架构图治理提效保质工具-SOP自动化工具

在日常数据开发工作中，数据工程师会承担一部分数据治理工作，以往都是通过执行数据治理SOP中每个步骤对问题进行治理，但经常会面临以下几个问题：

基于上述问题，我们开发了治理提效工具-SOP自动化工具，汇总多个平台治理工具，将数据治理标准化SOP的各个执行步骤通过工具落地，实现在一个工具内一站式治理能力，约束工程师的治理动作，确保整个治理过程是标准的，效果是可监控的，从而提升了治理效率及治理质量。

比如无效任务的治理，首先需要调研问题治理经验并沉淀至SOP文档，然后将SOP文档中各个执行步骤依次通过自动化的工具进行配置。数据工程师在治理时只需要在一个界面内即可实现全部的治理动作，下图是无效任务治理SOP及美团的自动化工具：

图10 无效任务治理SOP及美团的自动化工具4.1.3 标准化收益及建设经验

通过数据治理标准化建设，我们解决了团队在数据治理规范方面若干问题，取得了明显效果：

同时，我们在实际建设的过程中，也总结了一些标准化的建设经验：

4.2 数字化

以往大家在开展数据治理工作时主要依赖经验判断，缺乏科学可量化的抓手，对治理问题的严重程度无法准确感知，同时对治理收益的回收也不能准确评估。因此我们开展了数字化的工作，将大家数据开发工作用数据描述，构建整个数据开发工作的准确视图。

4.2.1 数字化架构设计方案

建设思路：通过对数据生命周期各环节进行类比业务数仓建设中抽象和描述业务对象方式，进行元数据对象的抽象和描述，并建设成元数据数仓和治理指标体系，应用在数据管治场景

框架主要包含元数据仓库、指标体系、数据资产等级以及基于元数仓基础上建立的各个数据应用，利用元数据驱动数据治理及日常团队管理，避免过多依赖经验解决问题，更好地服务业务。下边几个章节将分别介绍数字化框架最核心的数据内容：元数据仓库、指标体系、数据资产等级。

图11 数字化框架4.2.2 元数据仓库建设

元数据是描述数据的数据，包含数据资产种类、数据存储大小、数据流血缘关系、数据生产过程等信息，存在信息种类多，分布零散，信息不完整的特点。丰富的元数据有助于我们快速了解团队数据资产，让数据资产更加精准，透明。为数据使用和价值释放提供支撑。

我们的建设思路，采取数据业务化、业务数字化、数字应用化的思路来搭建元数据仓库。

图12 数据业务化思路

通过数据业务化思路，我们抽象业务域、管理域、技术域等3大主题域来描述元数仓对象，并对每个主题域进行细分，划分多个主题：

图13 元数据仓库主题信息建设

在元数仓分层上，我们采用最常见的四层架构分层方式，分别是贴源层、明细层、汇总层、应用层和维度信息。区别于业务数仓分层设计方式，从明细层就按维度建模思路组织数据，避免过度设计，只需要做好主题划分和解耦。在汇总层从分析习惯出发耦合数据，提升易用性。应用层按需创建所需接口支撑应用。

图14 元数据仓库分层

目前，我们已完成元数据仓库技术域、管理域、业务域部分内容的建设，并已支撑指标体系及上层多个数据应用，未来仍将根据大家在实际工作中核心关注的内容对元数仓进一步补充和完善。

图15 元数据仓库建设成果4.2.2 指标体系建设

一个问题的衡量需要从多方面进行考虑，只用一个指标无法充分说明问题，这就需要一组有逻辑且相互关联的数据指标来描述问题。在数据开发过程中，需要制定多个指标来监控衡量数据开发团队在质量、安全、效率、成本等方面存在的问题。

此前，住宿数据团队没有一套成熟稳定的指标体系，无法长期准确衡量团队的业务支持能力、技术能力。2020年，我们在元数据仓库基础上搭建了数据治理指标体系，全面衡量了业务数仓建设过程中各类问题，通过指标体系监测工作中的优点与不足，提升了团队的工作能力，进而提高了对业务的支持能力。

建设方案

指标体系的建设目标是监控团队工作状态和变化趋势，需要能够覆盖到工作中的各个方面。因此，在指标体系的建设上，我们通过不同视角对指标体系进行分类，做到不重不漏全覆盖，让指标适用于不同使用场景：

图16 指标体系多视角建设思路

建设成果

目前，我们已建设技术、需求及故障三大类指标共计112个，全面覆盖数据开发中的各个环节：

图17 指标体系建设成果

元数据及指标体系应用：

建设思考

在指标建设过程中，我们沉淀了以下几点经验：

4.2.3 资产等级建设

随着业务快速发展，团队负责的数据资产规模也日益扩大。截止当前，团队共负责离线Hive表3000+，ETL生产任务2000+，人均负责ETL生产任务100+。在面对规模日益扩大的数据资产，团队管理者及数据工程师通常会遇到以下问题：

为丰富元数据之间的关系和内容，挖掘识别更有价值的数据信息，以元数据能力驱动数据研发及运维日常工作，在元数据仓库的基础上我们做了衍生能力即资产等级的建设。资产等级可以对数据的重要性进行科学有效地评估，也可帮助完善数据质量分级监控方案，从而实现对重点任务的重点保障。

下图是数据资产等级通用计算流程，我们首先根据资产类型确认各个影响因子及影响权重值，划分影响因子重要性等级，其次根据各个影响因子数值范围划分得分区间，最后汇总计算得到最终资产等级得分及资产等级结果，并抽样验证结果的准确性。

图18 资产等级计算流程资产等级建设（数据表）

下图是针对数据表资产等级建设的方法和流程图：

图19 数据表资产等级划分1）确定影响因子及权重评估

影响因子的确定是资产等级计算中最为关键一环，合理评估影响因子对最终资产等级结果的准确性至关重要。根据实际数据开发中经验可知，影响数据表重要程度主要有以下几个关键因素：

确定好影响因子之后，我们需要判断每个影响因子所占的权重值。我们采用层次分析法来计算权重值（层次分析法主要应用在不确定情况下及具有多数个评估准则的决策问题上，具体计算步骤，大家可查阅相关的资料），其优点是把研究对象作为一个系统，按照分解、比较判断、综合的思维方式进行决策，而且计算过程简洁实用。

2）计算资产等级得分

根据实际情况对每个影响因子划分得分区间，并结合每个影响因子权重值，可以计算得到资产等级最终得分。总得分为各影响因子得分与对应权重乘积加和。

3）资产等级映射

我们将资产等级最终得分划分区间至L1 ~ L5，L5为最高资产等级，L1为最低资产等级。

图20 资产等级划分资产等级应用场景（数据表）

目前，资产等级已运用到日常管治实施，为数据分级管治提供了有力的抓手：

图21 资产等级应用场景4.3 系统化4.3.1 数据百品-管治中心

除了标准化和数字化之外，我们数据治理体系落地仍面临诸多问题：

针对上述问题，我们搭建了数据百品-管治中心治理平台（美团内部产品），实现了集资产管理、问题分析监控、自动化治理、过程追踪、结果评价的一站式、全覆盖数据治理平台，能有效提升治理质量和效率，为数据质量提升做好强有力的支撑。通过“管+治”相结合的理念，分别从管理者及研发人员的视角对数据、人效等问题实现全面监控，并实现了资产全景、管理中心、治理中心三大模块：

图22 管治中心建设思路资产全景

资产全景从管理者+数据RD视角出发，介绍了当前数据现状即有什么的问题，帮助业务线管理者及数据RD实现数据资产可视化，为管理者提供技术管理的抓手，为数据RD提升数据探查和数据使用效率。包含资产大盘、资产目录、个人资产三个子模块：

图23 资产全景建设思路管理中心

数据团队管理者在日常团队管理中时经常会面临两个问题：

管理中心主要从管理者视角出发，解决了怎么管的问题，通过管理者关注的核心指标，为管理者提供监测团队状态、判断团队问题、辅助管理决策的能力，让管理者从“依赖经验管理”转变为“数据驱动管理”。包含管理者大盘、运维管理、需求管理、团队管理四大模块：

图24 管理中心建设思路治理中

来源【首席数据官】，更多内容/合作请关注「辉声辉语」公众号，送10G营销资料！