数据治理的难点在哪里?一言以蔽之,就是基本上数据的生产者和数据的受益者都不是信息中心。 数据治理(DataGovernance)是国外首先提出的概念。国际数据管理协会(DAMA)提出了一套完整的数据治理体系框架,在《DAMA数据管理知识体系指南》一书中给出数据治理的定义: 数据治理是对数据资产管理行使权力和控制的活动集合。 这个定义很好地道出了数据治理的本质。 数据治理通常包括了组织架构、政策制度、技术工具、数据标准、流程规范、质量评估、监督及考核等方方面面,将其他几个数据管理职能贯穿、协同在一起,让企业的数据工作成为一个有机整体而不是各自为政。 有效的数据治理可以确保数据高效可信,从而全面释放数据资产的价值。近几年,数据治理的理念被引入高校,对高校信息化建设起到了很大的推动作用。 高校数据治理难点 应该说,国内高校提出数据治理并且重视数据治理工作,就是近2~3年的事情。数据治理的理念目前还局限在高校信息中心,距离全面的学校层面的数据治理,还有很大差距。 相比国外高校的信息化技术中心动辄数百人的配置,人手紧张是国内高校信息化队伍建设中的普遍问题。 高校缺乏信息平台的开发人员和运营人员,换句话说,缺乏能把信息化工作做好的“产品经理”和“运营经理”。 在这种现实情况下,要分清主次,集中优势兵力做好最重要的事情。合理分配高校信息化队伍的人员,投入更多兵力到信息平台建设与数据中心建设上来。 随着数据治理理念的日渐深入,高校信息化工作者逐步认识到数据治理的价值,了解数据治理与数据管理的异同。 那么,数据治理的难点在哪里? 一言以蔽之,就是基本上数据的生产者和数据的受益者都不是信息中心,信息中心缺少对数据的“驾驭”能力,总有一种“清风拂山岗”的感觉。 长期以来,高校的管理架构形成了众多业务管理部门,基本上每个业务部门都建设有1~2个甚至更多的业务系统,核心数据处于这些主要的业务系统中,数据生产单位、数据管理单位、数据责任单位都是业务部门。 各个业务部门建设的多个业务系统就如烟囱林立,这样的“信息孤岛”也是高校信息化建设多年来的顽疾和痛点。如果不通过一套机制来进行顶层设计和重构,信息化建设如同被“卡脖子”,无法打通信息孤岛,也无法达到预期的建设目标。 数据治理正是要解决这样的问题,从学校信息化体制机制设计上解决信息中心的“无力感”。数据治理是集中人、过程和信息技术的数据管理过程或方法,能够确保组织数据资产得到合理的使用,不仅通过数据的管理提升数据质量,更强调流程设定和权责划分,让全校所有单位认识到数据是学校的核心资产,所有管理单位的流程、责任、权利,达成一致的管理维护、开放共享的共识。 信息中心代表学校来管理数据资产,围绕数据资产展开的系列工作,以服务组织各层决策为目标,涉及有关数据管理的技术、过程、标准和政策,由信息中心来牵头组织,并且解决共享责任、数据标准、管理盲点、数据质量、跨部门问题、合作合规监测、意识与培训等系列问题。 高校数据治理关键 数据是智慧校园的“黄金”,数据是产生智慧的源泉:无数据、不智慧。 近几年,国内高校信息化同仁共同努力,对数据治理理念广泛传播,积累了一定经验,形成了一定共识,但数据治理工作难度较大,是高校信息化建设的“牛鼻子”“硬骨头”。 我们必须要啃下这块“硬骨头”,否则智慧校园的建设名不符实。我认为,高校开展数据治理要重点关注以下几方面要素。 1.要达成数据“共识” 数据治理重在达成共识,让学校领导、中层管理干部,以及全校管理队伍认识到在今天的大数据时代: 数据是全局的,而非局部的; 数据是流通的而非是独有的; 数据是有价值的,让流程和数据驱动管理,促进学校治理能力提升。 达成了这样的共识,才能建立数据治理的组织架构和制度规范,让各个业务部门充分认识到“数据共享是必须,不共享是例外”,把数据完全共享到学校数据中心是大势所趋,是职责所在。 2.要唤醒数据价值 高校有海量数据,但是很多数据处于“睡眠”状态,并没有真正发挥价值。没有掌握全量的数据,信息化建设就是无木之本、无水之源。 而数据价值始终是数据治理的目标,也是智慧校园真正能做实的追求。没有数据乃至大数据的价值挖掘,数据治理就是无稽之谈。 比如说,各个高校教风学风联动面临一个很大的难点是数据问题。一线教师在每节课堂掌握的情况,如考勤、平时作业提交、小测验成绩、日常表现等,对于辅导员、教务员老师来说,并不容易掌握,只有等事后学生出现不及格后再做工作,而不能基于过程的掌握和督学,如果建立采集教学过程的数据,教风学风联动建设会更有针对性,更有实效。 以价值为导向的高校数据治理体系建设,就是必须要注重从数据中发掘价值,这样的数据治理才有意义。 3.要提炼关键指标 数据治理中非常关键的是,要协同业务部门,围绕核心业务工作,找出哪些数据是关键数据,或者说是关键指标。一般来说,反映一个业务部门工作的重要性的核心数据指标,能提炼出10~20个就足够了。 我们的核心数据指标要切中要点,能够对学校办学提供重要支撑。比如学科建设和专业建设,国内同样学科的建设指标、师资队伍情况分析,与本校学科建设和专业建设情况指标对比分析,这样的“数据分析”更有意义。 在数据治理过程中,始终要以价值作为目标导向,再从各方面去发现、挖掘支撑的数据,治理才会形成实效。当然,大数据也可以揭示我们并不知道的“目标”或给我们以“惊喜”,这与确定关键数据指标并不矛盾。 4.要具备数据服务能力 我一直倡导信息中心要做强自己,要至少培养1~2个数据管理技术人才,也就是要具备玩转“数据”的能力,具有较强的ETL(Extract-Transform-Load)操作能力,能够为其他部门提供数据服务。 信息中心不能只要求各个部门共享数据,却无法很好地服务各个业务部门。要避免这样的短板,就要特别强调数据服务能力。 高校数据治理技术和制度路线 在国外高等教育领域不乏数据治理的有效经验。比如美国UC.Berkeley(加州大学伯克利分校)等大学专门成立了IT治理委员会,其中也包括数据治理工作组,提出了一系列数据治理的制度、标准和方法。 结合国外经验和国内高校实际,我们提出一个数据治理的技术路线,分六步进行: 第一,数据发现与采集; 第二,数据梳理与质量初检; 第三,数据标准核对与数据补充核准; 第四,数据清洗与整合交换,建立共享数据中心; 第五,数据管理与质量评估、可用服务接口设计; 第六,数据价值模型建立及展示。 除了技术层面,对于国外高校经验,我们更应该从制度层面吸收借鉴。 比如高校应该专门制定数据治理相关的制度和文件,明确信息办(信息中心)是学校数据资产的管理部门,成立专门的数据治理小组,由主要校领导牵头,推进数据治理工作。 信息办(信息中心)从操作层面上制定数据标准、流程规范,选择技术工具、制定数据质量考核等办法,并负责打通所有数据交换的通道,汇聚所有数据,提供合规的数据共享服务,以价值驱动做好数据挖掘和可视化分析展示,为管理层提供决策支撑,逐步形成数据治理的良好生态。 当前,各个高校正在谋划“十四五”信息化规划,不管出现多少新概念,新技术,新名词,我始终认为,数据治理是基础性工作,也是信息化的核心工作。做不好数据,谈不上智慧。未来,高校数据治理工作可以从以下几个方面入手: 1.建立专门的数据治理的组织架构 比如本科学生数据要以教务处作为主责单位,所有学生的数据以教务处牵头,学生工作部和各学院共同配合;所有人事数据以人事处作为主责单位,教务处提供教学工作量数据、科技处提供科研工作量数据等。只有建立这样的组织架构,明确责任、权利、担当、配合的机制,数据治理工作才会取得进展。 2.建立数据治理的制度与标准规范 数据是学校的核心资产,需要厘清每一条数据的责任单位和责任人;要明确数据质量的负责单位,提供准确、真实、高质量的有效数据;明确所有单位开放共享数据的义务和责任等。 3.梳理业务流程,明确数据溯源与流向 所有的数据都不是孤立的,从数据生产到数据归仓,数据的流向一定是业务流程的输入或输出,如同人体的经络与血液。所有数据项要实现“一数一源”。 4.搭建技术平台和工具,选择合适的平台 不管是传统的数据中心,还是新型大数据中心,还是数据中台,技术是为治理服务的,要选择合适的、实用的工具,提升数据治理的技术能力。 数据中台为数据治理提供利器但并非根本 有观点认为,“数据中台强化了数据治理的深度和广度,真正实现了数据的闭环”,不少高校对于数据中台的建设也比较重视。 其实,数据中台也好,业务中台也好,虽然强调有战略定位、组织保障,但基本可以看成是技术的产物。 数据中台作为技术平台,本质还是提升数据采集、存储、处理、分析的技术能力,在互联网行业取得了成功。 数据中台是对数据采集、数据处理、数据服务、数据分析、数据应用的架构设计,能力提升。相比而言,数据治理更多是从制度层面进行设计考虑的,是解决数据的现实问题。 可以认为,数据中台为数据治理提供了强大的技术支撑和实现路径,但并非是数据治理的“主角”和“亮点”。换句话说,不是有了强大的数据平台,我们就一定能做好数据工作。 高校数据治理工作的一个重要目标就是要汇聚所有的数据,包括结构化数据和非结构化数据。 其中,高校各个业务系统的结构化数据在汇聚方面还存在很大难度,比如数据共享交换不完全、共享服务不及时、数据质量不可靠、价值挖掘不明确等深层次的问题。 而非结构化数据的采集难度更大,比如学校的安防监控视频、车流量、人流量、水、电、气、暖等运行数据、基于校园传感器感知的防汛、消防等应急数据、网络日志数据、网络流量数据等。 工欲善其事必先利其器。数据中台具有全面接入所有数据的强大能力,包括结构化数据和非结构化数据。数据中台还有一个非常大的目标价值,就是将数据加工处理后封装成公共产品和应用服务。 从这个角度看,企业界数据中台的理念可以很好地指导高校信息化建设,但我们更期待教育信息化企业为高校提供“专属定制”的数据中台产品。 高校的数据中台需要具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现四个核心能力,让师生员工、各个业务单位、管理层能够方便地应用数据。 总的来说,我们不能为了建设“数据中台”而建设“数据中台”,而是为了促进学校数据治理达到理想化的、合理的状态,让数据在学校精细化办学、精致化治校方面发挥支撑决策的作用。
数据治理的难点在哪里?一言以蔽之,就是基本上数据的生产者和数据的受益者都不是信息中心。
数据治理(DataGovernance)是国外首先提出的概念。国际数据管理协会(DAMA)提出了一套完整的数据治理体系框架,在《DAMA数据管理知识体系指南》一书中给出数据治理的定义:
数据治理是对数据资产管理行使权力和控制的活动集合。
这个定义很好地道出了数据治理的本质。
数据治理通常包括了组织架构、政策制度、技术工具、数据标准、流程规范、质量评估、监督及考核等方方面面,将其他几个数据管理职能贯穿、协同在一起,让企业的数据工作成为一个有机整体而不是各自为政。
有效的数据治理可以确保数据高效可信,从而全面释放数据资产的价值。近几年,数据治理的理念被引入高校,对高校信息化建设起到了很大的推动作用。
高校数据治理难点
应该说,国内高校提出数据治理并且重视数据治理工作,就是近2~3年的事情。数据治理的理念目前还局限在高校信息中心,距离全面的学校层面的数据治理,还有很大差距。
相比国外高校的信息化技术中心动辄数百人的配置,人手紧张是国内高校信息化队伍建设中的普遍问题。
高校缺乏信息平台的开发人员和运营人员,换句话说,缺乏能把信息化工作做好的“产品经理”和“运营经理”。
在这种现实情况下,要分清主次,集中优势兵力做好最重要的事情。合理分配高校信息化队伍的人员,投入更多兵力到信息平台建设与数据中心建设上来。
随着数据治理理念的日渐深入,高校信息化工作者逐步认识到数据治理的价值,了解数据治理与数据管理的异同。
那么,数据治理的难点在哪里?
一言以蔽之,就是基本上数据的生产者和数据的受益者都不是信息中心,信息中心缺少对数据的“驾驭”能力,总有一种“清风拂山岗”的感觉。
长期以来,高校的管理架构形成了众多业务管理部门,基本上每个业务部门都建设有1~2个甚至更多的业务系统,核心数据处于这些主要的业务系统中,数据生产单位、数据管理单位、数据责任单位都是业务部门。
各个业务部门建设的多个业务系统就如烟囱林立,这样的“信息孤岛”也是高校信息化建设多年来的顽疾和痛点。如果不通过一套机制来进行顶层设计和重构,信息化建设如同被“卡脖子”,无法打通信息孤岛,也无法达到预期的建设目标。
数据治理正是要解决这样的问题,从学校信息化体制机制设计上解决信息中心的“无力感”。数据治理是集中人、过程和信息技术的数据管理过程或方法,能够确保组织数据资产得到合理的使用,不仅通过数据的管理提升数据质量,更强调流程设定和权责划分,让全校所有单位认识到数据是学校的核心资产,所有管理单位的流程、责任、权利,达成一致的管理维护、开放共享的共识。
信息中心代表学校来管理数据资产,围绕数据资产展开的系列工作,以服务组织各层决策为目标,涉及有关数据管理的技术、过程、标准和政策,由信息中心来牵头组织,并且解决共享责任、数据标准、管理盲点、数据质量、跨部门问题、合作合规监测、意识与培训等系列问题。
高校数据治理关键
数据是智慧校园的“黄金”,数据是产生智慧的源泉:无数据、不智慧。
近几年,国内高校信息化同仁共同努力,对数据治理理念广泛传播,积累了一定经验,形成了一定共识,但数据治理工作难度较大,是高校信息化建设的“牛鼻子”“硬骨头”。
我们必须要啃下这块“硬骨头”,否则智慧校园的建设名不符实。我认为,高校开展数据治理要重点关注以下几方面要素。
1.要达成数据“共识”
数据治理重在达成共识,让学校领导、中层管理干部,以及全校管理队伍认识到在今天的大数据时代:
数据是全局的,而非局部的;
数据是流通的而非是独有的;
数据是有价值的,让流程和数据驱动管理,促进学校治理能力提升。
达成了这样的共识,才能建立数据治理的组织架构和制度规范,让各个业务部门充分认识到“数据共享是必须,不共享是例外”,把数据完全共享到学校数据中心是大势所趋,是职责所在。
2.要唤醒数据价值
高校有海量数据,但是很多数据处于“睡眠”状态,并没有真正发挥价值。没有掌握全量的数据,信息化建设就是无木之本、无水之源。
而数据价值始终是数据治理的目标,也是智慧校园真正能做实的追求。没有数据乃至大数据的价值挖掘,数据治理就是无稽之谈。
比如说,各个高校教风学风联动面临一个很大的难点是数据问题。一线教师在每节课堂掌握的情况,如考勤、平时作业提交、小测验成绩、日常表现等,对于辅导员、教务员老师来说,并不容易掌握,只有等事后学生出现不及格后再做工作,而不能基于过程的掌握和督学,如果建立采集教学过程的数据,教风学风联动建设会更有针对性,更有实效。
以价值为导向的高校数据治理体系建设,就是必须要注重从数据中发掘价值,这样的数据治理才有意义。
3.要提炼关键指标
数据治理中非常关键的是,要协同业务部门,围绕核心业务工作,找出哪些数据是关键数据,或者说是关键指标。一般来说,反映一个业务部门工作的重要性的核心数据指标,能提炼出10~20个就足够了。
我们的核心数据指标要切中要点,能够对学校办学提供重要支撑。比如学科建设和专业建设,国内同样学科的建设指标、师资队伍情况分析,与本校学科建设和专业建设情况指标对比分析,这样的“数据分析”更有意义。
在数据治理过程中,始终要以价值作为目标导向,再从各方面去发现、挖掘支撑的数据,治理才会形成实效。当然,大数据也可以揭示我们并不知道的“目标”或给我们以“惊喜”,这与确定关键数据指标并不矛盾。
4.要具备数据服务能力
我一直倡导信息中心要做强自己,要至少培养1~2个数据管理技术人才,也就是要具备玩转“数据”的能力,具有较强的ETL(Extract-Transform-Load)操作能力,能够为其他部门提供数据服务。
信息中心不能只要求各个部门共享数据,却无法很好地服务各个业务部门。要避免这样的短板,就要特别强调数据服务能力。
高校数据治理技术和制度路线
在国外高等教育领域不乏数据治理的有效经验。比如美国UC.Berkeley(加州大学伯克利分校)等大学专门成立了IT治理委员会,其中也包括数据治理工作组,提出了一系列数据治理的制度、标准和方法。
结合国外经验和国内高校实际,我们提出一个数据治理的技术路线,分六步进行:
第一,数据发现与采集;
第二,数据梳理与质量初检;
第三,数据标准核对与数据补充核准;
第四,数据清洗与整合交换,建立共享数据中心;
第五,数据管理与质量评估、可用服务接口设计;
第六,数据价值模型建立及展示。
除了技术层面,对于国外高校经验,我们更应该从制度层面吸收借鉴。
比如高校应该专门制定数据治理相关的制度和文件,明确信息办(信息中心)是学校数据资产的管理部门,成立专门的数据治理小组,由主要校领导牵头,推进数据治理工作。
信息办(信息中心)从操作层面上制定数据标准、流程规范,选择技术工具、制定数据质量考核等办法,并负责打通所有数据交换的通道,汇聚所有数据,提供合规的数据共享服务,以价值驱动做好数据挖掘和可视化分析展示,为管理层提供决策支撑,逐步形成数据治理的良好生态。
当前,各个高校正在谋划“十四五”信息化规划,不管出现多少新概念,新技术,新名词,我始终认为,数据治理是基础性工作,也是信息化的核心工作。做不好数据,谈不上智慧。未来,高校数据治理工作可以从以下几个方面入手:
1.建立专门的数据治理的组织架构
比如本科学生数据要以教务处作为主责单位,所有学生的数据以教务处牵头,学生工作部和各学院共同配合;所有人事数据以人事处作为主责单位,教务处提供教学工作量数据、科技处提供科研工作量数据等。只有建立这样的组织架构,明确责任、权利、担当、配合的机制,数据治理工作才会取得进展。
2.建立数据治理的制度与标准规范
数据是学校的核心资产,需要厘清每一条数据的责任单位和责任人;要明确数据质量的负责单位,提供准确、真实、高质量的有效数据;明确所有单位开放共享数据的义务和责任等。
3.梳理业务流程,明确数据溯源与流向
所有的数据都不是孤立的,从数据生产到数据归仓,数据的流向一定是业务流程的输入或输出,如同人体的经络与血液。所有数据项要实现“一数一源”。
4.搭建技术平台和工具,选择合适的平台
不管是传统的数据中心,还是新型大数据中心,还是数据中台,技术是为治理服务的,要选择合适的、实用的工具,提升数据治理的技术能力。
数据中台为数据治理提供利器但并非根本
有观点认为,“数据中台强化了数据治理的深度和广度,真正实现了数据的闭环”,不少高校对于数据中台的建设也比较重视。
其实,数据中台也好,业务中台也好,虽然强调有战略定位、组织保障,但基本可以看成是技术的产物。
数据中台作为技术平台,本质还是提升数据采集、存储、处理、分析的技术能力,在互联网行业取得了成功。
数据中台是对数据采集、数据处理、数据服务、数据分析、数据应用的架构设计,能力提升。相比而言,数据治理更多是从制度层面进行设计考虑的,是解决数据的现实问题。
可以认为,数据中台为数据治理提供了强大的技术支撑和实现路径,但并非是数据治理的“主角”和“亮点”。换句话说,不是有了强大的数据平台,我们就一定能做好数据工作。
高校数据治理工作的一个重要目标就是要汇聚所有的数据,包括结构化数据和非结构化数据。
其中,高校各个业务系统的结构化数据在汇聚方面还存在很大难度,比如数据共享交换不完全、共享服务不及时、数据质量不可靠、价值挖掘不明确等深层次的问题。
而非结构化数据的采集难度更大,比如学校的安防监控视频、车流量、人流量、水、电、气、暖等运行数据、基于校园传感器感知的防汛、消防等应急数据、网络日志数据、网络流量数据等。
工欲善其事必先利其器。数据中台具有全面接入所有数据的强大能力,包括结构化数据和非结构化数据。数据中台还有一个非常大的目标价值,就是将数据加工处理后封装成公共产品和应用服务。
从这个角度看,企业界数据中台的理念可以很好地指导高校信息化建设,但我们更期待教育信息化企业为高校提供“专属定制”的数据中台产品。
高校的数据中台需要具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现四个核心能力,让师生员工、各个业务单位、管理层能够方便地应用数据。
总的来说,我们不能为了建设“数据中台”而建设“数据中台”,而是为了促进学校数据治理达到理想化的、合理的状态,让数据在学校精细化办学、精致化治校方面发挥支撑决策的作用。