新闻资讯
关于数据中台建设的一些思考,建设目的和建设过程。
数据中台“让一切业务数据化,一切数据业务化”
数据中台系统,就是对海量数据进行采集、计算、存储、加工,形成标准的大数据资产层,为组织的内外部客户提供高效数据服务。数据中台能够降低数据库和数据仓库的重复建设,减少烟囱式协作的成本,帮助组织构建新型的差异化竞争优势。
介于前台数据应用层和后台原始数据管理层的中间层就是数据中台。数据中台主要是为了支持前端各类数据服务而对后台原始数据进行加工和整合后生成的各类数据集合。这些数据集合可能有明确的服务对象,也可能尚无明确的服务对象。
数据中台不同于数据库。目前,高校各部门使用的业务系统数据库主要是关系型数据库,聚焦于对人、财、物的管理。而数据中台中的数据,不遵循范式要求,并不针对某类具体实体或者联系的管理,主要是面向应用;而且数据中台中的数据不仅包括实体和联系数据,还包括各类日志数据、图表、文本、音视频资料等半结构化和非结构化的数据。
数据中台的概念也不同于数据仓库,主要体现在以下三个方面:
1.数据来源不同。数据仓库的数据主要来源于各类业务数据;而数据中台的数据除了各类业务数据外,还包括各类日志、IOT(Internet of Things)数据、半结构化和非结构化数据等。
2.对数据实时性要求不同。数据仓库主要是为了支持决策,因此,并不要求数据达到实时更新,一般能做到T+1就可以;但数据中台由于要进行实时的业务支持和快速的问题分析,因此对数据的实时性要求更高。
3.服务对象不同。数据仓库的服务对象主要是企业经营的决策者;而数据中台的服务对象不仅包括决策者,还包括业务人员、运维人员、各类应用系统开发人员以及合作伙伴等。
此外,相比较于数据库和数据仓库,数据中台离业务更近,对需求的响应更迅速。组织中现有的数据库和数据仓库都可以成为中台系统的数据来源。
数据中台系统的建立,可以降低数据服务的门槛,让数据真正实现资产化和业务化,成为组织新型核心竞争力的来源。
对于后台的很多功能,同样可以抽象出来,成为各业务共有的能力。
这样可以让数据更灵活更敏捷地服务于前台的各项业务,这个就是数据中台的初衷。数据仓库在使用中会出现数据质量问题:不同的分析需求对数据的构成有不同的质量要求和容忍度。
数据仓库的这个特征导致了漫长的开发周期、高昂的开发成本和维护成本、细节数据丢失等问题的出现。
把所有数据放入湖中的一个很关键的点是需要有一个清晰的治理。
每个数据项应该有一个清晰的跟踪,以便于知道数据从哪个系统中来以及什么时候产生等,
也就是元数据管理、数据血缘以及必要的数据安全。
本质上是把数据作为资产,整理出企业的元数据和数据血缘关系,再以这些数据为中心,抽象出公共服务的能力。
最后,让前端流程的构造和企业的稳定数据公共服务解耦。这样就沉淀出了公共服务能力,即把这些能力SaaS化。
最根本的目的是敏捷地支撑业务部门的业务创新需求,打造快速服务商业需求的服务能力,
并且尽量实时处理,体现数据的资产化及价值最大化。
中台最主要的用户是数据开发者群体,包括数据研发人员、数据分析及建模人员。
建设中台的目的在于提高他们的效率、降低学习曲线、提高数据质量。
赋能业务,服务客户,打破孤岛,产业结构升级
回复列表