您的当前位置:首页正文

企业数字化转型与大数据平台建设

2021-09-21 来源:年旅网
企业数字化转型与 大数据平台建设

摘要:企业数字化转型,是企业在经历了一系列信息化建设后,积累大量业务运行数据,且希望能够利用内外部有效数据赋能企业运营,实现降本增效、创新创造而持续开展的数字工作。数字化转型的基础是数据,数据是企业的核心资产。企业要实现数字化转型,就必须把各业务领域的数据打通做有效集成,真正做到数据为我所用,依托大数据平台建设,从源数据到数据再多次被利用,挖掘数据的价值。大数据平台建设为企业数据字转型提供技术和平台基础,使得人人都是数据分析师成为可能。

关键词:数字化转型、数据、大数据平台、数据分析 1企业数字化转型的驱动力

2016年3月18日,国家《十三五规划纲要》提出实施国家大数据战略,把大数据作为基础性战略资源,全面实施促进大数据发展行动,加快推动数据资源共享开放和开发应用。企业的经营决策也离不开数据的支持。市场瞬息万变,信息不及时不准确可能会导致错失良机。另外一方面,数据处理人员抱怨连整天扎头在一大堆的数据中无法抬头,就像一台数据处理的人工机器,无法进行数据分析和运用的思考。

大数据时代的到来,以及企业科学规划、有序开展的大数据工作,以上的问题都能迎刃而解。基于开源Hadoop框架搭建大数据平台,通过ETL数据抽取技术,将数据抽取到大数据平台,按照企业数据资产的数据域划分进行数据归集和建模加工沉淀,最后通过数据产品将归集上来的数据进行各种场景的使用和分析,形成数据服务,面向各层管理人员和公司领导提供及时准确的数据。基于大数据平台建设的赋能,企业数字化转型得以持续的驱动力。

2 企业数据治理

数字化转型的基础是数据,数据是企业的核心资产。但是由于信息系统建设时间跨度长,而且常常因为缺少系统建设规划而导致系统建设各自为政,缺乏数据标准和语义的统一定义。无法读懂的数据就是无效数据。因此数据治理是数字化的基础工作。数据治理的最终目标是提升数据的价值,是企业实现数字战略的基础,它是一个管理体系,包括组织、制度、流程、工具。

数据治理工作通常包括9大方面,包括元数据管理、主数据管理、数据标准管理、数据质量管理、数据资产管理、数据安全管理、数据生命周期管理、数据交换管理、数据资产门户。具体细分如图一数据治理常规范畴说明图。

图一数据治理常规范畴说明图

3企业数据平台建设

企业数字化转型的落地产品通常都离不开大数据平台的建设。大数据平台建设的路径和平台选型多种多样,企业根据自身当前的技术水平、能力水平和转型阶段不同,可以选择不同的大数据平台建设着手点进行实现。大数据平台建设通常经历脚本-工具-服务-平台-产品的几个递进阶段。在执行层面初期,通常都是按照业务场景进行具体针对性的实施,让需求和业务最大程度匹配,快速实现,但是这种情况通常不考虑通用性和其他平台的集成。 随着业务场景实施积累到一定数据和程度,通常会转到通用组件开发的模式,将数据实例中通用的功能剥离出来,形成通用组件供调用,这些功能通常和业务实现逻辑无关,这种做法是

有了一定基础后,为更长远发展做的准备。下面重点说明基于开源Hadoop自主搭建的大数据平台落地。

3.1 大数据平台建设的功能中心 •

数据采集中心:负责采集多样化数据。 •

数据计算存储中心:负责对数据进行加工、转换和汇总等工作,并将数据加载到不同的存储系统中。

开放共享中心:统一数据服务接口。 •

数据管理中心:负责系统数据的元数据、数据质量、数据模型和数据安全管理。

运营管理中心:负责系统运行任务的编排、调度,以及设备、平台和应用的全景运维监控视图。

大数据平台功能中心详细内容如下图二大数据平台功能视图:

图二大数据平台功能视图

3.2基于开源Hadoop的大数据平台技术生态 •

消息队列:Kafka •

大数据ETL工具:Sqoop、Kettel •

日志处理组件:ELK •

流式计算引擎:Spark Streaming、Flink •

分布式计算引擎:SparkSQL、Impala •

MOLAP引擎:Kylin •

分布式文件系统组件:HDFS •

数据仓库组件:Hive •

NoSQL数据库:HBase •

内存数据库:Redis •

关系型数据库:MySQL •

任务调度:Oozie •

资源调度管理:Yarn/Zookeeper 3.3大数据服务赋能场景

通过构建大数据平台,为企业运营赋能,面向不同层级用户以及不同业务场景提供不同的服务,图六说明数据赋能用户和场景。

图六大数据平台赋能场景说明图

公司领导及部门领导:主要以数据APP方式呈现。。 •

数据分析人员:提供BI分析工具以及数据链接和分析环境 •

作业层监控人员:提供数据报表服务,让作业监控人员能够快速、便利的查询相关统计结果和明细数据获取。

面向数据开发人员:面向非IT的数据开发人员,通过IT数据商店的方式,向此类人员提供数据API接口以及连接器等服务。

面向上下游合作伙伴:面向企业的上下游合作伙伴,通过数据商店API接口服务,向合作伙伴提供企业能够赋能上下游的交易数据。

4企业数据安全管控

为应对大数据应用服务过程中数据滥用和个人隐私安全风险,企业需要建立完善的大数据安全保障体系,目标是保护大数据权属性、保密性、完整性、可用性、可追溯性,实现大数据“可管、可控、可信”,保护公司各领域大数据资产及用户隐私。

大数据安全保障体系涉及安全策略、安全管理、安全运营、安全技术、合规评测、服务支撑六大体系。同时,对个人信息的各个处理环节施行严格规定与落,具体措施举例如下:

对数据资产进行界定、分类及分级。 •

明确信息安全管理责任部门及职责,对各部门的职责进行严格要求和细致规定,明确相关岗位角色及权限。

对敏感信息操作进行严格管理,对于涉及敏感信息的关键操作,严格遵守保护要求。

设立信息安全检查制度。 •

不断提高信息系统技术管控水平。 •

严控第三方信息安全风险。 5 企业数据化转型的持续和赋能

企业通过数字化转型项目的实施落地,通常能带来以下3个层面的意义: 5.1 系统能力建设

构建企业大数据平台,并形成产品+平台+服务的系统能力。通过系统能力的形成,为企业数据分析利用提供环境基础。

5.2 团队能力建设

通过项目的实施和协作,形成一支具有完整大数据解决方案和实施能力的团队,具备从业务梳理、到数据梳理、数据处理和数据分析利用的数据运营能力。

5.3 数据文化建设

通过数据服务的提供,便于公司领导、管理人员和员工随时随地查看相关运营数据并快速做出决策,解决人工收集和统计数据的低效方式,让大家习惯于使用数据,用数据说明问题和解决问题,逐步形成一切用数据说话的企业数字文化。

参考文献

[1]钟华. 企业IT架构转型之道-阿里中台战略思想与架构实战[M] 机械工业出版社,2017.

[2]付登坡,江敏,任寅姿,孙少忆. 数据中台-让数据用起来[M] 机械工业出版社,2019.

因篇幅问题不能全部显示,请点此查看更多更全内容