发布信息

大数据工作方向解析:数据开发、平台开发与基础架构知识点总结

     2025-04-24 22:06:48     0
 整体环境不是很好,铁匠必须自己坚强。无论情况如何,只有通过不断提高自己才能实现内心的和平!在过去的两天中,我的工作并不是很忙,所以我带我的部门朋友在大数据中分解了知识点。我现在会分享,希望它对每个人都有帮助。这些是我们的一些摘要经历。欢迎大家沟通,推荐和收集。

与大数据相关的工作方向

与大数据相关的工作主要分为三个部分:数据开发,平台开发和基础架构。

数据开发:

它主要包括工作内容,例如数据仓库,离线/实时数据开发。更重要的知识点和工具如下:

•数据仓库数据仓库理论(,),仓库分层,数据仓库模型(Star,,),Data Mart等。数据仓库是通过大数据环境中的Hive构建的。

•离线数据开发1:大多数分析基于数据仓库,主要语言是SQL结构化查询语言,机器学习算法等。 2:离线处理工具:蜂巢,猪(很少使用)。

•实时数据开发1:实时数据处理,实时建议,财务风险控制,实时异常检测和其他应用程序方案,数据及时性变得越来越重要。 2:实时处理框架:(小批次,伪实时的时间),(实时,吞吐量差)(目前是最热,实时处理,良好的吞吐量性能,批处理流动集成,开发趋势,密钥掌握)。

平台开发:

平台开发的主要作用是提高业务人员和数据开发人员的工作效率,并加速数据流通。包括数据资产管理,自助分析平台,数据报告(可视化)平台,数据收集和迁移平台,开发协作平台,数据接口服务和其他内容。

•数据资产管理1:也称为数据治理,企业数据资产平台可以大致分为元数据管理,数据指数系统,数据质量管理和其他模块;成熟度标准可以称为“ GBT -2018数据管理能力成熟度评估模型” 2:在数据爆炸时代,资产管理变得越来越重要,资产管理的概念相对较大(每个企业业务都是不同的,并且实施重点是不同的)。一个更合理的突破点是从元数据管理和指标系统开始。 3:数据治理的开源框架:

•自助分析平台1:成本考虑,从数据开发人员到一般业务人员或数据分析师的数据分析功能委派; 2:为数据分析师提供方便且易于使用的数据分析平台; 3:开源框架:等。交互式分析查询引擎,我们基于自我发展。

•数据报告(可视化)平台企业BI平台,计算并显示关键指标的开发趋势和企业运营开发的稳定指标,并支持运营计划和分析决策。

•数据采集和迁移1:数据开发具有一定的量表后,一切都需要从数据采集,ETL,采矿和分析以及最终可视化中改进。制定数据收集和迁移标准,然后平台化可以很好地解决此问题。 2:开源框架:数据埋葬,(订阅),(入侵商业库),等。

•开发协作过程1:与上述相同的主要解决数据开发人员的效率,从原始脚本方法提交,将其开发为视觉平台方法,并提供串行,并行和其他工作流设置。 2:工作流开源框架:(当前正在使用)。

•除了数据报告(可视化)平台外,数据接口服务是提供数据的另一种方式,主要解决不同业务之间以及不同公司之间的数据采集问题。提供标准的传入参数和数据输出格式。基于基础存储(///等)的微服务体系结构。

基础设施:

原文链接:http://www.36sw.com/rd/69023.html,转载和复制请保留此链接。
以上就是关于大数据工作方向解析:数据开发、平台开发与基础架构知识点总结全部的内容,关注我们,带您了解更多相关内容。
关键词: