DataBuilder（一站式数据开发管控平台）

产品概览

DataBuilder是基于大模型的数据开发管理工具，并采用目前国内外最主流的DataOps(数据开发管理一体化)框架体系，用于企业数据采集、数据开发、数据管理、数据分析服务，可以提升数据工程师的开发效率，让业务人员能够无障碍使用和分析数据。 产品定位： DataBuilder(一站式数据开发管控平台)定位于敏捷的大数据研发和治理平台，融入DataOps的理念，把敏捷开发运用到数据工程管理上，旨在提升企业在数据开发及数据治理的效率和质量，实现数据从需求到交付的全生命周期管理，为业务带来快速的商业价值。 产品说明： DataBuilder一站式数据开发管控平台针对复杂的数据流水线，以DataOps为方法论，融合了数据目录、数据开发和持续集成等全流程大数据建设能力，为企业 提供全链路的数据管理和数据开发平台，提升企业数据工程的敏捷能力和质量。 DataBuilder一站式数据开发管控平台研发项目聚焦于数据全生命周期的开发和管控两大核心环节，凭借在DataOps领域多年的研发经验和多家大型客户服务实践，能够针对大型企业数据任务量大、开发工具多、运维压力大的普遍问题，提供一站式数据开发、治理、运营的完整工具流，配合任务编排和持续集成发布能力，支持数据工程的高质高效开发投产，同时把数据治理工作融入到开发过程中，通过标准流程和自动化能力，促进数据开发的质量和数据治理效率。 DataBuilder作为基于DataOps方法论打造的新一代敏捷数据管理平台，架构于湖仓平台之上，能够实现数据同步、数据开发、任务提测、任务发布、运维调度全流程敏捷协作，同时通过统一元数据和数据目录，形成便于快速自助查询、血缘追溯和质量检测的数据资产体系，为企业提供中台化的数据管理运营服务全链路能力建设解决方案，挖掘数据要素潜能。 产品核心功能： a) 数据目录模块-数据地图（找数）：基于已采集和加工后的元数据信息，为用户提供全文检索式的搜索体验。 b) 数据详情（看数）：进入详情页面，多角度了解资产详细信息。 c) 数据血缘（看数）：实时分析数据处理SQL脚本，生成表级、字段级血缘关系，随时掌握数据上下游依赖情况。 d) 数据探索（用数）：可通过数据详情页申请数据使用权限，并根据数据分析需求，对数据进行快速探索和结果数据导出。 e) 元模型管理：通过元模型维护各类数据资产属性清单，支持在线扩展元数据属性，快速适应企业使用场景。 f) 资产目录：从数据层次、业务主题、资产使用场景、资产类型等多个维度，按照目录层级结构管理及挂载资产，最终形成企业资产目录。 g) 数据标准：通过规范定义码值标准、数据元标准、词根标准，从建模引用标准开始，对数据全生命周期进行规范化管理，实现标准落标。 h) 数据质量管理：基于字段规则定义质量任务，支持模版规则和用户自定义规则，可对表数据质量情况持续监控和告警。 i) 数据集成：实现多种类型的数据源之间的数据集成与同步。 j) 数据建模：以维度建模理论为基础，向模型设计人员提供体系化、规范化的模型设计和管理功能。 k) 离线开发：提供HiveSQL/SparkSQL/Python/Shell任务开发功能，对底座中的表及数据进行加工处理。 l) 实时开发：基于 Apache Flink 构建的高性能、一站式实时大数据处理平台，广泛适用于流式数据处理场景。 m) 任务测试：提供对发布包任务的测试功能，实现了发布包提测后，自动部署表、脚本到测试环境。 n) 任务发布：对工作流及其下的表、任务脚本、参数、调度配置等信息进行封装，打包成上线/下线发布包，通过工单审核后自动注册至调度平台，实现敏捷开发的任务发布过程。 o) 调度监控：对已发布到调度引擎中的工作流进行监控和管理，展示工作流及任务的执行状态、执行实例等信息。 p) 数据服务：聚焦于数据接口开发与管理，通过敏捷、标准的接口开发及流程管理，满足从业务需求输入到分析结果输出的场景需求。 产品参数： 产品版本：V2.3.2 操作系统：Linux/Centos/Ubuntu LTS/统信/麒麟 所属类别：数据管理平台 上架时间：2023年5月 产品优势： a) 创新优势：国内率先融入业界先进的DataOps理念，运用一套工具解决传统大数据平台多套工具以及各个环节割裂的问题。 b) 生态优势：渠道层面，与华为云、腾讯云、阿里云、百度云、cloudera、 Dell、星环科技等建立良好的合作伙伴关系； c) 信创优势：与华为、鲲鹏、麒麟、统信、星环、人大金仓、等众多操作系统和多类型数据库实现了产品兼容互认证。 d) 案例优势：典型客户包括平安产险、广汽集团、招商银行、沃尔玛、南方电网、埃克森美孚等行业头部企业； e) 价格优势：产品组件化、模块化，灵活匹配客户需求，提供不同量级且高性价比的产品版本，致力于大数据走向“平民化”。 产品规格： a) 品牌：数造万象 b) 产品名称及版本型号：DataBuilder（一站式数据开发管控平台）V2.3.2 c) 部署环境条件 *应用服务器：最低配置-8核16G 500GB磁盘， 推荐配置-16核32G1T磁盘，数量(最低)-1台，部署主体应用、中间件 *数据库服务器：最低配置-8核16G1T磁盘，推荐配置-16核32G2T磁盘，数量(最低)-1台，部署Mysql、MongoDB、Redis *调度服务器：最低配置-8核16G500GB磁盘，推荐配置-16核32G1T磁盘，数量(最低)- 1台，部署调度平台和数据质量引擎 *容器服务器：最低配置-8核16G500GB磁盘，推荐配置-8核16G500GB磁盘，数量(最低)- 1台，部署数据服务容器k8s、apisix *应用监控服务器（可选）：最低配置-8核16G500GB磁盘，推荐配置-16核32G1T磁盘，数量(最低)- 1台，部署Skyworking、Prometheus、Grafana、Grafana Loki