杰狮时空数据中台,打造城市数字底座核心能力体系
建 设 背 景
随着DT时代的来临,城市信息化建设却开始出现诸多发展瓶颈和痛点,存在内部系统众多、空间数据复杂多样、数据孤岛明显、内外互通融合难、业务变化响应慢、无法支撑科学决策等问题。
为解决上述问题,杰狮时空数据中台提供了时空数据采集、汇聚、治理、开发、共享能力,确保各类时空数据进得来、管得住、出得去。时空数据中台包括数据归集、数字资产、数据治理、大数据计算、数据服务开发、中台接口体系等模块,为国土空间治理、城市运行管理提供统一、共性的时空数据能力支撑,助力打造行业级和城市级数字底座。
主要能力
▷ 多源异构数据汇聚能力
支持关系型数据库(常见数据库如达梦、人大金仓、mysql、postgresql、oracle等数据库)、大数据库(如Hive、Iceberg、Doris、ClickHouse等数仓系统)、非结构化数据(shp、mdb、excel等文件)、二三维空间地图服务接口数据(如ArcGIS服务、Onemap服务、符合OGC标准的服务以及3Dtiles服务)、实时流式数据作为输入的数据源,将分散于各个地方、各种平台上的各种格式的数据同步或集成到平台上,实现异构平台和数据源之间的数据流转。
▷ 时空数据治理能力
时空数据治理通过智能化质检任务自动发现数据问题形成治理工单,或用户主动反馈数据使用过程中的数据问题形成自助问题反馈工单,形成问题“发现-反馈-治理”的闭环。
▷ 时空数据资产化能力
支持主流数据源的元数据和血缘信息的自动采集、更新、版本管理,统一异构多源的元数据管理来完成全局化的数据资产管理流程,并使用灵活的数据标签体系进行管理,保证标签的运行状态清晰、 有序、可控,实现了业务数据化、数据资产化、资产服务化、服务业务化。
▷ 时空大数据计算能力
时空数据中台提供了多样化的时空数据计算能力,支撑全流程的可视化时空大数据计算模型的开发、监控、运维和告警,实现数据处理融合过程的统一化、可视化。
▷ 时空数据链路化能力
将各行业积累的数据以实时归集、定时抽取、服务注册、文件提交、离线汇交等五种方式归集到数据仓,并依托数据中台的归集管理、问题管理、资产管理、数据计算、数据服务等能力体系对归集的数据通过中台提供的算子进行融合、治理后,通过数据订阅、定时推送、DataAPI等多种方式共享给各行业应用场景使用,打造完整的数据链路化体系,让数据多跑路,活起来,用起来。
特点优势
▷ 数据归集的自动性、时效性、可视性、可控性
在线实时归集方式能够保障业务数据“生产即归集”,大大提升数据归集的自动性、归集数据的时效性、归集过程的可视性、归集管理的可控性;
01自动性
使用接口自动化生成技术能够灵活适配各种数据实时归集场景,保障数据自动归集入库;
02时效性
使用高吞吐、稳定的消息队列确保时空数据实时的接收和分发;
03可视性
通过大数据算子的动态组合,实现对入库数据的自动统计及质检,确保归集数据数量与质量;
04可控性
对归集接口及归集节点状态进行实时监控,确保归集任务能正常下发。
▷ 数据共享的精确性、实时性、安全性、可控性
01精确性
数据订阅、定时推送共享的颗粒度可控制到字段级,保障点对点的数据共享的准确性;
02实时性
业务系统产生的数据可通过数据订阅方式和在线服务实时共享给申请的用户,保障了数据的实时性;
03安全性
通过调用方身份识别和鉴权控制、返回结果加密、IP黑白名单等手段,提供全方位的服务安全防护,保证服务调用安全;
04可控性
提供统一的服务发布和管理,实现服务开发、发布、上线、调用、监控、删除的全流程生命周期管控。
▷ 数字资源管理的自动化、全链路、高性能、智能化
01自动化
通过建立任务采集器自动化采集、更新元数据和数据血缘信息,减少人工投入节约人力成本的同时可保证采集数据的正确性;
02全链路
支持全链路血缘信息分析,支持通过数据库日志、监控数据库执行情况APM链路监控及ETL抽取模型分析来采集全方位的血缘信息;
03高性能
基于杰狮分布式图数据库的血缘和对象关系分析、存储,支持百万级关系数据的秒级查询;
04智能化
智能化数据特征计算,自动提取数据特征形成数据画像、用户画像等智能化分析,帮助用户快速了解数据情况、业务情况。