博信D2D大数据平台
博信D2D大数据平台涵盖从需求分析、系统设计、总体构架、原型生成、测试运维的软件开发全生命周期工作。支持系统原型自动生成、半自动化辅助测试,可高校提升开发效率,并保证规范性、系统性、一致性。
-
Analysis
需求分析
(6表1图)
- 机构
- 用户
- 数据
- 流程
- 功能
- 性能
-
Design
系统设计
(5图1库)
- 应用模式图
- 总体架构图
- 功能结构图
- 网络部署图
- 系统流程图
- 数据模型
-
Architect
总体架构
3层组件
- 前端界面组件
- 后端数据组件
- 业务分层
-
Prototype
原型生成
(4项生成)
- 数据库生成
- 数据访问生成
- 业务逻辑生成
- 前台分层框架
-
Test/Service
测试运维
(6组工具)
- 测试大纲
- 测试用例
- 测试报告
- 数据库设计
- 详细设计
- 用户手册
博信快速开发平台(ADAPT)
博信D2D大数据平台
D2D大数据平台是以数据为驱动,针对大数据应用技术的广度信息聚合、深度数据计算、扁平网络传递的三个能力要求,所构建的面向属性和空间两大类型数据的,从抽取、整合、建库、分析、展现的全方位支撑体系,为不同用户提供各类数据服务,为政府领导和管理部门提供丰富有效的决策信息,实现了从数据到决策,大大提高了决策科学化程度。
大数据进
-
- 数据标准
(DSM)
Data Standard Module -
数据管理(DMM)
Data Management
Module
Update Export
index ToHDFS- 分析报告(DAR)Data Analysis Report
- 分析指标(DAI)Data Analysis Index
- BI引擎(DBI)Data Business Intelligence
- 分析模型(DAM)Data Analysis Models
- 地图引擎(DME)地图服务配置管理 Data Map Engine(数据查询、geoserver、Tile)
- 全文引擎(DSE)检索与聚合、热词云图等 Data Search Engine
- 报表引擎(DRC)Reporting and Charting
产品库
数据加载(DLM)
Data Loading
ModuleExcel DB WS
数据处理(DPM)
Data Processing Module
SQL Trigger Kettle Hadoop ...
- 决策大屏(DSD)
Decision Support Dashboard
- 数据标准
智能
数据出
博信大数据并行处理平台
基于Hadoop技术,引入以“分布存储、程序拆分、列式存储”的并行处理框架,将关系数据库行数据抽取至Hadoop分布式系统中,最后利用并行空间数据叠加分析工具和地图瓦片生成工具,支撑各类大数据空间分析
关系数据库
(行存)
主题数据库
主题数据库数据抽取
SQOOP
数据抽取分布
抽取
抽取HDFS分布式
文件系统
(片存)
文件快1
文件快2HDOOPP
并行处理
空间叠加运算
空间分析处理1
空间分析处理2-
Mongo DB
数据库
(列存)
列存
列存- 地图瓦片生成
-
Geoserver
地图服务集群
服务器1
服务器2- 地图瓦片生成
OpenLayer
在线地图分析
- 数据库服务器
- HADOOP集群
- 客户端