博信D2D大数据平台

博信D2D大数据平台涵盖从需求分析、系统设计、总体构架、原型生成、测试运维的软件开发全生命周期工作。支持系统原型自动生成、半自动化辅助测试,可高校提升开发效率,并保证规范性、系统性、一致性。

  • Analysis

    需求分析

    (6表1图)

    • 机构
    • 用户
    • 数据
    • 流程
    • 功能
    • 性能
  • Design

    系统设计

    (5图1库)

    • 应用模式图
    • 总体架构图
    • 功能结构图
    • 网络部署图
    • 系统流程图
    • 数据模型
  • Architect

    总体架构

    3层组件

    • 前端界面组件
    • 后端数据组件
    • 业务分层
  • Prototype

    原型生成

    (4项生成)

    • 数据库生成
    • 数据访问生成
    • 业务逻辑生成
    • 前台分层框架
  • Test/Service

    测试运维

    (6组工具)

    • 测试大纲
    • 测试用例
    • 测试报告
    • 数据库设计
    • 详细设计
    • 用户手册

博信快速开发平台(ADAPT)

博信D2D大数据平台

D2D大数据平台是以数据为驱动,针对大数据应用技术的广度信息聚合、深度数据计算、扁平网络传递的三个能力要求,所构建的面向属性和空间两大类型数据的,从抽取、整合、建库、分析、展现的全方位支撑体系,为不同用户提供各类数据服务,为政府领导和管理部门提供丰富有效的决策信息,实现了从数据到决策,大大提高了决策科学化程度。

大数据进

  • 数据标准
    (DSM)
    Data Standard Module
  • 数据管理(DMM)
    Data Management
    Module
    Update Export
    index ToHDFS
    • 分析报告(DAR)Data Analysis Report
    • 分析指标(DAI)Data Analysis Index
    • BI引擎(DBI)Data Business Intelligence
    • 分析模型(DAM)Data Analysis Models
    • 地图引擎(DME)地图服务配置管理 Data Map Engine(数据查询、geoserver、Tile)
    • 全文引擎(DSE)检索与聚合、热词云图等 Data Search Engine
    • 报表引擎(DRC)Reporting and Charting

    临时库/交换库/采集库

    数据加载(DLM)

    Data Loading
    Module

    Excel DB WS

    数据处理(DPM)

    Data Processing Module

    SQL Trigger Kettle Hadoop ...

  • 决策大屏(DSD)
    Decision Support Dashboard

智能
数据出

博信大数据并行处理平台

基于Hadoop技术,引入以“分布存储、程序拆分、列式存储”的并行处理框架,将关系数据库行数据抽取至Hadoop分布式系统中,最后利用并行空间数据叠加分析工具和地图瓦片生成工具,支撑各类大数据空间分析

  • 关系数据库
    (行存)




    主题数据库


    主题数据库

  • 数据抽取
    SQOOP
    数据抽取分布



    抽取


    抽取

  • HDFS分布式
    文件系统
    (片存)



    文件快1


    文件快2

  • HDOOPP
    并行处理
    空间叠加运算



    空间分析处理1


    空间分析处理2

  • Mongo DB
    数据库
    (列存)


    列存


    列存

    地图瓦片生成
  • Geoserver
    地图服务集群


    服务器1


    服务器2

    地图瓦片生成
  • OpenLayer





    在线地图分析

  • 数据库服务器
  • HADOOP集群
  • 客户端