传统的数据存储和管理以结构化数据为主，因此关系数据库系统（RDBMS）可以一统天下满足各类应用需求。但是试验和考核实际所涉及的数据可能包含文本、日志、图片、视频、矢量地图等来自不同数据采集源的、不同种类的数据。这些数据的格式通常都不是固定的，如果采用结构化的存储模式将很难应对实际的需求。因此需要按照数据类型的不同，对数据的存储和管理采用不同的技术路线。
采用新型数据库集群，通过列存储和行列混合存储以及粗粒度索引等技术，结合MPP（MassiveParallelProcessing）架构高效的分布式计算模式，实现对大数据的存储和管理，具有高性能和高扩展性特点；针对本项目中半结构化和非结构化数据，采用基于Hadoop开源体系的底层，通过对Hadoop生态体系的技术扩展和封装，实现对半结构化和非结构化数据的存储和管理。一方面用MPP来管理计算高质量的结构化数据，提供强大的SQL和OLTP型服务；另一方面，用Hadoop实现对半结构化和非结构化数据的处理，以支持内容检索、深度挖掘与综合分析等新型应用。
大数据应用系统集成
大数据查询统计分析示意图