环保大数据管理系统

深蓝色的畅想

在内蒙古的乌梁素海，通过污染源和地表水环境质量的立体网格化的数据采集，全流域水质情况一览无余，影响每一个水质断面的主要污染企业也都清楚明了。

不仅在内蒙古，“让数据说话，用数据管理”的思路也已深入到全国各个地区的环保管理当中，在上海、四川、无锡等地出台的《环境信息化“十三五”规划》中，推进大数据监管都被列入其主要任务之一。

今年是环境保护部发布的《生态环境大数据总体方案》实施的起步之年，生态环境大数据建设也开始从模糊走向明朗。11月24日至25日，2016全国环境信息技术与应用交流大会在京召开，如何利用大数据推动环境监管精准化，为“智慧环保”提供决策服务，成为此次大会的主要议题。

环境监管的“无形之手”

环境管理重在预防，未雨绸缪从源头治污。提前预测环境污染风险和污染源，将更加有针对性地帮助政府精准治污，而大数据技术则成为环境监管的“无形之手”。

国家信息中心信息化研究部大数据分析处副处长王建冬表示，大数据为政府治理提供了全新的视角和手段，大数据时代的到来，不仅仅意味着对数据处理技术和处理能力的提升，更重要的是全社会数据资源分布结构的深刻变化——实时、交互、离散化、非结构化的海量数据中，蕴含着经济社会运行的各种指标和信号。

“对于环境管理来说，监测体系是监管的基础，大数据应用是监管的灵魂，有了大数据就能使我们的监管能力显著提升。”内蒙古自治区环保厅副厅长李剑表示，“用数据说话，摸清家底；用数据管理，监察执法。”成为强化环境监管的重要支撑。

大数据时代的到来，传统环境管理的思路方法也将被颠覆。“环境管理目标从简单的总量控制为主向污染治理、环境质量改善转变，从单一的污染防治向风险防控、联防联控、流域共治转变。”聚光科技信息开发中心总监丁成富说。

而在太极计算机股份有限公司高级系统架构师李华看来，相较于其他行业大数据应用，环保方面的大数据具有先天的优势，其整体分析、应用从一开始就具备了大数据体系的相关要素。

“环境保护大数据体系从一开始就可以针对某个方面进行体系脉络清晰的大数据分析，而不会出现数据网状关联，能够很直接地针对一类数据整理出相关的分析，建设过程较为直观。”李华说。

另外，李华表示，环保大数据还具有丰富的应用主题，包括环境承载力分析、污染气象关系分析、环境经济关系分析、污染物大数据分析、环保预警预测、污染排放治理等。

目前，环保大数据需求十分紧迫。因为环保部门相较于产生污染企业的管理部门而言相对弱势，更迫切地需要科学、正确的数据来进行事实的陈述说明，明确责权，进行环保的整改调整，因此也更需要依赖基于大数据的信息化支撑。

海量数据带来挑战

环保大数据到底是什么数据？在清华大学软件学院大数据中心总工程师王晨看来，环保大数据包含了大量未开发的环境信息资源，包括环境舆情、互联网公开的数据；审批附件、图片等非结构化数据；生态物联网的建设带来海量半结构化数据等。

然而，海量的环境数据也给传统数据平台带来巨大挑战。王晨表示，“十三五”期间，环保数据量还将呈爆发式增长，这给计算资源和存储资源的扩展性和高可用性带来挑战。另外，生态监测网实时数据也给数据平台带来性能挑战。而非结构化数据、时间序列数据、关系型数据等多类型数据，也增加了数据处理及分析的复杂性。

来自重庆市环境保护中心的王陆潇博士则指出，环保行业广泛使用地理信息系统（GIS），尽管GIS软件已实现关系数据库管理系统的性能扩展，能够同时管理图形、属性数据、高程数据等，并已实现了多比例尺空间数据的存储，但该数据存储模式已经触碰到瓶颈，并且会导致地理信息系统空间数据自动综合能力与效率低下。此外，GIS的客户机服务器架构决定了数据共享、数据存储、同步性更新及更新效率等能力较弱。

而从政府顶层设计层面来看，环境大数据也面临重重难点。清华大学环境学院环境管理与政策教研所主任常杪表示，地方政府在环境大数据建设中会面临规划设计、设备技术选型、数据收集等难点。

以规划设计为例，“规划设计并不是对现有业务系统的简单加和，而应当在需求明确的情况下，融合现有的传感技术、互联技术、数据挖掘技术等，开发出能经济、有效解决实际问题的系统。”常杪表示，如何设计出能集成海量、多源、异构数据且实现数据动态更新的数据中心框架，如何实现数据标准统一，以完成环境数据的统一规划、集成和管理，提高数据产品加工和服务能力等，都是规划设计的难点问题。

如何“慧”集数据

预计未来5年，环保监管数据将实现精准化，“智慧环保”将使得环境管理更精明，居民更有获得感、资源利用更高效、生态环境更宜居。

环境保护部信息中心总工程师、环境信息化分会秘书长魏斌指出，数字变革和数字颠覆对人类的发展影响远远超出我们的想象。信息技术不断突破原有技术架构和发展模式，步入体系化创新和群体性突破的新阶段。

而对于环境信息化建设，魏斌指出，其建设和发展模式亟待改变，信息碎片化、应用条块化、服务割裂化等问题都需要从根源上加强统筹，实现信息共享，系统互联互通。

那么，如何充分挖掘数据的价值，从而为“智慧环保”服务呢？

以大气环境监测领域为例，中科宇图资源环境研究院院长刘锐提出一种基于多源数据融合的监测方法——首先搭建集成工作站、服务器等硬件支撑平台以支撑项目的建设和运营，其次根据数据资源的来源和分析需求，智能利用跨领域研究实践的技术优势，以互联网全域数据为基础，基于Hadoop的分布式存储及计算框架，研究大气环境监测预警大数据应用关键技术，建立大气数据分析环境和联合监测环境。

刘锐还提出了机器学习的概念，基于大数据技术的预报预警模型，机器学习通过模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

另外，李华表示，大数据支撑环境是应用成败的关键，基于大数据基础服务可提供用户大数据采集、存储、计算能力；通过太极环保大数据平台则可以实现大数据的分析挖掘与可视化，具备一站式数据应用能力。

据介绍，太极环保大数据基础平台集成开源Hadoop技术大数据基础平台，性能优于开源Hadoop方案，通过内存计算、高效检索、执行优化等技术，快速提升企业和机构构建与处理海量数据的能力；采集交换平台则在传统ETL基础上支持Hadoop、Hbase、实时流、网络爬虫等数据的采集、转换，有效解决大数据时代针对文本、音频、视频、传感检测数据、网站数据的收集、转换和存储。

在王晨看来，环保大数据管理系统研发的要点还包括高吞吐量、事务处理模型全局一致、专业化查询和分析引擎、系统易管理和维护、容错和故障恢复等，“效能+易用性”才是关键所在。