山西蓝天郎凤娥专访：谈工业锅炉网络化智能监测技术方案
山西郎凤娥同志出生于1961年1月，山西省忻州市人，中共党员，本科学历，高级工程师。郎凤娥曾带领团队研发新型高效煤粉工业锅炉系统技术，用了4年的时间，完成了第一代新型高效节能环保煤粉锅炉的市场化、商业化推广和实践验证，填补了我国煤粉锅炉小型化难的技术空白。
近日，山西蓝天郎凤娥在采访中谈到了工业锅炉网络化智能监测技术方案。
（一）数据采集层构架及技术方案
本方案主要目的是阐述锅炉数据采集过程的功能性说明，主要实现目的为将客户现场锅炉的实时信息通过数据接口采集，采集之后将数据发送至位于网络化智能监测系统的应用数据库，数据库为SQLSERVER。
现场端锅炉种类多样，数据接口形式多样，主要存在三种方式，一种为通过OPC协议方式发送锅炉数据，一种通过DTU设备以MODBUS RTU协议串口或TCP方式发送数据，一种为现场配置工控机，通过工控机连接多台锅炉采用MODBUS RTU或TCP方式发送数据。所有方式均支持数据缓存和断点续传功能，确保数据传输不会出现丢失，保证数据传输的准确性。
数据采集之后，通过现场配置的数据发送程序通过TCP协议发送至位于网络化智能监测系统的数据接收服务器，数据接收服务器中配置接收程序接收来自子站的数据并解析后存储进现有数据库中。数据存储可进行初始化配置和存储点的数据调整，以补充在接口中不存在的点的关系数据库中的数据。
数据采集构架及方案原理图
（二）数据存储及转储层构架及设计方案
- 分布式文件系统
大数据平台存储系统使用分布式文件系统（HDFS）对海量数据进行存储。
HDFS采用master/slave架构。一个HDFS集群是由多个Namenode和一定数量的Datanodes 组成。Namenode是一个中心服务器，负责管理文件系统的名字空间（namespace）以及客户端对文件的访问。Namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。StandbyNameNode用于辅助NameNode工作。
大数据平台存储系统架构示意图
此大数据平台能够自动化的对数据进行备份、管理、维护。部分节点宕机失效时不会影响集群的正常使用，不会影响业务需求。
- 分布式数据库
HDFS能够存储结构化数据、半结构化数据、非结构化数据。但是HDFS对于结构化数据的管理维护不是很友好。Hbase为面向列的分布式数据库，以表格的形式维护数据，能够存储数亿条数据。其特点是行可以数亿行，列可达数亿列。主要应用场景为对于实时性要求高的精确查询业务需求。
分布式数据库关系维护示意图
Hbase同样使用master/slave架构，master为HMaster主要负责各个数据区与对应的服务器之间的关系维护以及启动关闭Hbase集群等。Slave为Region server主要负责本节点的数据与切分区域，并接受HMaster的指令。
Hbase对于海量数据的存储依赖于HDFS，将数据存储到HDFS中。Hbase内部数据的维护使用分区管理（HRegion）的机制。
数据使用分区管理机制示意图
当分区达到一定数目时，进行分布式管理维护。
- 数据仓库
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转化为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Hive对于数据的存储依赖于HDFS，对于数据的计算依赖于MapReduce。Hive适用于实时性要求不高的，对局部数据的简单运算等业务需求。
数据仓库映射示意图
Hive的运行机制，前端接收到SQL语句后，经由驱动传递给编译器将SQL转换成MapReduce程序，再由驱动器将程序传递给执行器，执行器将任务发送给MapReduce编程框架。最终运行完的结果经驱动器返回给用户。
（三）数据转储架构及设计方案
SQLServer是一个可扩展的、高性能的、为分布式客户机/服务器计算所设计的数据库管理系统，实现了与WindowsNT的有机结合，提供了基于事务的企业级信息管理系统方案。
由于现有锅炉系统APP使用SELSERVER关系型数据库，故在网络化智能监测系统上需将存储服务器数据库中的数据通过数据转储软件实时转储到SELSERVER关系型数据库中。
SELSERVER数据库数据存储方式：
- 每台锅炉新增一张数据表，表名按照固定格式生成，表中字段按照固定格式生成；
- 表中部分字段无法从接口中获取数据，需要定义模拟数据写入程序；
- 数据转储过程中，每隔固定时间，对锅炉运行停炉情况进行判定，当判定结果为，锅炉停炉时，不进行数据转储；
（四）智能分析层构架及设计方案
智能分析层即数据处理层，该部分的核心是专家知识库及其扩展组件。智能分析层首先是将各类设备数据汇总到数据库进行存储，然后通过上层分析组件进行分析计算，实现模型对象组建、逻辑关系运算、报警事件检测等，对现场故障原因进行判断，对问题进行总结，对设备效率和故障率进行统计等，使得系统具有高效的实时数据处理功能和分析结果的功能，同时数据库库支持高效的数据并发存储和检索功能，并对分析结果提供相应的决策建议。
生态环境部:优化小微企业项目环评工作“十五条”意见,可直接引用公开的监测数据【郎凤娥 环保厅转发】
郎凤娥 环保厅专栏转河北省生态环境厅、公安厅最新通告
山西蓝天郎凤娥公开山西蓝天集团项目研发六大项目
郎凤娥专题http://langfenge03.sxltjt.com
郎凤娥报道http://langfenge04.sxltjt.com