您的当前位置：首页大数据环境下传感器数据融合算法研究

大数据环境下传感器数据融合算法研究

来源：微智科技网

引用格式：葛宇，杜春晖，李亚杰，等.大数据环境下传感器数据融合算法研究[J].现代电子技术，2021，44（7）：28⁃31.

28DOI：10.16652/j.issn.1004⁃373x.2021.07.006

2021年4月1日第44卷第7期

现代电子技术

ModernElectronicsTechniqueApr.2021Vol.44No.7大数据环境下传感器数据融合算法研究

葛

宇，杜春晖，李亚杰，张连连

075000）

（河北建筑工程学院电气工程学院，河北张家口

摘

要：在分析国内外大数据及数据融合研究现状的基础上，针对传感器产生的海量数据存在冗余性、割裂性、片

面性，数据来源广、维度多、类型杂等特点，分析了数据融合的基本原理及基本步骤，并论述了数据融合的分类方法。在此基础上，提出基于深度置信网络（DBN）的传感器数据融合算法，在人工神经网络基础上，重点介绍了DBN的结构及DBN的训练过程。在每一层中，采用数据向量推断隐层，然后把这一隐层作为下一层的数据向量，从而寻找最佳权值。在设定的实验场景下，对传感器数据集实例进行实验。实验中分析了算法的重构误差、算法的耗时性等参数。仿真结果表明，所提出的算法具有有效性和优越性，对改进大数据环境下传感器数据融合算法具有借鉴意义。

关键词：数据融合；传感器；大数据；机器学习；隐层推断；特征提取中图分类号：TN919⁃34；TP393.1

文献标识码：A

文章编号：1004⁃373X（2021）07⁃0028⁃04

Researchonmulti⁃dimensionalsensordatafusionalgorithminbigdataenvironment

（CollegeofElectricalEngineering，HebeiUniversityofArchitecture，Zhangjiakou075000，China）

GEYu，DUChunhui，LIYajie，ZHANGLianlian

Abstract：Asthemassivedatageneratedbymulti⁃dimensionalsensorshasthecharacteristicsofredundancy，separation，one⁃sidedness，extensivedatasources，multipledimensionsandmixedtypes，thebasicprinciplesandstepsofdatafusionareanalyzedanditsclassificationmethodsarediscussedonthebasisofthestudyoftheresearchstatusquoofbigdataanddatafusionathomeandabroad.Onthisbasis，amulti⁃dimensionalsensordatafusionalgorithmbasedondeepbeliefnetworks

（DBN）isproposed.Onthebasisoftheartificialneuralnetwork，theDBN′sstructureanditstrainingprocessareintroducedemphatically.Ineachlayer，thedatavectorisusedtoinferthehiddenlayer，whichisthenusedasthedatavectorofthenextlayertofindtheoptimalweight.Theexperimentalsimulationwascarriedouttotesttheexamplesofthemulti⁃dimensionalsensordatasetsinthesetexperimentalscene.Intheexperiment，theparametersofreconstructionerrorandthetimeconsumptionofreferencesignificanceforimprovingthemulti⁃dimensionalsensordatafusionalgorithminbigdataenvironment.

thealgorithmwereanalyzed.Thesimulationresultsshowthattheproposedalgorithmiseffectiveandsuperior，andisof

Keywords：datafusion；multi⁃dimensionalsensor；bigdata；machinelearning；hiddenlayerjudgement；featureextraction

0引言

等各种技术进入人们视野，为海量数据存储、海量数据并行计算提供了支撑，新技术的发展为大数据带来了曙光[1⁃4]。

随着数据采集终端设备各种传感器的数量剧增，由传感器产生的数据规模急剧膨胀，包括金融、交通、能源、零售、电信、餐饮等各行业累积的数据量迅速增多，数据类型也越来越丰富、复杂，传统的数据管理系统、数据处理模式已无法满足新业务的需求[5⁃7]。如：来自大量传感器的数据；来自智能终端拍照、拍视频多媒体数据；微博、微信数据；科学研究多结构数据等，积累了海量数据。Twitter平均每天发布超过5000万条

随着各种物联网智能设备、各种传感器的普及，云计算硬件性价比的提升、运算与运行速度的提升及存储成本的降低，数据存储、清洗、挖掘及分析等数据处理手段的优化，特别是分布式系统基础架构Hadoop的出现，Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）的诞生，MapReduce的成熟，Spark、Storm、Impala

收稿日期：2020⁃08⁃26

修回日期：2020⁃09⁃21

基金项目：河北省重点研发计划自筹项目（17270203）

葛宇，等：大数据环境下传感器数据融合算法研究

级融合、特征级融合及数据级融合。

消息，Google平均每天需要处理将近30PB的数据，全球网民一天在上总共花费234亿分钟，移动互联网要处理的数据高达44PB，全球每秒平均发送近300万封电子邮件，平均每天上传3万个小时的视频至，互联网每天产生的数据总量，足以刻满6.5亿张DVD[8⁃9]。

以电子邮件为例，如果一分钟读一篇邮件，那么一天

产生的邮件足够一个人昼夜不停地阅览6年，由此可见数据量之大，前所未有。这些包罗万象的、海量的数据，不仅仅数据量大，而且种类繁多，既包括结构化的数据库系统数据，更多的是非结构化的报表、图片、视频、图像及音频数据，这些海量数据可能是多余的数据、割裂的数据、片面的数据，数据来源广、维度多、类型杂。需要进行数据融合技术如数据的组合、整合及聚合等方法更全面、客观地反映客观事物，以辅助人们正确决策

[10⁃14]

图1数据融合的一般步骤

。

1数据融合原理及基本步骤

将传感器产生的数据进行数据融合，能够产生

1）数据级融合

操作对象是最前端的数据，对传感器采集到的原始数据进行处理，是最底层的融合。在图像目标识别时，该级别的融合是对原始图像像素进行融合。该融合处理的数据量特别大，数据处理代价高，处理时间长，实时性及抗干扰性差。由于处理的是传感器的一手数据，由于传感器采集数据的不稳定性、不确定性，要求该数据融合具有一定的纠错能力。

常用的数据级数据融合方法有：小波变换法、代数法、坎斯⁃托马斯变换（Kauth⁃ThomasTransformation，K⁃T）等。

比单一信息源更精确、更完全、更可靠的数据。数据融合分为预处理和数据融合两步。1.1

1）外部校正，去除外部地形、天气、气压、风速等外预处理

部噪声引起的对结果数据的影响，外部校正的目的主要在于去除外部随机因素对测量数据结果一致性的影响。等自身参数差异引起的对结果数据的影响，内部校正的目的主要在于消除由不同传感器得到的数据差异。1.2

根据不同的数据融合目的及数据融合所处层次，选数据融合

2）内部校正，去除由于各个传感器灵敏度、分辨率

2）特征级的数据融合

特征级数据融合面向监测对象特征的融合，从传感器采集到的原始数据中提取特征信息，用以反映事物的属性，以便进行综合分析和处理，是数据融合的中间环节。

特征级数据融合一般流程为：首先对数据进行预处理，然后对数据进行特征提取，再对特征提取后的数据进行特征级融合，最后对融合后的数据属性进行说明。特征级数据融合的一般流程如图2所示。

择恰当的数据融合算法，将提取的特征或数据进行合成，得到比单一传感器更准确的表示或估计。1.3

数据融合一般包括以下6个步骤：连接多源数据库数据融合的一般步骤

获取数据、对所获数据进行研究与理解、对数据进行清洗和梳理、数据转换与建立结构、数据组合、建立分析数据集。数据融合的一般步骤如图1所示。

2数据融合分类

根据数据融合前后数据的信息含量进行分类，可将

数据融合分为有损融合和无损融合。无损融合中去除冗余数据，所有数据细节均被保留。有损融合则通过减少存储数据量、降低数据分辨率等方式，压缩数据量减少传输量，但前提是融合后的数据保留所需的全部信息。

根据数据融合的操作对象级别从高到低分为：决策

图2特征级数据融合的一般步骤

现代电子技术

2021年第44卷

在底层两级数据融合的基础上，对数据进行特征提取、数据分类及逻辑运算，为管理者决策提供辅助。所需的决策是最高级的数据融合。该级别数据融合的特点是容错性、实时性好，当一个或几个传感器失效时，仍能做出决策。

决策级数据融合一般流程为：对数据进行预处理，然后对数据进行特征提取，再对特征进行属性说明，对属性进行融合，最后对融合属性进行说明。决策级数据融合的一般流程如图3所示。

图4DBN结构

3.2

定第一个RBM的权重、偏移量，并将其神经元的状态作为第二个RBM的输入。然后训练第二个RBM，并

图3决策级数据融合的一般步骤

DBN算法训练过程如下，首先训练第一个RBM，固

DBN训练过程

将第二个RBM与第一个RBM堆叠。接下来，对其进行多次循环训练，连同代表标签的神经元一起训练，响应的神经元打开设置为1，否则设置为0。DBN的训练过程如图5所示。

3基于深度置信网络的数据融合算法

深度置信网络（DeepBeliefNetwork，DBN）与传统

的神经网络类似，是在观察数据和标签之间的联合分布基础之上的概率生成模型。网络中存在隐含层，隐含层间的神经元采用全连接，隐含层内的神经元之间没有形成连接。最上面两层中包括标签神经元，两层之间为无向连接，称其为联合记忆层。除了联合记忆层之外，其余各层为有向连接，自上而下为生成模型，自下而上为判定模型。DBN是机器学习的神经网络，模型通过训练得到各个神经元之间的权值，从而让整个网络得到最大概率的训练数据。DBN的使用范围广、网络扩展性强，是常用的学习算法之一，经常用于语言识别、图像识别等领域，可用于监督学习与非监督学习。3.1

DBN结构如图4所示。DBN最上层为联合记忆层，DBN结构

3.3

实验数据

图5DBN训练过程

下面是隐含层，隐含层下是受限玻尔兹曼机（RestrictedBoltzmannMachine，RBM），RBM是1986年由斯摩棱斯训练DBN是一层一层进行训练的，在每一层中，采用数据向量推断隐含层，然后再把这一隐含层作为下一层的数据向量。训练RBM的过程，实际上是寻找最佳权值的过程。

实验中采用MatlabDeepLearnToolbox对收集的随

机数据进行数据融合，实验初始化DBN参数，并训练DBN网络，实验的主要参数如表1所示。程序运行结果如图6所示。

实验中，隐含层层数为100层，节点数量为100个，权重矩阵为784×100的矩阵，学习速率为2，动量为0.5，样本数为100，迭代1次。通过MatlabDeepLearn

基发明的基于数据集学习概率分布的神经网络模型。

葛宇，等：大数据环境下传感器数据融合算法研究31

Toolbox得到平均重建误差为65.7798。各个时段耗费时间图如图7所示，各个时段耗时参数表如表2所示。

表1实验主要参数表

参数隐含层层数节点数权重矩阵学习速率动量样本数迭代次数

数值100784×1000.512100

4结语

本文在大数据背景下，论述了传感器数据融合原理及基本步骤，并分析了数据融合的分类及常用数据融合方法。随后重点阐述了DBN算法的结构及训练过程，并通过DBN算法对随机采集的传感器数据集进行实验，通过实验对算法的有效性进行了验证，对算法进行了评估。

注：本文通讯作者为李亚杰。

参考文献100

[1]阚博文，CUIAndrew，朱文东.基于深度学习的绝缘开关图像分类[J].电力信息与通信技术，2018，16（3）：8⁃15.[J].小型微型计算机系统，2018，39（2）：396⁃400.[2]曾锐，陈锻生.结合双深度学习特征的高光谱遥感图像分类[3]曾志，吴财贵，唐权华，等.基于多特征融合和深度学习的商品图像分类[J].计算机工程与设计，2017，38（11）：3093⁃3098.像分类[J].中国图象图形学报，2017，22（9）：12⁃1301.算机工程与应用，2018，54（1）：224⁃228.图6程序运行结果

[4]夏梦，曹国，汪光亚，等.结合深度学习与条件随机场的遥感图[5]黄冬梅，许琼琼，贺琪.融合多特征的深度学习标注方法[J].计[6]蒋雨欣，李松斌，刘鹏.基于多特征深度学习的人脸性别识别[7]石祥滨，房雪键，张德园，等.基于深度学习混合模型迁移学习的图像分类[J].系统仿真学报，2016，28（1）：167⁃173.[8]律方成，金虎，王子建，等.基于组合核多特征融合的GIS局部放电检测与识别[J].电工技术学报，2014，29（10）：334⁃340.[J].计算机科学，2013，40（10）：279⁃282.[J].计算机工程与设计，2016，37（1）：226⁃231.图7各时段耗费时间图表2各个时段耗时参数表

时段123456耗时5.135.66796.09955.51195.45785.5002[9]郭金鑫，陈玮.基于HOG多特征融合与随机森林的人脸识别[10]顾鑫，王海涛，汪凌峰，等.基于不确定性度量的多特征融合

跟踪[J].自动化学报，2011，37（5）：550⁃559.科技，2016（11）：9⁃12.

[11]刘杰.一种基于多特征融合的自适应目标跟踪策略[J].大众[12]刘红，王晔，雷长海.基于多特征融合的中医舌像检索研究[13]王益尧.基于多特征融合问句理解问答系统研究[J].数据通

信，2018（2）：37⁃41.

[14]李志欣，李艳红，张灿龙.一种多特征融合的场景分类方法

[J].小型微型计算机系统，2018，39（5）：1085⁃1091.[J].计算机应用研究，2010，27（2）：791⁃793.

作者简介：葛宇（1983—），男，山东菏泽人，硕士，讲师，研究方向为电子信息通信技术。

杜春晖（1982—），女，山西大同人，硕士，讲师，研究方向为电气工程。李亚杰（1983—），男，河北邯郸人，硕士，讲师，研究方向为信号处理与应用。

张连连（1984—），女，河北肃宁人，博士研究生，讲师，研究方向为网络通信理论和技术。

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文