基于增强现实的三维建筑物模型移动可视化系统
叶哲璐;卢智;祝士杰
【摘 要】针对传统虚拟现实的三维数据可视化存在专业性强、交互复杂、不够直观等局限问题,以户外三维建筑物为研究对象,构建了测绘的定位定姿技术与计算机视觉的边缘跟踪技术相结合的增强现实混合跟踪技术,建立了基于增强现实的三维建筑物模型移动可视化系统.在大范围数据采集基础上的三维模型数据增量更新模式中,应用本系统开展外业核查,验证了技术的可行性. 【期刊名称】《地理信息世界》 【年(卷),期】2019(026)003 【总页数】5页(P109-113)
【关键词】增强现实;三维建筑物;可视化;移动 【作 者】叶哲璐;卢智;祝士杰
【作者单位】浙江省测绘科学技术研究院,浙江 杭州 310012;浙江省测绘科学技术研究院,浙江 杭州 310012;浙江省测绘科学技术研究院,浙江 杭州 310012 【正文语种】中 文 【中图分类】P208 0 引 言
增强现实是一种将虚拟和现实结合的技术，使得数据信息更直观地展示在真实的物理环境中[1]。增强现实的显示设备日渐丰富，除手机、平板等移动手持设备外，
出现了Google Glass为代表的眼镜设备、微软HoloLens为代表的头戴设备等。新设备的出现提供了更为高级的功能[2]，而移动手持设备则更为普及。移动手持设备的增强现实是采用视频透视式技术，即将现实场景首先通过相机录入移动设备，经过和虚拟对象的整合、压缩，再统一呈现在用户眼前[3]。
增强现实系统的关键是精确的三维注册，即实时、精确地确定用户的位置和视线方向，从而将虚拟信息准确地增强到真实环境中。注册方法主要分两类，一是基于计算机视觉的注册方法；二是基于传感器的注册方法。基于计算机视觉的注册方法使用场景局限于可控环境，难以应用于户外大范围地理场景中，而基于传感器的注册方法，可实现户外场景中的跟踪注册，但受制于精度与误差，效果一般，并且功能有限[4]。采用混合跟踪技术可取长补短，提高系统的可靠性，但也增加了系统的复杂度和成本[5]。
增强现实技术对数据的可视化更简单、直观、真实感更强[6]。在地理信息和商业地图领域，增强现实技术的应用以POI等点状数据作为增强信息[7]。三维模型数据往往基于Skyline[8]、ArcGIS[9]或WebGL[10]等专业GIS软件或组件以虚拟现实的方式进行可视化。
本文将基于增强现实技术，在移动终端中对现有的户外三维建筑物模型数据进行可视化展示研究，并针对三维建筑物模型数据的变化巡查中进行应用和验证。 1 系统设计
系统运行于Windows操作系统，采用C/S架构，由数据层、支撑层和应用层等构成,系统架构如图1所示。数据层提供三维建筑物模型数据用于增强信息，支持本地数据和从服务端获取数据等多种形式。支撑层在.NET Framework框架下以Unity3D为可视化平台，集成ARToolKit增强现实SDK，采用ViSP组件提供边缘跟踪能力，从数据层获取增强信息后利用多源传感器获得的信息实时计算每一帧的结果实现图像注册，以可视化组件接口的形式为应用层提供三维建筑物模型的增
强现实能力。支撑层是可视化系统的核心，主要实现三维数据的模型渲染和实时的图像注册两大功能。应用层结合各类功能的使用需求提供用户交互界面，本文将在外业核查应用系统中进行应用验证。 图1 系统架构图Fig.1 System architecture 1.1 模型渲染
为解决大场景下密集建筑加载的效率问题，一是利用分区块加载数据的模式，并应用Unity3D的遮挡剔除技术和对远处模型采用简模的LOD技术，以减少渲染负载；二是将渲染算法运行于GPU模式下，采用CG编程技术实现三维模型轮廓描绘，通过硬件底层层次上的模型渲染方式提高渲染速度。
真实建筑物如图2a所示，三维建筑物模型数据包括纹理和网格，分别如图2b、图2c所示。纹理与真实建筑物的叠加将对真实场景产生大面积的遮盖导致真实场景无法清楚显示，同时纹理的数据量大也会影响前后端交互的实时性。三维模型数据网格的叠加则会因建筑物内部线条过多造成对真实场景显示的干扰。因此不能将三维建筑物模型数据中的纹理和网格直接渲染应用于场景融合中。
为获得清晰的场景融合效果，本文从三维建筑物的网格模型中抽取非共面相邻面片的交界边线得到其外轮廓线进行渲染。具体过程是，先计算相邻面片的法线，再根据这两个法线的夹角是否为0判断是否共面。为避免三维模型数据噪声和计算精度的影响，采用法线夹角是否小于0.01这一很小的阈值来代替是否为0的判断。建筑物外轮廓线的提取渲染实现了在尽可能地保留建筑物外观特征下减少网格线条的数量，效果如图2d所示。
图2 真实建筑物及其三维模型数据Fig.2 Real building and its 3D building models 1.2 图像注册
针对户外环境干扰多和建筑物外轮廓明显等特点，本文构建了混合跟踪技术，即将
基于移动设备GNSS的定位信息和陀螺仪姿态信息作为增强现实的主要融合匹配项，利用计算机视觉跟踪技术对建筑物外轮廓边缘跟踪作为辅助修正项的图像注册方法。
总的图像注册转换流程如图3所示，涉及到4个坐标系统，3次转换和1次修正。 图3 图像注册的流程示意图Fig.3 Flow chart of image registration 第一步，移动终端的GNSS定位信息从大地坐标系转化为地图投影坐标系； 第二步，利用陀螺仪的加速度、角速度等信息进行惯导计算，提高设备定位数据的精确性。基于计算修正后的相机定位和定姿数据，相机拍摄影像时的内部参数，如焦距等，利用ARToolKit的三维透视接口，计算虚拟环境与真实影像的映射关系，实现三维建筑物外轮廓线在相机坐标下的映射转换；
第三步，利用Unity3D中的图像渲染接口实现三维相机坐标下的场景在拍摄影像二维平面上的投影转换，达到初步的场景融合。因图像注册对传感器的精度要求苛刻，即使引入高精度的多模多频高精度动态定位模块以提高定位精度，注册完成后的场景中三维建筑物外轮廓线与真实地物之间仍有可见距离的偏差，效果如图4所示。
图4 利用多源传感器实现的三维模型数据注册效果图Fig.4 3D building model registration result using multi-sensors method
第四步，因户外建筑物轮廓线分明，易于进行自动的图像识别，利用VISP边缘跟踪组件自动提取拍摄影像中的建筑物外轮廓特征点，将三维建筑物的外轮廓线与其进行注册参数的精度修正和对齐匹配，修正后的结果利用Unity3D进行最终图像的融合渲染，从而实现提升场景融合效果的目的，效果如图5所示。
图5 经过计算机视觉算法校正后的三维模型数据注册效果图Fig.5 3D building model registration result with computer vision correction
第四步中应用的边缘跟踪技术，其融合注册过程可细分为4步。第一步，获取视
频帧，创建图像多分辨率金字塔；第二步，根据上一帧的投影矩阵，在可见边上隔点采样，将这些采样点投影到二维图像上；第三步，通过图像金字塔提取采样点附近的二维特征点，如图6所示；第四步，根据点之间的对应关系，计算出当前帧对应的投影矩阵，实现三维模型的注册，如图7所示。虽从视频中跟踪到的视觉显著轮廓线一般既包含很多不是三维模型的轮廓线，也缺少部分三维模型的轮廓线，但通过图像注册方法一般都能够自动弥补因多余和缺少轮廓线产生的干扰。 图6 图像提取的二维特征点Fig.6 2-D feature points in the image 图7 三维模型注册后的增强显示效果Fig.7 AR result after 3D model registration
整个图像注册过程中的3次转换，综合形成的数学转换公式如下：
式中，GeodeticToPlane(X3dgeodetic)是将移动终端设备GNSS定位信息经过位置校正后作为相机位置参数，将其大地坐标（经纬度）转换为地图投影坐标；M[R][T]中R是相机的旋转矩阵，与陀螺仪记录的相机朝向外部参数有关，T是三维建筑物模型相对于相机的坐标，与相机位置有关；Mperspective是一个投影矩阵，将三维点投影到二维平面上得到二维点坐标，与焦距、基线、光轴角度等相机内部参数有关。 2 应用验证
基于图像的自动化建模[11]和基于互联网众源照片的三维建模[12]已经出现，使得针对小范围目标建筑的三维建模成为可能。在已完成生产的城市级大范围三维模型数据基础上，利用移动设备开展外业巡查及时发现变化建筑物信息，基于采集的照片开展自动化三维建模，成果数据在户外现场确认，可克服数据周期性大范围更新生产带来的数据现势性不及时和更新费用高的不足，实现实时便捷地对小范围目标建筑物进行增量更新采集。今后，还可发展众包形式开展增量更新采集。
本文在大范围数据采集基础上的三维模型数据增量更新模式中应用本系统，为外业核查人员提供易用、直观、交互友好的三维可视化平台。针对三维建筑物模型数据增量更新模式，在变化发现、数据采集、三维建模、现场确认等环节，选取核查人员交互操作频繁的变化发现模块作为三维可视化平台应用的验证。
验证的数据为2015年的德清地理信息产业园的三维建筑物模型。因原始三维模型数据为常见的.max格式，需转换为本系统可用的.assetbundl格式。具体转换步骤如下：①坐标系转换：.max数据格式采用的是右手坐标系,可视化系统采用的是左手坐标系。用3DMAX打开原始模型数据，在导出.fbx格式数据时，设置坐标系为左手坐标系。②导出.assetbundl格式：将导出的.FBX三维模型数据导入到Unity3D软件场景编辑界面，移动模型至坐标系的原点处，输入模型相关经纬度信息，最后导出.assetbundl格式文件。
外业核查应用系统模块主要包括服务端的数据服务模块、客户端的场景融合模块和应用验证的核查业务模块3个部分，应用系统总体功能架构如图8所示。 图8 系统总体功能架构图Fig.8 Architecture of system functions 1）数据服务模块为移动设备提供服务端的数据服务支撑，包括以下功能： ①三维数据服务引擎：提供当前位置的三维模型数据； ②数据安全传输：将服务端的三维模型数据安全传输至移动端。
2）场景融合模块提供虚拟信息与真实场景在不同应用目的下的融合显示，包括以下功能：
①内、外置定位传感器动态切换：当有外置高精度定位设备时，可以快速切换接入； ②场景融合显示：基于可视化系统支撑层提供的组件接口，实现三维模型数据与终端获取的真实场景的融合显示；
③模型信息过滤显示：将符合过滤条件的三维模型数据在场景中叠加显示； ④模型结构三维展示：详细展示场景融合中某一三维模型的结构模型及其属性信息
等；
⑤场景拍摄保存：当前融合后的场景进行拍摄保存。
3）核查业务模块是对外业核查的信息进行记录，包括以下功能： ①建筑物核查确认：对未变化的建筑物进行核查确认； ②建筑物变化记录：记录变化的建筑物信息。 4）应用系统功能的具体使用场景如下：
①核查任务设置和启动：作业人员在户外核查作业时，在保持平板终端设备与服务器网络联通、定位服务开启的情况下，打开系统APP。当有外置高精度定位传感器时，可以点击“内(外)置定位”按钮进行定位传感器的切换。
②核查变化建筑物：平板终端实时向服务器更新自己的区域位置信息，采用安全加密的数据传输方式从服务器加载当前区域的三维模型数据，系统基于本文优化后的图像注册方法，将三维模型数据与终端摄像头实时获取的真实场景进行融合叠加，作业人员可通过屏幕最终呈现的融合图像进行比对核查及人机交互。用户点击建筑物，可查询获取并展示单个建筑物的完整三维模型及其属性信息，并可旋转进行单体环绕浏览查看。
③记录核查结果：作业人员如发现场景中存在有变化更新的建筑物和信息，可点击系统拍照按钮保存，并标记需要增量更新建模的建筑物信息，保存在本地或上传服务端,现场核查效果如图9所示。
图9 移动外业核查巡查现场使用效果Fig.9 Field verif i cation using the mobile application
通过在移动设备中实现已有的三维建筑物模型数据在真实场景中的叠加，在虚拟的建筑物信息和真实的场景之间建立直接的关联，为外业核查人员在发现变化的生产作业过程中提供了一个易用的三维可视化平台，这可有效提升三维模型数据在实际生产中的应用，拓展已有三维模型数据的应用场景和范围，挖掘出已有三维模型数
据的经济价值。 3 结束语
本文利用测绘的定位定姿技术将三维建筑物模型在真实场景中注册后，通过计算机视觉的边缘跟踪技术提高场景融合的精准性，解决了单一注册方法对室外建筑物注册适用性不强、注册精准性不高的问题，为今后的应用推广打下了坚实的技术基础。本文采用此混合跟踪技术，在移动终端上搭建了三维建筑物模型可视化系统，有别于传统只在虚拟现实中展示三维建筑物模型数据，通过以虚实结合的直观方式展示三维模型信息，更好地协助核查人员及时发现变化的三维建筑物模型，验证了技术的可行性。
下一步，可对相似建筑物群、户外强光等复杂场景下图像注册方法作研究完善，提高注册效率和实时性。在对建筑物信息增强的应用基础上，拓展叠加的数据资源，利用移动终端设备进行户外核查变化发现和数据生产更新应用。 参考文献
【相关文献】
[1] Caudell T P, Mizell D W. Augmented Reality:An Application of Heads-up Display Technology to Manual Manufacturing Processes[C]. IEEE Computer Society Press, 1992,2(2):659-669.1.
[2] 陈冠臣, 吴星星, 王伟, 等. 基于AR的三维城市信息系统设计与实现[J]. 地理信息世界, 2018,25(3):109-113.
[3] 高翔, 安辉, 陈为, 等. 移动增强现实可视化综述[J]. 计算机辅助设计与图形学学报, 2018,3(1):1-8. [4] 乔延军, 饶锦蒙, 王骏星, 等. 面向户外增强现实的地理实体目标检测[J]. 地理信息世界, 2017,24(5):51-55.
[5] 常勇, 何宗宜. 户外增强现实技术及其在地下管网3维可视化中的应用[J]. 测绘通报, 2015(11):54-57,4.
[6] 陈科, 黄天勇, 杨林波, 等. AR技术在GIS可视化中的应用及方法研究[J]. 测绘与空间地理信息,
2011,34(6):98-101.
[7] 沈盛彧, 郑杰, 杨文竞, 等. 天之眼——一种基于增强现实的POI移动终端系统[J]. 测绘通报, 2016(9):96-98,107.
[8] 何书锋, 魏合龙, 林文荣, 等. 基于Skyline的海洋地质三维可视化系统开发与实现[J]. 海洋地质前沿, 2018(3):12.
[9] 吴瑞旭, 徐伟恒, 王秋华, 等. 基于ArcGIS的高原林火蔓延三维可视化系统[J]. 西部林业科学, 2018,47(1):80-85,13
[10] 刘畅, 殷浩, 张叶廷, 等. 基于WebGL的三维管线轻量可视化方法[J]. 地理信息世界, 2018,25(4):14-19.
[11] 黄健, 王继. 多视角影像自动化实景三维建模的生产与应用[J]. 测绘通报, 2016(4):10-16. [12] 袁一, 程亮, 宗雯雯, 等. 互联网众源照片的三维重建定位技术[J]. 测绘学报, 2018,47(5):11-18.
