工程科学与技术   2021, Vol. 53 Issue (4): 158-167
岩体孔内摄像视频高精度快速成图方法研究
邹先坚1, 王川婴1, 宋欢2     
1. 中国科学院 武汉岩土力学研究所 岩土力学与工程国家重点实验室,湖北 武汉 430071;
2. 中国科学院 精密测量科学与技术创新研究院,湖北 武汉 430077
基金项目: 国家自然科学基金青年项目(42007266);湖北省自然科学基金面上类项目(2019CFB345)
摘要: 岩体结构形态特征对岩土地质工程的开挖建设具有重要的意义,数字钻孔摄像技术是快速有效地直接获取孔内岩体结构形态的一种重要手段。针对现有数字全景钻孔摄像系统及其分析软件在现场复杂环境凸显出来的问题,本文提出一种孔内全景视频环状图像快速拼接融合成图方法。该方法通过转化原始孔内视频图像为众多有序的帧窄带状图像,并进行图像特征检测与匹配筛选,从而实现孔内全景图像的快速拼接融合。结果表明:该方法可在不完全依靠指南针或电子罗盘及深度编码器的情况下,快速完成孔内全景视频图像的连续拼接融合;拼接图像的横向、纵向分辨率和图像清晰度均提高了一个数量级,实际工作时间可减半;该方法能够实现拼接出图过程的智能化和自动化分析处理,减轻工作人员的负担,提高工作效率。本方法可仅仅依靠孔内视频图像的固有特征而快速有效地形成无偏差的高质量钻孔全景图像,促进了孔内摄像技术的发展,为高精度岩体工程勘察提供了一种更便捷有效的技术手段。
关键词: 数字钻孔摄像    图像拼接    特征检测    数据融合    孔壁成像    
A High-precision and Fast Image Forming Method for Borehole Camera Video of Rock Mass
ZOU Xianjian1, WANG Chuanying1, SONG Huan2     
1. State Key Lab. of Geomechanics and Geotechnical Eng., Inst. of Rock and Soil Mechanics, Chinese Academy of Sciences, Wuhan 430071, China;
2. Innovation Academy for Precision Measurement Sci. and Technol., Chinese Academy of Sciences, Wuhan 430077, China
Abstract: The structural and morphological characterization of rock mass is of great significance to the excavation and construction of geotechnical and geological engineering. Digital panoramic borehole camera technology is an important means to obtain the structural morphology of rock mass quickly and effectively in the borehole. In view of the highlighted problems of the existing digital panoramic borehole camera system and its analysis software during the complex environment investigation, a method of fast mosaic and fusion of circular image from original borehole panoramic video was proposed. In this method, the borehole video image is transformed into several ordered narrowband images, and the image features are detected, matched, and filtered, so as to realize the rapid mosaic and fusion of panoramic borehole images. Results show that this method can quickly complete the continuous mosaic and fusion of panoramic video images without the help of a compass or electronic compass and depth encoder. The horizontal resolution, vertical resolution, and the image clarity of the mosaic image are raised by one magnitude. The actual working time can be halved. The process of forming the mosaic image can be intelligent processing and automated analysis. It can reduce the burden of researchers and improve work efficiency. This method can quickly and effectively form a high-quality borehole panoramic image without deviation based on the borehole video image’s inherent characteristics, which promotes the development of borehole camera technology and provides a more convenient and effective technical means for high-precision rock mass engineering investigation.
Key words: digital borehole camera    image mosaic    feature detection    data fusion    hole-wall imaging    

在岩土工程、地质工程、水电工程、石油勘测和地质灾害防治工程等方面,常常需要了解深埋岩体结构形态特征及其稳定性信息[1-3],而岩体中存在的诸如节理、断层、软岩、破碎带等结构,是构成岩体结构形态的重要组成部分,也是决定深埋地下工程稳定性的重要因素[4]。数字全景钻孔摄像系统通过孔内摄像技术可以获得钻孔内部岩体结构形态的高精度全景视频图像,且这些全景视频图像精确地记录了孔内岩体结构形态的特征[5-7]。在工程实践当中,如何快速有效地获取孔内孔壁岩体结构真实的全景视频图像,并准确地展现孔内岩体结构形态的原位信息,这对于工程地质勘探与项目设计施工等具有重要的实际工程意义,也是进行深部地下工程建设的重要研究内容。

在现有的工程应用设备中,对于孔内全景钻孔图像的分析处理基本上还为传统意义上的扫描线或类扫描线堆积拼接的方法[8],即:完全依靠或间接参考电子罗盘或指南针的方位角和编码器的深度信息来不断生成每一帧视频图像的单条或多条扫描线;然后,把每一帧图像所生成的扫描线依次堆积起来形成对应的钻孔图像,或进行简单有序的多条扫描线(矩形视窗带状图像)对比累加来实现孔内全景图像的生成。在综合考虑海上钻探、深埋隧道和煤矿钻井等复杂现场勘察环境下,这种方法主要存在如下问题:1)传统的单条或多条扫描线方法本身携带的数据量有限,现场实际勘察过程中很难保证孔内摄像探头以非常慢的速度匀速进行,从而导致录制的视频图像时快时慢,并伴随着无规则的旋转和往返抖动的现象。因此,扫描线方法无法做到在放线过快时记录更多的图像行数数据,在放线过慢时删除部分冗余图像行数数据,进而导致最终得到的钻孔图像严重变形,时伸时缩,图像质量较差,必须进行后续的图像修正。2)扫描线堆积成图的方式、钻孔图像质量的好坏需要完全依靠指南针/电子罗盘和编码器的数据准确与否。然而,实际情况下,指南针/电子罗盘和编码器都存在一定的物理惰性,并且不可避免地偶然出错,特别是孔内摄像探头在线缆的带动下进行张力扭力的旋转、拉伸和人为因素的偶然抖动时,指南针/电子罗盘和编码器本身无法进行自我修正并找到正确的位置和方向,从而导致扫描线方法出错或成图质量差。3)目前扫描线方法现有的实现软件,无法做到自适应和智能化处理,并且后续深度修正和方位矫正等数据修正工作严重依赖于人工手动处理和实践经验值。这对于多个孔或超深孔的视频图像数据处理而言,需要数天甚至数周进行专门的数据处理,耗时费力,迫切需要进行孔内视频图像的智能化和自动化分析处理[9-11]

因此,针对以上问题,本文开展了一种孔内视频图像快速拼接融合成图方法,旨在解决孔内全景视频图像的智能化检测匹配和图像数据的自动化拼接融合,解决完全依赖于指南针或电子罗盘的方式,并实现孔内全景视频图像的智能化拼接融合和实时快速出图,提高实际工作效率,为一线科研工作人员减负。研究工作将为实际钻孔勘察过程和孔内视频图像处理方法提供极大的便利,有望改善深部岩体结构孔内摄像勘察的实时性和高效性。

1 孔内全景摄像技术 1.1 钻孔摄像系统简介

数字全景钻孔摄像系统是一套全新的先进智能型勘探设备,集电子技术、视频技术、数字技术和计算机技术于一身,从全景角度对孔内孔壁进行无扰动的原位摄像记录并加以分析。通过直接对孔壁进行摄像,避免了钻孔取芯的扰动影响,能够准确地探明钻孔孔壁结构形态,详细地反映出孔内岩土体的原位状态。该系统可同时观测到360°的孔壁情况,具有实时监视的能力,能够对整个钻孔资料进行现场显示和分析保存[12]

该系统主要由全景摄像探头、控制箱和深度编码器及其线缆等部件组成,如图1所示。其中:全景摄像探头是该系统的关键设备,其内部包含有可获得全景图像的截头锥面镜、提供探测照明的光源、用于定位的磁性罗盘及微型CCD摄像头等部件[13]。整个探头采用了高压密封技术,可以在深水中进行探测。深度编码器是该系统的定位设备之一,由测量轮、光电转角编码器、深度信号采集板及接口板组成。该系统的软件部分主要包括数据采集软件部分和数据分析软件部分。系统软件能够对录制完成的钻孔视频进行图像数字化,并对全景钻孔图像进行分析和结构面的识别和解译,完成对钻孔图像数据的存储和维护,为实践工程提供可靠的钻孔图像和岩体结构数据。

图1 系统组成及其全景摄像探头 Fig. 1 System and its panoramic camera probe

1.2 现场孔内视频图像特征

数字全景钻孔摄像系统可以实时地获取孔内岩体结构形态的真实图像,但所得全景钻孔图像如何更加快速有效反映孔内岩体结构形态特征是一个重要的研究课题[14-16]。因此,全景摄像探头内摄像头拍摄的原始视频图像是孔内全景钻孔图像数据分析的关键,直接读取摄像头内的原始视频图像并快速地转化分析为高质量的孔内全景图像是研究的重难点内容。

由于全景钻孔图像是孔内孔壁岩体结构的间接反映,是岩体结构受到光照之后反射到全景摄像探头锥面镜上的成像结果,故孔壁岩体结构决定了钻孔图像色彩深度的组成[17]图2为某煤矿工程中孔内全景视频图像中的一帧图像。由于裂隙、断裂面、孔洞、破碎带等区域的反光性差异,从而在钻孔图像表现为或明亮或暗淡的颜色。

图2 实测钻孔中孔内视频图像 Fig. 2 Image from a borehole camera video obtained by the borehole panoramic camera system

全景摄像探头获得的视频图像在转换为真实可用的孔内全景图像的过程中,主要表现出如下特征和技术问题:1)孔壁岩体结构的成像特征是由近至远的圆环形状,如图2所示;2)全景摄像探头向下放线的过程中,孔壁结构由近至远依次连续成像,视频中的图像存在圆环变形与交错重叠部分;3)受钻孔倾斜、线缆缠绕或探头自重的影响,全景摄像探头会发生不可避免的旋转和抖动等偶然事件,从而导致孔内视频图像数据发生旋转和变形。由于摄像头记录的视频图像本身具有绝对的连续性和固有图像特征,因此,如何通过该连续性和固有特征来更加准确记录或修正钻孔图像中岩体结构的方位和深度信息,并利用原始孔内视频图像进行全景图像的拼接融合是一个非常关键的科学问题,也是提高钻孔图像质量和进行勘察资料后续分析的基础。

2 孔内视频快速出图方法

针对现场获取的孔内视频图像特征和现有设备存在的问题,提出一种孔内全景视频环状图像快速拼接融合成图方法。在已经获取孔内全景视频录像的前提下,阐述具体步骤,并以川藏铁路等勘察工程中的钻孔视频图像数据为例进行说明。

2.1 方法原理

数字全景摄像系统采用截头的锥面反射镜,利用特定的光学变换实现了将 360°钻孔孔壁图像反射成平面图像。经过这种光学变换,形成环状的全景图像[17]。该原始图像不便于直接观测,缺乏直观性,需要进一步转化修正。

本文提出的孔内视频快速出图方法主要是依据畸变矫正和图像拼接过程中涉及的理论和技术[18],利用张正友棋盘标定、非均匀插值、SIFT 特征点提取、基于k–d树的BBF(best bin first)算法、RANSAC(random sample consensus)算法、加权平滑等技术,克服了现有扫描线图像质量较低、成图速度慢和过程漫长而繁杂的缺点[19]。该方法主要技术步骤如图3所示。首先,利用数字全景钻孔摄像系统获取原始的孔内视频图像,解析视频并获得每帧的窄带状图像;然后,进行图像特征匹配与特征检测,并根据实际的方位角数据和深度数据进一步确定或修正每帧图像的实际宽度偏移和实际高度偏移,继而确定最终获得每帧窄带状图像的像素偏移量;最后,对窄带状图像进行融合拼接,形成工程所需的孔内全景钻孔图像。

图3 孔内视频快速出图方法的流程图 Fig. 3 Flow chart of the fast forming image method for borehole camera video

2.2 主要步骤描述

步骤1)窄带状图像采集。

针对获取的孔内全景视频,首先,利用霍夫圆检测方法(比如OpenCV中的HoughCircles( )函数)自动识别钻孔图像的中心和钻孔孔壁的成像最大、最小半径,自动识别视频图像中指南针或电子罗盘的方位角数据信息Azimuth和深度编码器的实时深度信息Depth;接着,根据实际情况自动调整钻孔图像中心O(xy)和孔壁成像环的内外半径RminRmax,如图4所示。图4中的孔内全景视频为200万高清钻孔摄像设备所录制,为中科院岩土所最新研制的产品。

图4 窄带状图像形成过程示意图 Fig. 4 Schematic diagram of the narrow band image acquisition process

针对内外半径RminRmax范围内的环状图像,为了保证即将生成的窄带状图像尽量最大有效,设置钻孔孔壁环状图像的有效范围为H=RmaxRmin,也就是即将生成的窄带状图像的高度;设置孔壁环状图像中间位置圆环所对应的像素数为W=π(Rmax+Rmin),并作为环状图像中每一环的采用点数,也就是即将生成的窄带状图像的宽度。

据此,在录像的孔内全景视频中的每一帧孔壁环状图像内,以钻孔图像中心O(xy)为圆心,从半径Rmin处每一帧方位角Azimuth处开始,每一圆环采集W个像素点,直到半径Rmax处,从而形成宽度为W、高度为H的窄带状图像,并保存该窄带状图像和对应的方位角数据数值Azimuth和深度数值Depth。从孔内全景录像视频中的第一帧视频图像开始,每一帧视频图像形成一张宽度为W、高度为H的窄带状图像,直到孔内视频图像采集结束,如图5所示。

图5 其中形成的一张窄带状图像 Fig. 5 One of the obtained narrowband image

步骤2)特征检测与匹配数据生成。

钻孔孔壁图像本身具有如下特征:每一帧视频图像形成的窄带状图像比较窄;孔壁岩石大部分区域特征基本相同;大部分区域基本上无特别的角点拐点,并且存在一定的变形;图像噪声非常严重;孔内孔壁水流、沙石、泥浆等杂物形成的干扰信号比较强烈。因此,窄带状孔壁图像的特征检测与匹配的干扰性较大,可靠性也一般。为了去掉这些背景噪声,依次采用相邻两帧窄带状图像的差值图像来进行图像特征检测和匹配。另外,针对形成的窄带状孔壁图像,为了兼顾图像特征检测与特征匹配的准确性和时效性,本文主要采用了SURF(speeded up robust feature)算法检测匹配窄带状图像中的特征点[16]。相邻两帧窄带状图像差值图像的SURF特征检测结果如图6(a)所示。

图6 相邻两帧窄带状图像的特征检测与匹配 Fig. 6 Feature detection and matching of two adjacent narrow band images in the borehole camera video

图像特征检测的基本原理是根据视觉图像特征尺度不变性特征进行的。该尺度不变特征的理念是:不仅在任何尺度下拍摄的物体都能检测到一致的关键点,而且每个被检测的特征点都对应一个尺度因子。对于两幅图像中不同尺度的同一个物体点,计算得到的两个尺度因子之间的比率应该等于图像尺度的比率。因此,采用加速稳健特征SURF检测方法检测窄带状图像上的特征点,并建立每一个特征点与下一帧窄带状图像的匹配对应关系,如图6(b)所示。

图6(b)中的特征点匹配效果来看,部分匹配效果存在偏差,因此,需要进一步筛选匹配点以获取优秀的匹配点。为此,本文采用了Lowe’s算法进一步获取优秀匹配点,特征匹配筛选之后的结果如图6(c)所示。

根据以上图像特征检测和匹配筛选的原则,从每一组相邻帧图像中筛选出一组最优的匹配点作为上下相邻两帧窄带状图像的唯一最佳匹配点,并记录下这一对最佳匹配点的坐标Mi(xiyi)和Mi+1(xi+1yi+1)。其中,Mi(xiyi)位于第i帧窄带状图像上,Mi+1(xi+1yi+1)位于第i+1帧窄带状图像上。因此,将这对匹配点坐标进行相减,就可以得到下一帧图像相对于上一帧图像的偏移量Di+1x,Δy)。其中:Δx=xi+1xi,意味着下一帧窄带状图像相对于上一帧图像向右偏移了Δxi个像素坐标位置;Δy=yi+1yi意味着下一帧窄带状图像相对于上一帧图像向下行走了Δyi个像素坐标位置。将帧序号i、向左偏移量Δxi个像素距离和下行走量Δyi个像素距离依次在特点文件mData_N.txt中保存。据此,针对每一对相邻帧的窄带状图像进行如上操作,依次得到每一帧窄带状图像相对于上一帧窄带状图像的偏移量数组(帧序号i、横向向左偏移量Δxi个像素距离和纵向向下行走量Δyi个像素距离)和对应匹配数据文件mData_N.txt。

步骤3)窄带状图像快速拼接融合。

根据步骤2)得到的mData_N.txt数据文件,针对步骤1)形成的窄带状孔壁图像,首先,从序号i=1张窄带状图像开始,取i+1之后每一张窄带状图像中间行的前后Δyi+1/2行形成图像Ii+1,即从第i+1张图像的第(y/2–Δyi+1/2)行开始到第(y/2+Δyi+1/2)行结束形成图像Ii+1;然后,图像Ii+1的横向坐标像素全部向右偏移Δxi+1个(Δxi+1小于0表示向左循环偏移,反之为向右循环偏移),并形成横向偏移Δxi+1个像素坐标后图像 $I'_{i+1} $ ;最后,把图像 $I'_{i+1} $ 连接在第1张图像的末尾。以此类推,把I1I2I3,···,IiIi+1,···连接在第1张窄带状图像的末尾,继而完成所有的窄带状图像的拼接,最后形成整个初始拼接图像,如图7(a)所示。

图7 图像拼接初始图像 Fig. 7 Original mosaic image

从放大图像图7(b)中可以看出,两图交界处的拼接并不自然。这是因为光照色泽的差异使得两图交界处的过渡偶然出现偏差,故需数据融合方法来解决这种不自然。这里采用加权融合方法,使在重叠部分由前一幅图像慢慢过渡到第2幅图像,即将图像重叠区域的像素值按一定的权值相加合成新的图像。具体操作步骤如下:在形成图像Ii+1之前,首先,根据向右偏移值Δxi+1调整第i+1张窄带状图像Mi+1,并形成窄带状图像 $M'_{i+1} $ ;然后,把第M张图像和新形成的 $M'_{i+1} $ 图像融合成一张yyi+1行图像,即第M张图像下面部分和第Mi+1张图像上部分的交汇区域进行加权融合,使前一幅图像慢慢过渡到第2幅图像,将图像的重叠区域的像素值按一定的权值相加合成新的图像Ji+1。该图像Ji+1对正常的窄带状图像多出Δyi+1行,则把多出的Δyi+1行图像裁剪形成图像Ii+1,随后连接到上张拼接图像的尾部即可,最后形成效果更好地完整拼接图像,如图8(a)所示,拼接融合后图像局分区域放大后如图8(b)所示。

图8 图像融合后的图像 Fig. 8 Image after image fusion

在这个过程中,由于钻孔较深,视频图像数据很长很大。为了防止生成的图像过长而无法保存和不便查看,本方法以固定长度L(一般L=2 m)保存每张形成的图像。即:以实际深度Depth数据为准,以L=2 m一段为准,依次保存该部分拼接形成的图像,最终形成N张拼接图像。

步骤4)拼接图像优化和信息标注。

针对步骤3)形成的N张拼接图像,利用图像增强方法进行每张拼接图像的灰度拉伸与细节增强。图像灰度拉伸的目的是为了防止图像过暗或过亮,并针对整个图像进行统一的灰度均衡化处理(图像直方图均衡化),使整张图像像素过渡平缓。然后,通过图像增强方法进行图像细节增强,以凸显出图像中岩体结构面等信息。

为了方便钻孔图像的查看和保存,本文采用一定的长宽比尺寸来对拼接图像进行像素转化,使图像更加方便观看、理解且符合审美观。比如:可以采用接近黄金比例尺的长宽比尺寸0.618进行横纵比像素的缩放。另外,根据每张拼接图像中保留的方位角数据信息Azimuth和深度数据信息Depth,对优化的拼接图像进行深度刻度标注和图像方位东南西北(N、E、S、W、N)的标识,并生成孔内全景展开图。与此同时,根据东南西北方位角信息,分别以正东、正南、正西、正北4个方向生成钻孔岩心图,也就是3维柱状图。以图78中的视频图像数据为例,进行信息标注,柱状图生成之后的孔内全景和3维柱状图如图9所示。

图9 最终形成的钻孔图像资料 Fig. 9 Last forming borehole images

3 结果与讨论

以获得的高清钻孔摄像视频为例,应用本文所述方法进行孔内视频图像处理。该视频总帧数为44 980帧,时长30 min,记录的钻孔数据来源于正在建设中的川藏铁路某地质工程勘察。采用本文所述方法实现了该视频图像的快速匹配融合出图。该地质勘察工程报告中的一组图像如图10所示。

图10 川藏铁路某地质工程勘察中得到的部分钻孔图像实例图 Fig. 10 Obtained borehole images from an actual engineering in Sichuan—Tibetan Railway

实测结果显示本文所属方法能快速有效地实现大量高清视频图像数据的拼接融合出图,并全自动地生成一系列高清高质量的钻孔图像数据。该方法简化了孔内视频图像的处理过程,为实际钻孔勘察过程提供了极大便利,极大地改善了深部岩体结构孔内摄像勘察的实时性和高效性。然而,在实际应用过程中,需要对如下问题进行深入研究和分析讨论。

3.1 特征匹配点筛选方法

为了排除由于光线遮挡和背景混乱而产生的无匹配关系的图像特征点,本文采用比较最近邻距离与次近邻距离的筛选方式来进行。取一幅图像中的一个特征点,并找出其与另一幅图像中欧式距离最近的前两个特征点。在这两个特征点中,如果最近的距离除以次近的距离得到的比率ratio少于某个阈值T,则可以接受这一对匹配点。因为对于错误匹配,由于特征空间的高维性,相似的距离可能有大量其他的错误匹配,从而其ratio值比较高。显然,降低这个比例阈值T,特征匹配点数目会减少,但更加稳定。经过实践,通过对相邻两帧窄带状图像进行大量匹配的结果表明:ratio小于0. 5时,匹配点较少;ratio大于0.7时,错误匹配点较多。因此,ratio取值0.6,以满足实践工程需求。

然而,实际中仍然会筛选出0组或者多组特征匹配点,甚至是错误的匹配点。0组和错误的匹配点会导致连续进行图像拼接过程的错误和中断;多组特征匹配点会额外再增加程序的计算量,从而影响图像快速拼接融合的时效性。因此,有必要考虑该方法在任何复杂情况下特征匹配点的唯一性问题,从而保证该方法始终快速有效地进行下一帧图像的拼接融合,以及图像数据的正确有效性。考虑获得的窄带状图像的特殊性和专用性,在以上筛选出的单个或者多个最优特征匹配点后,进一步采用图像处理中最小最优的汉明距离进行唯一特征匹配点的筛选;并通过实际指南针数据和深度数据计算校对每一组特征匹配点,进而保证每相邻两帧图像有且仅存在一组最优的特征匹配点。其中一组的钻孔图像处理效果如图11所示。

图11 修正特性匹配方法后形成的钻孔图像 Fig. 11 Forming borehole images after using the revised feature matching method

3.2 累计误差消除方法

在进行窄带状图像的特征检测与匹配的过程中,很难保证每次的匹配到的唯一特征匹配点是准确无偏差的。虽然每次的误差很小(一个像素以内),但是在进行几万帧图像的连续匹配后,积累出来的误差就会很大,而且这种局部误差累计起来后的整体趋势,与全景摄像探头的旋转趋势有一定的关系,因此,有必要对累计进行修正。首先,采用高斯双曲线滤波的方法对步骤2)中得到特征匹配数据进行双曲线高斯滤波,进而消除局部随机小误差;然后,依次累计每次匹配到的偏移量,并对下一帧窄带状图像进行同样的偏移后,再进行特征检测与匹配;最后,分别统计分析孔内视频图像中方位数据和匹配到偏移量的变化趋势,相互对比校正数据。在一定范围的局部内,图像特征检测与匹配得到的偏移量数据的可靠性大于指南针或电子罗盘得到的方位数值。

因此,本文采用的修正准则是:当每次偏移量的差值小于1/4的像素宽度W/4时,采用当前偏移量的数值;否则,采用指南针或电子罗盘得到的方位数值,并以该方位值和偏移量值的中值为基准,重新开始互相修正。据此,针对同一个钻孔视频中的同一段区域,分别采用本方法和原扫描线方法得到的拼接图像与原始扫描线图像的对比结果如图12所示。

图12 累计误差修正前后的图像对比结果 Fig. 12 Comparison results of the mosaic image after cumulative error correction and the original scan line image

3.3 拼接图像精度分析

图12中对应的原始视频为例,取图12(a)(b)中同一位置放大10倍之后即可得到对比效果图13图13(a)(b)(c)分别为图12中同一个崩落石块、同一个孔洞、同一个岩石裂纹放大图的比对。由图13可知,图像匹配融合方法所得的钻孔图像在清晰度和准确性上远高于原始的扫描线出图方法。

注:每组图片左侧为累计误差修正后的图像,右侧为原始扫描线图  像,与图12对应。 图13 局部放大后图像分辨率的对比 Fig. 13 Comparison of the image resolution after the partial enlargement

另外,由文献资料可知,数字全景摄像系统所得到的标清图像的横向精度是1 024 pixels,即1 024 px,纵向深度方向的设计精度是1 mm。然而,由于现场实测情况的复杂性和线缆放线速度的不稳定性,导致原软件系统产生的标清图像纵向精度无法达到1 mm。实际横向和纵向分辨率与具体实测孔径大小、编码器的深度修正和指南针或电子罗盘的方位修正数据有很大的关系。然而,由于拼接图像不需要完全依靠指南针/电子罗盘和编码器,甚至可以完全抛开深度和方位信息自动完成孔内全景图像的连续拼接融合。通过依靠孔内孔壁图像的物理特征来实现孔内全景图像的连续拼接融合,有效地避开了纵多人为因素的干扰,保证物理图像本身的可靠性和有效性[18-20]

由于原孔内视频图像是由摄像机得到的,孔内视频图像的精度就是摄像机的精度;本文所得的拼接图像来源于孔内摄像机所得视频图像的裁剪转化和拼接融合,理论上他们的图像分辨率应该是一致的,都应该接近于摄像机的图像分辨率和精度[21-24]。因此,本文所得到的拼接融合图像的精度也应该接近摄像机的精度,即远远大于系统设定的1 mm精度。实际上为了迫使横向精度与拼接数据的纵向偏移量在实际尺寸一致,不得不扩展拼接图像的横向像素点到5 000 pixels以上,即5 000 px。这同时进一步说明了拼接融合图像的至少在0.2 mm以上,如图13表1所示。

表1 原扫描线图像和拼接融合图像的对比分析结果 Tab. 1 Analysis results of the original scan line image and the mosaic fusion image

图13表1可知:针对同一视频文件所得的拼接融合图像比传统的扫描线图像的分辨率提高了很多;同一位置放大10倍之后,拼接融合图像中的孔壁岩体结构纹理依然清晰,而扫描线图像开始变得模糊不清了。因此,拼接融合图像在清晰度和准确性上远远高于传统扫描线方法,进一步促进了该系统设备及其软件分析方法的升级换代。

3.4 实际工作效率分析

为了说明本文所述方法在实践工程应用中的实际效果,对同一个30 min的孔内摄像视频,分别采用传统的扫描线方法与本文所述的拼接融合方法进行分析,并得出孔内全景图像。采用传统的扫描线方法完成整个孔内全景图像的分析,最终总耗时约87 min,其中,程序运行等待时间大约38 min。在手动进行编码器深度修正和电子罗盘或指南针方位角修正的过程中,操作复杂且繁琐。然而,采用本文所述拼接融合方法总耗时约16 min,几乎无需人为干预即可快速产生高质量的孔内全景图像,只需要安静等待大约14 min的运行时间。具体数据信息如表2所示。

表2 实际工作效率对比分析 Tab. 2 Comparative analysis of actual work efficiency

表2可知,本文所述的拼接融合方法的实际操作步骤已经可以实现自动化处理,运行时间大大缩短。本文所述的图像拼接融合方法不完全依靠辅助的物理罗盘指南针或电子罗盘及深度编码器,并且操作简单易行,能够实现拼接出图过程的智能化和自动化分析处理,极大地提高了工作效率,减轻工作人员的负担。

4 结 论

针对现有数字全景摄像系统及其分析软件在现场复杂环境中突显出来的孔内全景视频图像处理问题,本文提出一种环状图像快速拼接融合成图方法。该方法通过转化原始孔内视频图像为众多连续帧的窄带状图像,并进行图像特征检测与特征匹配筛选,从而实现孔内全景图像的快速拼接融合成图,可得出如下结论:

1)所述方法不再完全依靠指南针或电子罗盘及深度编码器的数据完成孔内全景视频图像的连续拼接融合。采用现有孔内电子罗盘和编码器等,只是为了进一步保证拼接图像数据的可靠性。若进一步改善本文所述方法,有望在只需标定拼接数据的起止位置或特定点位置对应的实际值后,即可实现全孔视频图像的全自动拼接融合成图,从而摆脱对孔内指南针、电子罗盘和深度编码器等的依懒。

2)通过依靠孔壁岩体结构成像本身的固有特征来实现孔内全景视频图像的拼接融合,可以避免因为严重依赖深度编码器和指南针或电子罗盘的数值而产生伸缩变形的钻孔图像。本方法根据孔壁图像的固定特征进行孔内方位数据和深度数据的自动匹配矫正,从而快速有效地生成无偏差的高质量孔内全景图像。

3)本方法最终形成的拼接融合图像的质量远高于传统的扫描线方法,拼接融合图像的分辨率和清晰度都得到了一个数量级的提高。

4)图像拼接融合方法实际操作步骤简单易行,能够实现钻孔图像处理过程的智能化和自动化,并使运行时间减半,从而减轻工作人员的负担,提高工作效率。

参考文献
[1]
Zhao Lei,Ge Wanfeng,Mao Yuzhu,et al. Deepfake video detection model based on consistency of spatial–temporal features[J]. Advanced Engineering Sciences, 2020, 52(4): 243-250. [赵磊,葛万峰,毛钰竹,等. 基于时空特征一致性的Deepfake视频检测模型[J]. 工程科学与技术, 2020, 52(4): 243-250.]
[2]
Li S,Feng X T,Li Z,et al. In situ monitoring of rockburst nucleation and evolution in the deeply buried tunnels of Jinping Ⅱ hydropower station[J]. Engineering Geology, 2012, 137/138: 85-96. DOI:10.1016/j.enggeo.2012.03.010
[3]
Zou Xianjian,Wang Chuanying,Han Zengqiang,et al. Measurement of geostress direction based on borehole stereopair imaging technique[J]. Advanced Engineering Sciences, 2018, 50(1): 71-78. [邹先坚,王川婴,韩增强,等. 基于孔内立体像对成像的地应力方向测量方法研究[J]. 工程科学与技术, 2018, 50(1): 71-78.]
[4]
Schepers R,Rafat G,Gelbke C,et al. Application of borehole logging,core imaging and tomography to geotechnical exploration[J]. International Journal of Rock Mechanics and Mining Sciences, 2001, 38(6): 867-876. DOI:10.1016/S1365-1609(01)00052-1
[5]
Młynarczuk M,Habrat M,Skoczylas N. The application of the automatic search for visually similar geological layers in a borehole in introscopic camera recordings[J]. Measurement, 2016, 85: 142-151. DOI:10.1016/j.measurement.2016.02.043
[6]
Zou Xianjian,Wang Yiteng,Wang Chuanying. Three-dimensional morphological feature of rock structural surfaces and dominant anti-slip direction using the borehole images[J]. Rock and Soil Mechanics, 2020, 41(Supp1): 290-298. [邹先坚,王益腾,王川婴. 钻孔图像中岩石结构面三维形貌特征及优势抗滑方向研究[J]. 岩土力学, 2020, 41(增刊1): 290-298.]
[7]
Guo Liqian,Liao Junbi,Zhong Fangping,et al. Automated detection of rock discontinuity trace based on digital image processing and SVM[J]. Journal of Sichuan University (Engineering Science Edition), 2012, 44(6): 203-210. [郭立钱,廖俊必,钟方平,等. 基于数字图像处理和SVM的岩体裂隙迹线自动检测[J]. 四川大学学报(工程科学版), 2012, 44(6): 203-210.]
[8]
Zou Xianjian,Wang Chuanying,Han Zengqiang,et al. Fully automatic identifying the structural planes with panoramic images of boreholes[J]. Chinese Journal of Rock Mechanics and Engineering, 2017, 36(8): 1910-1920. [邹先坚,王川婴,韩增强,等. 全景钻孔图像中结构面全自动识别方法研究[J]. 岩石力学与工程学报, 2017, 36(8): 1910-1920.]
[9]
Zhang Bingwen,Cao Maoyong,Zhang Wei,et al. Panoramic image mosaic by multiple side-view cameras in the borehole[J]. Journal of Guangxi University(Natural Science Edition), 2017, 42(3): 1092-1098. [张炳文,曹茂永,张维,等. 多摄像头侧视钻孔全景图像拼接[J]. 广西大学学报(自然科学版), 2017, 42(3): 1092-1098.]
[10]
Shum H Y,Szeliski R. Construction of panoramic image mosaics with global and local alignment[J]. International Journal of Computer Vision, 2002, 48(2): 151-152. DOI:10.1023/A:1016051024520
[11]
Yang Dandan,Wang Weixing,Liao Yipeng. Rock particle image segmentation on multi-scale and normalized cut[J]. Journal of Sichuan University(Engineering Science Edition), 2015, 47(Supp1): 118-124. [杨丹丹,王卫星,廖一鹏. 基于多尺度分析及图论归一化割的矿岩颗粒图像分割及应用[J]. 四川大学学报(工程科学版), 2015, 47(增刊1): 118-124.]
[12]
Zou Xianjian,Wang Chuanying,Han Zengqiang,et al. Borehole image characteristic analysis and structural planes partitioning method[J]. Journal of Tianjin University(Science and Technology), 2018, 51(1): 88-94. [邹先坚,王川婴,韩增强,等. 钻孔图像特征分析与结构面区域划分方法[J]. 天津大学学报(自然科学与工程技术版), 2018, 51(1): 88-94.]
[13]
Kanaori Y. The observation of crack development around an underground rock chamber by borehole television system[J]. Rock Mechanics and Rock Engineering, 1983, 16(2): 133-142. DOI:10.1007/BF01032795
[14]
Assous S,Elkington P,Clark S,et al. Automated detection of planar geologic features in borehole images[J]. Geophysics, 2014, 79(1): D11-D19. DOI:10.1190/geo2013-0189.1
[15]
Wang C,Zou X,Han Z,et al. An automatic recognition and parameter extraction method for structural planes in borehole image[J]. Journal of Applied Geophysics, 2016, 135: 135-143. DOI:10.1016/j.jappgeo.2016.10.005
[16]
Wang C,Wang Y,Han Z,et al. A system for measuring borehole diametric deformation based on mechanical contact and micro-optical imaging[J]. Measurement, 2018, 130: 191-197. DOI:10.1016/j.measurement.2018.07.088
[17]
Djurhuus J,Aadnøy B S. In situ stress state from inversion of fracturing data from oil wells and borehole image logs[J]. Journal of Petroleum Science and Engineering, 2003, 38(3/4): 121-130.
[18]
Williams J H,Johnson C D. Acoustic and optical borehole-wall imaging for fractured-rock aquifer studies[J]. Journal of Applied Geophysics, 2004, 55(1/2): 151-159.
[19]
Chatterjee R,Gupta S D,Mandal P P. Fracture and stress orientation from borehole image logs:A case study from Cambay basin,India[J]. Journal of the Geological Society of India, 2017, 89(5): 573-580. DOI:10.1007/s12594-017-0646-3
[20]
Wang C,Zou X,Han Z,et al. The automatic interpretation of structural plane parameters in borehole camera images from drilling engineering[J]. Journal of Petroleum Science and Engineering, 2017, 154: 417-424. DOI:10.1016/j.petrol.2017.03.038
[21]
Wang Chengliang,Yang Peng,Cai Yaoze,et al. Image mosaic techniques in catching panorama image of hole wall[J]. Journal of Computer Applications, 2010, 30(2): 344-347. [王成良,杨鹏,蔡耀泽,等. 孔壁全景图获取中的图像拼接技术研究[J]. 计算机应用, 2010, 30(2): 344-347. DOI:10.3724/SP.J.1087.2010.00344]
[22]
Wang Qian,Ning Jifeng,Cao Yuxiang,et al. Matching technologies of UAV remote sensing image based on SIFT[J]. Journal of Jilin University(Information Science Edition), 2017, 35(2): 188-197. [王茜,宁纪锋,曹宇翔,等. 基于SIFT算法的无人机遥感图像拼接技术[J]. 吉林大学学报(信息科学版), 2017, 35(2): 188-197. DOI:10.3969/j.issn.1671-5896.2017.02.013]
[23]
Carsey F,Behar A,Lane A L,et al. A borehole camera system for imaging the deep interior of ice sheets[J]. Journal of Glaciology, 2002, 48(163): 622-628. DOI:10.3189/172756502781831124
[24]
Hui F,Cheng X,Liu Y,et al. An improved Landsat Image Mosaic of Antarctica[J]. Science China Earth Sciences, 2013, 56(1): 1-12. DOI:10.1007/s11430-012-4481-5