复杂仪器仪表盘面背景中目标字符的提取与识别

复杂仪器仪表盘面背景中目标字符的提取与识别于旭V黄时Ilf（1.沈阳职业技术学院计算机分院；2.中国科学院沈阳自动化所，辽宁沈阳110000）综合了多种图像处理和分割方法，取长补短，综合优化，排除了复杂图像背景中的各种干扰因素，对图像变化有一定的自适应能力。该方案在给定的图像样本中取得了很好的识别效果，达到了实用化的水平。仪器仪表盘面的图像处理与识别是非电子设备与现代电子设备的接合点之一，因而这一具有指导意义的技术方案有广阔的应用背景。

1背景仪器仪表盘面的图像处理与识别是非电子设备与现代电子设备的接合点，这一技术有着广阔的应用背景。一方面，在某些应用场合中，由于非电子仪器仪表本身所固有的优势，它们仍将长期的存在而不会被电子仪器仪表所取代。而在信息技术己经逐渐应用到各个行业和领域的今天。要使它们在一个现代的自动化系统中与其它电子设备联合协作，发挥它们自身的作用。就需要解决它们与电子系统之间的通信问题。在不改动原有的非电子仪器仪表设备的情况下，通过摄像机获取图像后对目标进行提取和识别以获取需要的信息，这无疑是把非电子仪器仪表嵌入到电子自动化系统中的**的途径。另一方面，当前己经安装并正在运作许多系统上也安装着几乎无法计数的非电子仪器仪表，要对这些系统进行信息化、自动化改进也需要解决以上所述的问题。由此可见在各式各样的仪表图像中定位并识别出所需要的信息的问题具有极其广阔的应用背景。

仪器仪表盘面图像中给目标字符的提取和识别带来困难的有诸多因素，其中主要有：a）盘面上其他字符与目标字符共存给定位与字符的提取带来干扰。如何区分目标字符与干扰字符是一个必须解决的问题。

盘面上各种各样的点、线、图标可能造成的误识别。

周围环境光线的原因使盘面上出现的亮斑、暗斑给目标字符提取和识别带来的干扰。

各种可能出现的图像的几何变形等。

国内外的大量研究和实践证明，单纯的目标定位提取与识别方法都有很多的局限性。尤其是复杂图像背景中的目标提取与识别更需要在各种方法之间取长补短，综合优化。本文提出了一种综合运用各种图像处理和分割方法在复杂仪表背景中提取和识别字符的方案。实践证明这一方案保证了目标字符提取与识别的鲁棒性和准确性，并且有很好的实时性。

2总体方案借鉴人读取和识别复杂图像背景中的目标字符的思维过程。首先我们的注意力会集中到需要：于旭-1963~），男，辽宁沈阳人，讲师，从事图像处理与模式识别研究f去激0-1！

362辽宁大学学报自然科学版识别的字符所在的区域范围，我们称此为初步定位。接下来人眼对所有目标字符逐个扫描。扫描过程中，确定字符的精确位置，排除对字符的各种干扰，并*终识别字符。本文中我们分别以字符的定位分割、归一化和匹配识别来代替这一扫描过程。

初步定位正如人把注意力集中到目标区域。

通过初步定位可以缩小图像的处理范围。这样不仅可以提高识别的速度，更重要的是可以排除仪表盘面图像上非目标字符所带来的干扰。初步定位通过利用仪表盘面图像中的一些特征来完成，如目标字符通常都在某些几何框架中。

字符的分割与提取主要是要区分目标字符图块与干扰图像块。一般来说非字符图块都属于和背景有不同颜色灰度或者有不同大小的连通区域。目标字符提取中可以根据这些不同的图像特征对目标字符图块和非目标图块加以区分。本文中根据样本图像的特点，选择根据连通区域面积的大小这一特征来判定是否字符图像块的。

归一化是识别之前的必要步骤。由于在不同的图样中目标字符大小各异，归一化就成了模版匹配识别的基础。就是在同一幅图像中，由于拉伸、倾斜等几何变形的影响，或者各个字符本身大小的不一致。这些都要求在识别之前对字符图块进行归一化。

针对字符的特征提取和识别算法有许多种。

在本文中所采用的样本图像中的目标字符字体比较规范，且需要识别的字符数量很少，所以字符的识别算法我们采用快速简便的模板匹配法。

总体方案流程3方案实现3.1初步定位在样本图像的上方和下方都有非目标字符存除。样本图像中有助于目标字符的定位的比较明显的特征是目标字符的四周有一矩形边框的存在。尤其是目标字符的上下两边框形成了明显的两条平行直线。我们根据这一特点来完成初步定位。首先采用robert算子对图像进行边缘检测。边缘检测所得的图像由黑白二色构成，是检测平行直线预备步骤。平行直线的检测采用算法。

检测出两平行直线后，取两平行直线之间的图像部分作为后边运算处理的对象。

robert算子边缘检测结果3.2字符的分割与提取对初步定位后的目标字符所在部分图像进行自适应阈值处理，得到二值图像。从阈值处理的结果可以看出，字符所构成的黑色连通区域与非字符的黑色连通区域之间有比较显著的面积差异。由字符所构成的黑色连通区域的面积要明显大于非字符的黑色连通区域。因此我们根据连通区域的大小来差别是否字符。

在。这些非目标字符需要在初步定位阶段进行排publishingH眶阈值变化后图像http://www.cnki.net垂直映射效果图首先我们对阈值化后的图像进行垂直方向映射，以确定字符所构成的黑色连通区域的水平方向的位置。经过垂直映射之后，面积大的黑色连通区域仍然会在映射图像中形成大的黑色连通区域。由此可以通过映射图像中各个黑色连通区域的大小来判定它是否由字符连通区域所映射而成。从而进一步确定字符连通区域在水平方向的位置。但是，在垂直映射过程中个别字符连通区域的映射会与非字符黑色连通区域的映射重叠或连接在一起，这样就无法准确判定字符连通区域的水平位置。我们采用多次映射排除干扰的方法解决这一问题。

映射图像带干扰效果示意图不可识别判定示意图。

垂直映射之后取出图像中的各个字符图块，再对各个字符块进行水平方向的映射，确定各个于干扰黑色连通区域，缩小字符图块。

再次对各个字符图块进行垂直方向的映射。

去除属于干扰黑色连通区域准确的得到*终目标字符图形块的位置，进而提取出各个目标字符图块。

3.3归一化本文中，归一化把经过以上处理得到的字符图块缩放成与模板大小一致，以便进行模板匹配识别。

3.4本文的样本图像中所需识别的字符只有10个字符为印刷体，我们采用快速简便的模板匹配算法进行识别也取得了达到实用化的效果。但是对于有严重缺损的字符，应提取其他特征进行识别。

模式匹配的过程中采用自适应模式匹配策略。当相似度较小时，做出不能识别的判定。

3.5试验结果在作者试验室所拍摄的100幅随机图样中，DEMO程序的识别正确率达到了100%在CPU为Intel的PentiumHI-550，内存128M的PC机上运行DEMO程序，每幅图像的处理和识别时间和不超过0.1s.在现场工程实践中这一技术方案也获得了较好的效果。

4总结本文提出了一套针对复杂仪器仪表盘面图像背景的目标字符提取和识别的技术方案。该方案借鉴了拟人化识别的思路。首先缩小检测目标字符的区域范围，排除目标字符的干扰。再通过判定连通区域大小的方法来排除非字符连通区域的干扰，同时确定字符构成的连通区域之准确位置，*后采用经典的模式匹配方法，对目标字符图块进行归一化并识别。经过对大量样本的识别验证。这一方案能够很好的解决复杂仪器仪表盘面图像背景的目标字符提取和识别问题。并且，这一技术方案目前己在相关项目中达到实用化水平。该方案对相关领域的模式识别问题的解决具有一定的指导和借鉴作用。