车牌图像二值化方法的研究
I
摘要
随着我国经济的发展,高速公路、城市道路、安全管理停车场越来越多,对交通控制要求日益提高。智能交通系统已经成为当前交通管理发展的主要方向,汽车牌照自动识别技术是智能交通的一个重要环节。
二值化是车牌识别系统图像预处理的关键一步,汽车牌照在复杂的光照环境下,经常会出现车牌光照不均匀的现象,给图像二值化带来困难。为此,本文研究一种解决方法,使用整体阈值和局部阈值相结合的自适应阈值方法。该算法的主要步骤如下,首先使用滤波器去掉车牌图像不均匀光照的影响,然后用差分算子检测图像的灰度变化较为剧烈的地方,在这些像素上进行二值化阈值的自适应选择,其他像素则采取常规的方法决定二值化阈值,最后使用整体阈值和局部阈值相结合的自适应阈值方法进行二值化处理。实验表明,基于边界特征检测的算子的算法能很好的保留原图的边界特征,能有效克服不均匀光照的影响,二值化效果良好,车牌识别率得到显著提高。
关键词:二值化 整体阈值 局部阈值 自适应 边界特征
I
Study on license plate binarization method
ABSTRACT
With the development of our nation economy, there are more and more constructions in the expressway, city way and parking area, etc. The requisition on the traffic control, safety management improves day and day. The intelligent transportation system(ITS) has already become the main direction of present traffic administration , and License Plate Recongnition System as core of ITS, plays a very important role.
Binary is a key step of image preprocessing in License Plate Recognition system. It is a difficult task to binarize image under nonuniform illumination;and this problem is always met in license plate recognition system which must work under complex illumination.Thus, a new method of adaptive threshold selection is proposed which combines the local threshold and global threshold selection. The method as follow:first,we use filters to remove the nonuniform illumination of license plate image, then use difference operator detect the image intensity changes where are more severe, these pixel values on the threshold of the adaptive selection,Other pixels are taken to the conventional method to determine the threshold binarization. Finally, a new method of adaptive threshold selection is proposed which combines the local threshold and global threshold selection used for binarization. Our experiments show that the new algorithm keeps the original edge features well, this algorithm is robust in dealing with nonuniform illumination degraded license plates. With the proposed method, the recongnition rate of the system can be improve notedly.
Keywords: Binarizationg; lobal threshold; local threshold; adaptive; edge
detection
目录
II
第一章 绪论 .......................................................................................................... 1 1.1 课题研究的背景及意义 .............................................................................. 1 1.2 二值化算法的发展状况 .............................................................................. 2 1.3 本文的工作和内容安排 .............................................................................. 3 第二章 数字图像预处理 ...................................................................................... 4 2.1 灰度处理 ...................................................................................................... 4 2.2 车牌定位 ...................................................................................................... 5 2.3数学形态学运算 .......................................................................................... 8 2.4 车牌校正 ...................................................................................................... 9 2.5 倾斜校正 .................................................................................................... 13 2.6 本章小结 .................................................................................................... 14 第三章 图像二值化 ............................................................................................ 15 3.1 引言 ............................................................................................................ 15 3.2 二值化的方法 ............................................................................................ 15 3.3 全局阈值法 ................................................................................................ 16 3.4 局部阈值法 ................................................................................................ 18 3.5 基于边界特征的二值化算法 .................................................................... 19 3.6去除边框 .................................................................................................... 24 3.7 实验结果 .................................................................................................... 25 3.8 本章小结 .................................................................................................... 27 第四章 总结与展望 ............................................................................................ 28 4.1 总结评价 .................................................................................................... 28 4.2 展望 ............................................................................................................ 29 参考文献 .............................................................................................................. 31 附录 ...................................................................................... 错误!未定义书签。 外文原文 .......................................................................... 错误!未定义书签。 外文翻译 .......................................................................... 错误!未定义书签。 致谢 ...................................................................................... 错误!未定义书签。
III
广西大学学士学位论文 车牌图像二值化方法的研究
第一章 绪论
1.1 课题研究的背景及意义
近年来,随着高速公路的发展和交通智能化的需求,汽车牌照实时自动识别技术已经越来越受到人们的重视。汽车牌照自动识别技术是目标自动识别的一个典型问题,它在智能交通管理和公共安全等系统中有着广泛的应用前景。车牌识别系统(LPR)是智能交通系统中关键技术之一。随着ITS在社会生活中的广泛应用,LPR的发展也非常快,已经逐渐地应用到我们的现实生活中了。由于LPR具有广阔的发展前景,它的开发和研制工作不论是在国内还是在国外都受到很大的关注,它涉及的领域也非常广阔,包括图像处理、计算机、人工智能、模式识别、信息论等多门学科,是一门综合的应用技术。
车牌识别系统一般包括:车牌图像获取、图像预处理、车牌定位、字符分割和字符识别。在车辆图像获取时,一方面,车辆图像自然背景和车自身背景都十分复杂,以及光照条件、天气条件的不利因素的影响;另一方面,车牌照本身存在不同程度的模糊、磨损和变形,甚至一些遮挡物,这些都会影响到车牌定位的准确率。图像预处理就是对采集的原图像进行适当的预先处理,以达到车牌提高车牌定位准确率的目的。图像二值化是为字符的识别做准备,是字符识别精确的前提保证而字符的识别则是关系到最终输出的识别结果。
中国汽车牌照主要分为黄底黑字、蓝底白字、黑底白字等三种,其灰度图像为则为白底黑字、黑底白字两大类。由于光照不均匀影响、摄像机畸变、曝光不足和动态范围太窄等原因,导致牌照图像存在严重的伪影;并且由于图像灰度不均匀,对比度不足,以及牌照上的灰尘,脏污等,使得牌照的字符图像边缘模糊,细节分辨不清,严重影响到二值化效果。
车牌图像二值化是车牌识别系统的关键的一步,二值化效果的好坏在很大程度上决定了车牌识别系统的准确性。鉴于车牌图像二值化的重要性,本课题就是在这一背景下提出的。
1
广西大学学士学位论文 车牌图像二值化方法的研究
1.2 二值化算法的发展状况
Otsu(大津法)算法[1]由大津于1979提出,通过计算图像的前景与背景割阈值,然后将前景和背景分别有黑白两种颜色表示出来。对大律法可做如下理解:阈值t分割出的前景和后景两部分构成了整幅图像,而前景平均灰度取u0,概率为w0 ,背景平均灰度为u1,概率为w1,图像的平均灰度为u,根据方差的的定义,g=w0*(u0-u)^2+w1*(u1-u)^2 最大时t为分割的阈值。因方差是灰度分布均匀性的一种度量,方差值越大,说明构成图像的两部分差别越大,当部分目标错分为背景或部分背景错分为目标都会导致两部分差别变小,因此使类间方差最大的分割意味着错分概率最小。一般情况下Otsu算法在二值化里面用得最多,也是最经典的一种方法了。
Bernsen算法[2]是伯恩森在1986年提出的,是一种比较经典的局部域值法。该算法的中心思想是:设当前像素为P,计算以P为中心的大小为(2W+1)(2W+1)*窗口内的所有像素的最大值M与最小值N,两者的均值T。if (M-N)>S则当前点P的域值为T,else 当前窗口所在区域的灰度值差别较小,那么窗口在目标区或者背景区。若T>T’,则当前灰度值为255,否则当前灰度值为0,其中S和T’都要设置。
Niblack算法[3]是尼布莱克在1986年提出来的,该方法是一种比较常用的简单有效的局部动态阈值算法,其基本思想是:对图像中的每一点,在它的领域内,计算领域里像素点的均值和方差,然后计算阈值进行二值化。
结合Canny算子的图像二值化方法[4],对经典的二值化算法Otsu算法和Bernsen算法存在的缺点进行了分析后提出图像的二值化方法。该方法综合考虑了边缘信息和灰度信息,通过边缘附近种子点在高阈值二值化图像中的填充和低阈值图像对它的修补而得到的二值化图像,较好地解决了经典二值化方法中存在的抗噪能力差、边缘粗糙、伪影现象等。实验结果证明,该方法能够较好地解决低对比度图像和目标像素灰度不均匀的图像二值化问题。
不均匀光照下的图像二值化是数字图像处理中的一个难题,汽车牌照自动识别系统工作在复杂的光照环境下,经常会出现车牌光照不均的现象,给图像二值化带来困难。为此,浙江大学的张引[5]提出一种基于空间分布的最大类间方差牌照图像二值化算法,该算法把牌照图像空间分布特性与最大类间方差的统计特性有机结合,大大加快了最大类间方差模式分类速度。与Otsu 、Bernsen等算法比较,该算法具有速度快,能消除不均匀光照引起的
2
广西大学学士学位论文 车牌图像二值化方法的研究
伪影,极少出现笔划断裂等优点,二值化效果好。
1.3 本文的工作和内容安排
针对车牌识别的要求,本文细致分析了我国蓝底白字的车牌的特点、道路情况,并综合分分析图像处理,图像校正,二值化等相关技术,采用多种方法来解决这一问题。
论文所涉及的工作如下:
(1)图像预处理,将拍摄到的车牌图像进行一系列的处理,本文中将拍摄的车牌图像先经过灰度化处理,然后经过中值滤波去掉噪声,中值滤波后进行边缘检测,将边缘检测图像经过图像形态学处理,最后对车牌区域进行切割。
(2)车牌的定位分割。通过上面的方法获得较为清晰的图像时,就需要进行车牌定位,这部分是一个比较关键的部分,效果的好坏对后面的字符分割以及智能识别都有很大的影响。
(3)车牌的形变校正。由于摄像机拍摄的角度,得到的车牌图像往往不是呈矩形的,因此必须先作仿射形变,将其校正为矩形图像。本文利用Radon变换体出了一种自动检测边缘变换的方法,效果较好。
(4)我们将校正后的图像进行二值化,通过用Ostu法,Bernsen法,Niblack法以及改进的二值化方法,分析每种二值化方法的优缺点。最后输出二值图像。
本文内容安排:
第一章:绪论。概述了图像二值化技术国内外研究动态及其发展以及本文的内容安排。
第二章:图像预处理。主要包括图像灰度处理、中值滤波、边缘检测、图像形态学处理。将经过边缘检测的图像进行车牌区域的提取以及图像的校正。
第三章:图像的二值化,将校正后的彩色车牌灰度化,然后分别用用Otsu法,Bernsen法,Niblack法以及改进的二值化方法分别对图像进行二值化,并比较分析二值化的结果。
第四章:对这次毕业设计的总结与展望。
3
广西大学学士学位论文 车牌图像二值化方法的研究
第二章 数字图像预处理
2.1 灰度处理
通常,用数码相机获取的车牌图像是24位的真彩色图像,如图(2-1)所示,它有红色、绿色、蓝色三种单色调配而成,各个单色都人为地从0~255分为256个等级。根据R 、G、B的不同组合,获得的彩色图像可以表示256x256x256=16777216种颜色。彩色图像颜色种类丰富,但由于直接处理彩色图像文件所需的储量大,图像需要占用大量系统资源,不利于图像的快速处理。从系统的性能处理,目前绝大多数牌照识别系统在做图像处理时均采用不含彩色信息的灰度图像。
灰度图只包含亮度信息,不含彩色信息,有利于图像的处理,故在对图像进行处理前应先将其转为灰度图像。灰度图像在表示时将亮度值进行量化,通常将亮度分为256级(0~255):0为最暗(黑),255为最亮(全白)。灰度图每个像素仅有一个8位字节表示该像素的亮度值。灰度图的转化根据灰度值和RGB颜色的对应关系通过如下方式进行:
Y0.299R0.587G0.114B (2.1)
式中,Y表示白光的亮度,灰度化后如图(2-2)
图 2-1 彩色图像 图 2-2 灰度图像
4
广西大学学士学位论文 车牌图像二值化方法的研究
2.2 车牌定位
车牌定位是车牌识别系统中的关键之一,如何在复杂的背景下克服干扰准确定位出含有车牌字符区域直接关系到车牌识别系统后续识别部分的确率。到目前为止,有关车牌定位的研究很多,其中主要的方法有下面几种:基于边缘的方法、基于彩色信息的办法、数学形态学的方法、基于纹理的方法和人工神经网络方法等。对于背景特别复杂的车牌定位问题,现在很多都将以上的两种或者两种以上的方法结合起来使用。
其中基于彩色信息的方法处理较为复杂,并且与采用的颜色模式有很大关系;数学形态学的方法只能处理特定类型的背景情况;基于边缘的方法计算量较大并且对车牌图像边缘清晰度的要求较高;人工神经网络方法虽然容错性较强,一般收敛速度较慢;基于纹理的方法是目前采用较多的一种方法,这一方法计算量有限,而且基本思路比较直观,易于理解,特别是针对本文中的识别系统所针对的图像的特点而言,用这种方法完全可以进行处理。
2.2.1 基于彩色图像的车牌定位方法
随着人们对信息的准确及时和全面的要求越来越高,同时伴着硬件设备的性能的大幅度提升,仅依靠灰度图的信息已经无法满足相应的需求了,而彩色图像具有色彩丰富,信息具有原始性和完整性,在设备存储量和速度允许的情况下可以取得更好的处理效果。因此,随着科技的发展,彩色图像处理必将越来越多的应用到我们的工作和研究之中。车辆牌照具有与牌号、车身、背景不同的颜色,因此考虑颜色来研究车牌的定位方法应该说是车牌识别领域的一种新思路,具有相当的发展前途。
李文举、梁德群、张旗、樊鑫提出的基于边缘颜色对的车牌定位方法。近年来随着计算机技术的飞速发展,很多学者已开始应用彩色图像处理技术进行车牌定位这些研究改善了车牌的定位效果,但当车牌底色与其周围颜色近似、车牌底色褪色或图像中存在与车牌相似的几何和纹理特征的伪车牌时,有效定位率下降。要想提高车牌定位的可靠性,应充分利用车牌提供的信息,突出车牌区域抑制非车牌区域。已有的车牌定位方法虽考虑了车牌底色的颜色信息,却没有考虑车牌颜色特征的一个重要特点,即车牌背景与字符具有固定的颜色搭配,也就是说车牌字符边缘两侧像素的颜色具有固定的搭配,而如果抓住了这一重要信息,不仅能剥离不符合车牌底色的非车牌区
5
广西大学学士学位论文 车牌图像二值化方法的研究
域,而且能够将车牌底色褪色或虽具有和车牌相似的几何及纹理特征但不符合颜色特征的伪车牌剔除。
提出了彩色边缘检测算子Colorprewitt和彩色边缘检测与区域生长相结合的牌照定位算法ColorLP。这种方法的主要思想是通过边缘检测算子Colorprewitt对彩色图像的边缘检测,增强牌照区域,并借助数学形态学膨胀算法实现断裂区域的重新连通,采用区域生长方法标记候选区域,最后利用车牌的先验知识,剔除虚假车牌区,确定真正的车牌区。ColorPrewitt算法简单,检测出的牌照区域易于与背景剥离,因此用这种方法定位准确率高,适用于不同的光照,且通用性较好,但算法的复杂度较高。
采用back-propagation神经网络把图像中各个象素归类为绿、红、白和其他四种色彩,再对绿、白、红做水平和垂直的直方图以确定牌照在图像中的位置。但该方法无法在牌照倾斜和变形的情况下确定牌照的位置,故对车牌的标准化以及车辆原始图像的要求都很高。
2.2.2 基于灰度图像车牌的定位方法
一般来说,单色图像的灰度级有256级、128级和64级不等,通常所采用的为256级的灰度图像。灰度图像中每一个点的灰度值可以用一个单值实函数来表示,该函数在某点的值称为在该点灰度级或亮度。由于灰度图像的函数表示比较简单,在图像处理时可以减少运算时间,提高运算速度。因此目前的大多数研究都是基于灰度图像的,以满足车牌识别的实时性需求。其中主要的灰度图像的车牌定位方法如下:
基于特征的车辆牌照定位算法, 该方法利用汽车牌照中文字笔划变化频率比较稳定的特点,即笔划间隔的象素是稳定在某一个范围内,笔划数也存在下限的特征。设定阀值,通过扫描确定上下界位置和左右边界位置。这样在已缩小的范围内再用上述方法进行递归检测,直到牌照位置比较稳定为止。这种方法在摄入角度、距离、光线都有很大调整的情况下,能够快速准确定位、分割车牌。此算法的不足之处就在于对于那种引入文字背景的原始图像会出现很多错误,同时笔划间隔的象素是一个相对的概念,对于大小不同的车牌显然是不同的,此外,对字符断裂和模糊的容忍度也很低,因此该算法对原始图像的标准化要求很高。
基于数学形态学的汽车牌照区域定位算法, 通过对灰度图像采用形态学开运算,削去满足特定属性的峰部,确定出目标以及少量非目标区域,然
6
广西大学学士学位论文 车牌图像二值化方法的研究
后计算出图像的倾斜角及目标区域所在范围。这种算法考虑了车牌的倾斜角度,能够有效确定文字区域,但存在着定位错误或出现多个候选区域的情况。
利用遗传算法对图像进行优化搜索,结合区域特征矢量构造的适应度函数,寻找牌照区域的最佳定位参量。这种方法对于车辆与摄像头距离以及车牌位置作某些限定的条件下,定位准确,且同样具有抗噪声的能力,但对于适应度函数的寻找并无一个指导原则,大多依靠经验或者多次反复的实验且有一定的条件限制。
利用牌照边框为一灰度值高出背景灰度的平行四边形,通过边缘提取,再利用Hough变换检测出四条边框,但若车牌本身的边框是断裂,残缺的或由于采集时导致的图像不连续都会影响直线识别的准确性。经检验,它只在文字区域集中于某一范围且水平时比较准确且边框清晰明显时才有效,故使用范围不宽,鲁棒性很差。
动轮廓模型(snake算法定位车牌算法),利用snake的主动性特,它总是倾向于最小化其能量函数,在snake算法中,根据曲线的形状和在图像中的位置确定曲线的“能量”,选择合适的能量函数,在一些所选因素的共同作用下找到使其能量最小,依此时的参数来确定车牌区域。该方法定位较准确且鲁棒性较好,但计算量较大,且能量函数的寻找较难。针对车牌特点,设计了一个变换函数突出其特点从而进行车牌的提取。这种方法采用最大方差法来进行二值化阈值的选取,并对二值化后的图像进行水平扫描,找相对小的而且扫描线变化剧烈的区域作为候选区域,再以适当的变化率确定车牌的位置。该方法由于只处理二值化图像,故而对图像本身的要求较高,一旦车牌之间的光照不均就很容易造成定位断裂的情况。
基于车牌文字变化特点的自动扫描识别算法,车辆图像一般在户外采集所得,其背景往往复杂多变,可能包括自然场景中的人、其它车辆、树木、建筑物等;采集时的光照条件也因时间、地点、天气等条件的不同而不同。然而车辆牌照却具有不因外部条件变化而改变的特征,即车牌内有多个基本成水平排列的字符,字符和牌照底在灰度值上存在跳交,因而车牌这个矩形区域(包括边缘)内有丰富的边缘存在,呈现出规则的纹理特征。在传统的基于灰度分割技术的基础上,这些特征为车牌定位方法的研究提供了切实可行的依据。实验表明算法在某些特定的环境中效果良好,即车牌背景相当有规律和单一,一旦背景复杂或呈现出多样性,许多干扰区域就会出现,系统的
7
广西大学学士学位论文 车牌图像二值化方法的研究
识别率和识别速度都会受到不同程度的影响,所以该算法的稳定性并不好,对环境条件的要求较为苛刻。
基于特征车牌定位法,此方法是利用一阶微分算子对原始图像的边缘进行预处理,并在此基础上运用数学形态学的闭运算获得车牌的候选区,然后采用投影的方法最大程度地剔除假车牌,定位真车牌。此方法的算法计算量小,复杂度低,降低了噪声的干扰,能够满足实时定位的要求。其缺点是在仅使用此算法时会出现多个候选区域的情况,同时在复杂背景下可能出现漏检车牌的情况。
2.3数学形态学运算
数学形态学的基本运算有腐蚀、膨胀、开启和关闭。基于这些基本运算可以推导出更多的数学形态学实用算法。
2.3.1 膨胀与腐蚀
腐蚀和膨胀运算是形态学图像处理的基础。数学上,膨胀定义为集合运算。A被B腐蚀,记为AB,定义为:
)A] (2.2) ABx[(Bx为B的映像,即与B关于原点对称的集合。其中是空集,B为结构元素,B膨胀的作用是把图像区域周围的背景点合并到区域中,其结果是区域的面积增大相应数量的点。
腐蚀的数学定义与膨胀相似,其运算符是“”,图像集合A用结构元素B来腐蚀记做AB,其定义为:
ABx(B)xA (2.3)
腐蚀的作用是消除物体所有边界点,即把小于结构元素的物体去除,选取不同大小的结构元素,可以去除不同大小且无意义的物体。这一点对图像处理十分有意义。
2.3.2 开运算与闭运算
在图像处理的实际应用中,我们更多地以各种组合形式来使用膨胀和腐
8
广西大学学士学位论文 车牌图像二值化方法的研究
蚀。一幅图像可能使用相同或不同的结构元素来进行一系列膨胀或腐蚀运算,以达到我们所需要的处理目的。开运算和闭运算是最常用的膨胀和腐蚀组合。
先腐蚀后膨胀的运算称为开运算,记住AB,即A被B腐蚀后再用B来膨胀腐蚀结果
AB(AB)B (2.4)
形态学开运算作用是完全删除了不能包含结构元素的对象区域,平滑了对象的轮廓,断开了狭窄的连接,去掉了细小的突出部分,而总的位置和形状不变。
闭运算是开运算的对偶运算,定义为先膨胀然后再做腐蚀,记做AB,可表示为
AB(AB)B (2.5)
像开运算一样,形态学闭运算会平滑对象的轮廓,不同的是闭运算一般会将狭窄的缺口连接起来形成细长的弯口,并填充比结构元素小的洞,而总的位置和形状保持不变。
2.4 车牌校正
图像校正技术在社会各个方面都有着广泛的应用。关于倾斜图像校正方面的研究有很多,目前常用的方法有投影轮廓分析法、霍夫变换法以及文字行的方法和聚类的方法投影轮廓分析法通过计算机与图像不同角度的投影直方图的代价函数来求图像倾角;霍夫变换法则是通过计算霍夫空间的峰值点来确定倾斜角;后两种方法则需利用图像的特点作为先验知识,有一定的局限性。近来又有学者提出了基于最小二乘支持向量机的图像校正方法。本文这里针对车牌图像的校正进行了研究。在这方面已有不少研究成果,如:合肥工业大学后俊提出的通过Radon 变换采用先垂直方向后水平方向的两步校正方法取得了不错的效果[8]。不过这种方法对于图像实际发生扭曲,已经不在一个平面上的车牌图处理效果就不是很好;中科院计算技术研究所叶齐祥提出了基于单应性矩阵的图形恢复方法。
通常拍摄的汽车图像由于种种原因,比如:一般情况下,摄像头都会出现在道路的路口处。而在拍摄过程中,摄像头的位置和被拍汽车往往存在一
9
广西大学学士学位论文 车牌图像二值化方法的研究
定的角度,因此,提取区域有些倾斜。这会给下一步的车牌字符识别带来干扰。所以必须进行调整,使得字符都处于同一水平位置,那样,字符的分割也会变得更加准确。车牌矫正的关键在于如何确定车牌的倾斜度。车牌矫正常用的方法有Hough变换和Randon变换。
2.4.1 Hough变换
Hough变换是利用图像全局特性而将边缘像素连接起来组成区域封闭边界的一种方法。在预先知道区域形状的条件下,利用Hough变换可以方便地得到边界曲线而将不连续的边缘像素点连接起来。Hough变换的主要优点是受噪声和曲线间断的影响较小。利用Hough变换还可以直接检测某些己知形状的目标,并有可能确定边界到亚像素精度。
先看一个简单的例子。设给定图像中的n个点,要从中确定连在同一直线上的点的子集。这可看作己检测出一条直线上的若干个点,需要求出它们所在的直线。解决上例的一种直接方法是先确定所有由任意两点决定的直线(需约n2次运算以确定nn1/2条线),再找出接近具体直线的点的集合(需约n3次运算以比较n个点中的每1个与n(n1)/2条直线中的每1条)。这么大的计算量在实际中常常是不能满足的。
如采用Hough变换的方法就可用较少的计算量来解决这个问题,Hough变换的 只要思想是点线的对偶性。
极坐标中的方程为:
rxcosysin (2.6)
其中r是直线离原点的法线距离是法线对x轴的角度,如图2-3所示
Yrθ10
X
广西大学学士学位论文 车牌图像二值化方法的研究
图2-3 Hough变换原理图
可见直线的Hough变换在极坐标系中是一点,而点的Hough变换是正弦函数。由此可知在图像空间中共线的点对应在参数空间里相交的线。反过来,在参数空间中相交于同一个点的所有直线在图像空间里都有共线的点与之对应。这就是点一线的对偶性。Hough变换根据这些关系把在图像空间中的检测问题转换到参数空间里,通过在参数空间里进行简单的累加统计完成检测任务。
计算Hough变换的方法是将r-域量化为很多小格,对于每一个像素点
x,y,代入值,算出r,所得值(经量化)落在某个小格内,便对该小格
的计算累加器加1。当全部像素点变换后,对小格进行检验,计数比较大的小格对于共线点,其r,可用做直线拟合参数;计数比较小的各小格一般反映非共线点,丢弃不用。如果r和量化的太粗糙,则参数空间的凝聚效果差。找不到直线准确的r、值;反过来,如果r和量化的过细,则计算量将增大,因此需兼顾这两方面,取合适的量化值。
直线的Hough变换在极坐标系中是一点,而点的Hough变换是正弦函数,由此可知在图像空间中共线的对应在参数空间里相交的线。反过来,在参数空间中相交于同一个点的所有直线在图像空间里都有共线的点与之对应。这就是点一线的对偶性。Hough变换根据这些关系把在图像空间中的检测问题转换到参数空间里,通过在参数空间里进行简单的累加统计完成检测任务。
2.4.2 Radon变换
二维Radon变换基本可以理解在平面内沿着不同的方向,对f(x,y)进行线积分运算,得到的就是f(x,y)的Radon变换结果。图2-4就是分别为垂直和水平方向对f(x,y)积分的结果。
11
广西大学学士学位论文 车牌图像二值化方法的研究
yf(x,y) x
(a)函数f(x,y)
f(x,y)
(b) 函数f(x,y) 垂直积分的结果
YX
(c) 函数f(x,y)水平方向线积分结果
图 2-4 二维Radon变换的函数
通过上图我们不难发现垂直方向对f(x,y)进行线积分,得到是其在X轴上的投影,水平方向对f(x,y)进行线积分,得到是f(x,y)在Y轴上的投影。所以Radon变换通常用来获取某一方向上图像的投影,当然不光可以沿着垂直和水平方向获得投影,还可以沿着任意角度进行Radon变换,获得投影。通常f(x,y)的线积分是f(x,y)平行于Y轴的线积分,其表达式为:
Rx'f(x'cosy'sin,x'siny'cos)dy' (2.7)
12
广西大学学士学位论文 车牌图像二值化方法的研究
其中
x'cossinx'y sincosy再对Radon变换结果进行计算,计算公式如下:
DRjRj1 (2.8)
j1n通过上式,当D取得角度最大值时,则可以确定图像的倾斜角,在上式中为Radon变换的角度,可以根据需求来选择不同的角度,R表示经过Radon变换后的值,n为Radon变换中x'的长度。
2.5 倾斜校正
倾斜都会影响牌照字符的分割,所以有必要对其进行矫正,真正的车牌带有金属边框的矩形,即使拍摄回来的照片发生倾斜,也是在一定的范围内,所以可以将车牌区域分解为上下边框和左右边框,对其进行识别矫正。
在这里我们介绍使用Hough变换方法来进行倾斜度矫正。具体的实施步骤如下:
首先找车汽车牌照的上下边框,这里可以使用sobel算子对车牌图像区域进行垂直变换,然后再通过变换图求出该图垂直方向的跳变图,接下来对跳变图进行Hough变换,获得图像中车牌的上下边框。
其次求出上下边框的倾斜角,可以根据直线的连续性、长度等条件,找出上下边框的倾斜角。
然后对车牌图像区域进行水平矫正,同理,在完成水平矫正的基础上,实现对出牌图像区域的左右边框的矫正。车牌矫正效果如图2-5所示。
(a)矫正之前的车牌图像
13
广西大学学士学位论文 车牌图像二值化方法的研究
(b) 矫正之后的车牌图像
图2-5 车牌矫正前后图像
2.6 本章小结
本章主要介绍了数字图像预处理的技术,比如灰度化,图像定位,图像提取,图像校正。车牌定位是车牌识别中最关键、最难解决的步骤之一。然而,由于车牌背景的复杂性与车牌特征的多样性,迄今为止,仍没有一个完全通用的智能化车牌定位方法。大多数定位方法局限于某个侧面问题的解决,如牌照的倾斜、光照的干扰、噪声的影响等,或者局限于在某种具体场合拍摄到的车牌图像的识别,离实际应用还有很大的距离。如果将上述各种方法加以融合,集各家所长,就完全有可能获得一个更为实用的车牌定位方法。
本章主要研究了发生倾斜的车牌图像的处理方法。首先简单介绍了目前的一些处理方法。随后提出将单应性矩阵变换方法引入到车牌图像校正之中,并且对原来方法中难以检测车牌边缘,提出了一种关于自动提取车牌边缘的方法,并结合单应性矩阵变换对发生倾斜形变的车牌进行校正。最后对得到的图像因为校正采用的长宽与原始图像的不同而导致图像出现黑点等问题作了阐述和相应处理方法。
14
广西大学学士学位论文 车牌图像二值化方法的研究
第三章 图像二值化
3.1 引言
二值化是图像处理中的一个重要的问题,广泛应用于图像分割,图像增强,图像识别等领域。在图像二值化中,关键问题的是阈值的选取问题,另外还有计算速度的问题等,在灰度图像中,由于物体的灰度分布与背景的灰度分布总存在着一定的差别,如果把整个灰度图像用灰度直方图表示,则图中必然存在波峰和波谷。最简单的情况是存在两个峰值的情况,通常选取波谷位置即可得到较佳的阈值。但是,实际图像处理的问题中,图像的灰度直方图往往比两个峰值的情况要复杂得多,物体内部的灰度分布往往不是均匀的,背景也有可能由于噪声的影响而使图像产生多个峰值,也有可能由于物体的灰度和背景相差不是特别明显而使灰度直方图出现单峰值的情况。在这些情况下,寻找阈值的问题就会变得很困难,有时候用单一的阈值并不能得到理想的效果。要对图像进行二值化,就必须寻找一更加有效的计算阈值的方法。目前,二值化的方法很多,这些方法大体上可以分为全局阈值法和局部阈值法。全局阈值法是指对整幅图像选取单一的阈值来进行二值化。这种方法一般计算速度较快,在物体和背景的灰度差别较明显时效果比较好。局部阈值指把图像分成若干区域,对每个区域设置一个阈值进行二值化,或者对图像中的每一个像素点,根据其邻域的像素点的灰度变化情况来设定一个阈值,然后逐点对图像进行二值化。这种方法速度一般比全局阈值法要慢,但是在图像比较复杂或者背景存在噪声,用单一的阈值很难区分物体和背景的情况下,这种方法往往要优于全局阈值法。最后使用整体阈值和局部阈值相结合的自适应阈值方法进行二值化处理。试验结果表明,这种方法与以前的几种方法相比,能够在保证二值化速度的前提下,更好地区分物体和背景。
3.2 二值化的方法
二值化处理的思路是这样的,通常选择一个阈值T,然后根据阈值T来将图像二值化。若原始灰度图像为f(x,y),变换后的二值图像为g(x,y),则域值二值化方法的过程可以由如下公式来表示。
15
广西大学学士学位论文 车牌图像二值化方法的研究
f(x,y)T1 (3.1) g(x,y)
f(x,y)T0任何满足f(x,y)T的点(x,y)称为对象点,其他点则称为背景点。 二值化是一种广泛使用的图像分割技术, 它利用了图像中要提取的目标物与其背景在灰度特性上的差异, 把原图像变为仅用两个灰度值表示的图像目标和背景的二值图像。二值化方法很多, 有全局阈值法、局部阈值法。全局阈值法根据文本图像的直方图或灰度空间分布确定一个阈值, 以此实现灰度文本图像到二值图像的转化。典型的全局阈值方法包括Otsu 方法、直方图法、全局迭代法、最大墒方法等。全局阈值法算法简单, 对于目标和背景明显分离、直方图分布呈双峰的图像效果良好, 但其对于由于光照不均匀、噪声干扰较大等原因使直方图分布不呈双峰的图像, 二值化效果明显变差。局部阈值法通过定义考察点的邻域, 并由邻域计算模板实现考察点灰度与邻域点的比较, 常用的局部阈值法有Niblack 算法、Bernsen算法。非均匀光照条件等情况虽然影响整体图像的灰度分布却不影响局部的图像性质, 使得局部阈值法有更广泛的应用, 但局部阈值存在速度慢, 对于文字图像不能保证字符笔画的连通性, 可能导致出现笔画断裂现象, 直接影响后面的识别工作。
3.3 全局阈值法
全局阈值法是在二值化过程中只使用一个阈值的方法,比较经典的全局域值法有Otsu(大律)法,直方图法,最大熵法以及全局迭代法等。
3.3.1 Otsu法
最大类间方差法,该方法有Otsu于1979年提出,所以又称Otsu二值化方法,是一种经典的全局阈值法。这种二值化阈值选取算法比较简单,所以得到广泛的应用。Otsu方法的基本思想是对像素进行划分,使划分得到的各类之间的距离达到最大来确定最合适的阈值。
设图像f中,灰度级为L,设灰度T为域值,将图像为为两个区域,灰度为0~T和T+1~L-1的像素分别属于区域A和B,则A与B的概率分别为:
16
广西大学学士学位论文 车牌图像二值化方法的研究
TpApi (3.2)
i0pBiT1L1pi (3.3)
区域A和B的平均灰度为:
1T1uAipu iBpAi0pB整个图像的平均灰度为:
iT1ip (3.4)
iL1uipipAuApBuB (3.5)
i0L1总体方差为:
pA(uAu)2pB(uBu)2 (3.6)
按照最大类间方差准则,从0到L-1改变T,并计算类间方差,使方差最大的T为最终二值化时的阈值。
3.3.2 全局迭代法
全局迭代算法是一种全局阈值二值化方法。该方法认为图像由目标和背景组成,在灰度直方图上,目标和背景都形成高峰,在双峰之间的最低谷处就是图像二值化的阈值所在。其算法原理是,首先选取初始阈值,其值取为图像的最大灰度值与最小灰度值的均值,根据该阈值将图像二值化为目标与背景,然后以目标和背景的平均期望值作为新的阈值,对图像重新二值化,如此不断迭代。当阈值不再变化时,停止迭代。一般迭代几次后即可达到稳定状态。如果图像的灰度直方图呈现双峰,或者图像中背景灰度与目标灰度呈明显分离状,则全局迭代法分割图像效果良好且速度快。
全局迭代法的迭代步骤如下:
1.为T选一个初始阈值(建议初始估计值为图像中最大亮度值和最小亮度值的中间值)。
2.使用T分割图像,这会产生两组像素:亮度值T的所有像素组成的G1,
17
广西大学学士学位论文 车牌图像二值化方法的研究
亮度值T的像素组成G2。
3.计算G1和G2范围内的像素的平均亮度值u1和u2。 4.计算一个新阈值:T1u1u2 25.重复步骤2到步骤4,直到连续迭代中的T的差比预先指定的参数T0小为止。
3.4 局部阈值法
对于目标和背景比较清楚的图像,全局阈值化方法可以取得较好的效果,但是如果图像的背景不均匀,或是目标灰度变化率比较大,全局的方法一般就不适用了。由像素(x,y)的像素值f(x,y)和周围点局部灰度特性来确定像素(x,y)的阈值叫局部阈值二值化。局部阈值选取一般将图像划分为若干个子图像,根据每个子图像确定相应的阈值,具体的阈值确定方法同全局阈值的确定类似。
局部阈值法一般用于识别干扰比较严重,品质较差的图像,较整体阈值的方法有更广泛的应用,但也存在缺点和问题,如实现速度慢,不能保证字符笔画的连通性及容易出现伪影现象。
比较经典的局部阈值法有Bernsen算法、Niblack算法等。
Bernsen算法是一种经典的局部二值化方法,Bernsen算法能克服光照不均匀等干扰,自适应地根据灰度特性选取阈值,其缺点是会产生诸如目标部分缺失、伪影等现象。
Niblack算法是一种比较常用的简单有效的局部动态阈值算法,这种算法的基本思想是对图像中的每一点,在它的rr领域内,计算领域里像素点的均值和方差,然后用式(3.7)计算阈值进行二值化:
Tx,ymx,yksx,y (3.7)
其中对于每一个像素点(x,y),T(x,y)为该点的阈值,m(x,y)为该点的rr领域内像素点的均值,s(x,y)为该点的rr领域内像素点的标准方差,k为修正系数。如果假设(i,j)点处的灰度值为f(i,j),则m(x,y)和s(x,y)的计算公式为:
18
广西大学学士学位论文 车牌图像二值化方法的研究
1xr2yr2mx,y2f(i,j) (3.8)
rixr2jyr21s(x,y)2rxr2ixr2jyr2yr2f2x,y (3.9)
3.5 基于边界特征的二值化算法
在文字识别、银行印章识别等系统二值化处理中,最理想的结果是以字体轮廓为边界,将在边界内的像素换为黑像素,边界外的像素变换为白像素,这也是本文提出新算法的目的。
浙江大学的王强、马利庄提出了基于图像的边界信息和微分算子的局部阈值和整体阈值相结合的新的自动选择阈值的算法[14],这个基于边界特征的检测算子的算法能很好地保留原图的边界特征,并能处理低质量的图片。
考虑到Otsu算法的优点以及上面文献[14]到的算法,这里提出了新的算法,将两种方法柔和起来,试验表明,时间较快,准确度较高。
边缘检测实质是采用某种算法来提取出图像中的对象和背景间的交界线。图像灰度的变化情况可以用图像灰度分布的梯度来反映,因此我们可以利用局部图像微分技术来获得边缘检测算子。经典的边缘检测方法是对原始图像中像素的某小领域来构造边缘检测算子。一下是对几种经典算子[15]的理论介绍以及各自性能特点的比较与评价。常见的有Roberts算子、Sobel算子、Prewitt算子等。
Roberts边缘检测算子是根据任意一对互相垂直方向上的差分可用来计算梯度的原理,采用对角线方向相邻像素之差
xff(i,j)f(i1,j1) (3.10) yff(i,j1)f(i1,j) (3.11)
R(i,j)2xf2yf (3.12)
对图像f(x,y)求Roberts梯度为
GRfx,ymaxf(x,y)f(u,v) (3.13) 式中(u,v)为点(x,y)的四邻域,或用差分近似为
19
广西大学学士学位论文 车牌图像二值化方法的研究
GRf(x,y)maxf(x,y)f(x1,y1)f(x1,y)2f(x,y1)212
(3-14)它的两个2 X 2的模板中卷积模板见下图(3-1),有了这两个卷积算子就可以计算出Roberts梯度幅值R(i,j),再去适当门限TH,如果R(i,j)
TH ,则为阶跃边缘点。
‘Roberts’算子简单,易于实现,但是该算子在计算差分时对噪音比较敏感。
-1
0 0 1 0 1 -1 0 图3-1 Roberts算子
Sobel边缘检测算子,是在以f(x,y)为中心的[3 3]的邻域上,以下述方式计算x方向与y方向的偏导数,具体如下:
Sxf(x1,y1)2f(x1,y)f(x1,y1)f(x1,y1)2f(x1,y)f(x1,y1)Syf(x1,y1)2f(x,y1)f(x1,y1)f(x1,y1)2f(x,y1)f(x1,y1)
(3.15)
使用’Sobel’算子计算图像中各个点的差分就相当于使用图3-2作为模板对图像进行滤波。求图像上点(x,y)的梯度幅值与’Roberts’算子类似。Sobel算子利用像素的上、下、左、右邻域的灰度加权算法,根据在边缘点处达到极值这一原理进行边缘检测。该方法不但产生较好的检测效果,而且对噪声具有平滑作用,可以提供较为准确的边缘方向信息。
20
广西大学学士学位论文 车牌图像二值化方法的研究
-1 0 1 -2 0 2 -1 0 1 -1 -2 -1 0 0 0 1 2 1
图3-2 Sobel边缘算子
Prewitt边缘算子是一种边缘样板算子,样本算子由理想的边缘子图像构成,依次用边缘样本去检测图像,与本检测区域最为相似的样本给出最大值,用这个最大值作为算子的输出。
pxf(x1,y1)f(x1,y)f(x1,y1)f(x1,y1)f(x1,y)f(x1,y1)
pyf(x1,y1)f(x,y1)f(x1,y1)f(x1,y1)f(x,y1)f(x1,y1) (3.16)
由图3-3所示的两个卷积算子形成了Prewitt 边缘算子,与使用Sobel边缘算子的方法一样,图像中每个像素都用这两个核做卷积,取最大值作为输出,运算结果就是一幅边缘图像。适当取门限TH,如果R(i,j) TH则为阶跃边缘点。
1 1 1 图3-3 Prewitt算子
Laplacan边缘算子是二阶微分算子,它具有旋转不变性,即各向同向性性质。表达公式为:
0 0 0 -1 -1 -1 -1 0 1 -1 0 1 -1 0 1 2f(x,y)2f(x,y)f(x,y) (3.17) 22xy221
广西大学学士学位论文 车牌图像二值化方法的研究
在数字图像中可以数字差分近似为
2f(x,y)f(x1,y)f(x,y1)f(x,y1)4f(x,y) (3.18) 数字图像函数的拉普拉斯算法也是借助各种模板卷积实现的,这里对模板基本要求是对应中心像素的系数应是正的,而对应中心元素临近像素的系数应是负的,且所有系数的和应是零,这样不会产生灰度偏移,实现拉普拉斯的模板见图3-4。
0 -1 0 -1 4 -1 0 -1 0 -1 -1 -1 -1 8 -1 -1 -1 -1 图 3-4 Laplacan 边缘算子
拉普拉斯边缘算子的缺点是,由于为二阶差分,双倍加强了噪声的影响。另外它产生了双像素宽的边缘,且不能提供边缘方向的信息。因此,拉普拉斯算子很少直接用于边缘检测,而主要用于已知边缘像素,确定该像素是在图像的暗区还是明区。其优点是各向同性,不但可以检测出绝大部分边缘,同时基本没有出现伪边缘,可以精确定位边缘。
算法的思想是:用差分算子检测图像的灰度变换较为剧烈的地方,在这些像素上进行二值化阈值的自适应选择,对于其他边界的像素则采取传统的二值化处理。该算法的大概流程如图3-5:
22
广西大学学士学位论文 车牌图像二值化方法的研究
灰度或彩色图像f输出二值图像g预处理确定f中每像素中阈值抽取f边界得到边界图像e图像e二值化得到二值图像b用Otsu法确定图像f的整体阈值T0
图3-5 改进算法的流程图
该算法描述如下:
// 输入灰度图像f
Step1. 对灰度图像f进行高斯滤波;
Step2. 用Sobel 算子边缘检测图像f,得到边界图像e; Step3. 用Otsu法对图像e进行二值化处理,得到二值图像b; Step4. 用Otsu法确定图像f的阈值T0; Step5. 确定f中的每个像素的阈值T(i,j)
for 每个像素f(i,j) do
if b(i,j)==1 then //边界像素 begin
A=与e(i,j)相关的像素最大灰度和最小灰度的平均值 for 每个与求e(i,j)相关的像素f(u,v) T(u,v)=A end
else if T(i,j) is not set then
23
广西大学学士学位论文 车牌图像二值化方法的研究
T(i,j)=T0
Step6. 根据求出的阈值T(i,j),输出二值图像g .
3.6去除边框
二值化后,我们得到的车牌图像还可能包含一些白色边框或者一些干扰点,通常我们要去除这些白色边框以及干扰点,才能更好地执行后面的字符识别。在这里我采用的方法是,首先对车牌图像进行水平投影,对投影结果进行去除边框的操作,然后根据水平投影和垂直投影所得到的边界得到一个去除边框的二值图像。去除边框的车牌如图3-6。
具体步骤如下: 1.计算水平投影
在一条列向扫描线上按从左到右的顺序,扫描整幅图像,把每行的白像素累加为该条扫描线上的投影值。
2.根据所记录的水平投影图上每行白像素的个数对投影图进行查找。从中间行开始,在查找范围内进行结束位置值小于给定阈值的少量像素进行查找。
3.计算垂直投影
在一天横向扫描线上按从左到右的顺序,扫描整幅图像,把每列的白像素累加为该条扫描线上的投影值。
4.根据所记录的垂直投影图上每列白像素的个素对投影图进行查找,从中间列开始,在查找范围内进行结束位置小于给定阈值的少量像素进行查找。
未去除边框
24
广西大学学士学位论文 车牌图像二值化方法的研究
(a)未去除边框的车牌图像
去除边框
(b)去除边框后的车牌图像
图3-6 去除边框前后图像
3.7 实验结果
为了对本文提出的基于边界特征的二值化算法的实验效果进行检验,分别用该方法和传统的Otsu算法、Bernsen算法以及Niblack算法对原始车牌图像二值化,对它们的结果作对比分析。如图(3-7)所示,原图像是在弱光照下拍照到的车辆图像提取出来的车牌图像,由实验结果可知,采用Otsu算法时,二值化最快,其次是本文的算法,然后是Niblack算法,算法需要时间最长的是Bernsen算法。Otsu算法和本文算法获得的二值化果基本一样,图像清晰无伪影,Niblack算法的二值化效果较好,Bernsen算法的二值化效果有较大的噪声,笔划粘连现象较多,造成二值化图像模糊一片,无法进一步识别。本文的算法综合了Otsu算法速度快的优点,基于图像的边界信息和微分算子的局部阈值和整体阈值相结合的新的自动选择阈值的算法。实验表明,本文算法无论是二值化图像效果还是计算速度均优于Bernsen和Niblack算法。
25
广西大学学士学位论文 车牌图像二值化方法的研究
原图像
(a)车牌原图像
Otsu算法
(b)Otsu算法的二值图像
Niblack算法
(c)Niblack算法的二值图像
Bernsen算法
(d)Otsu算法的二值图像
26
广西大学学士学位论文 车牌图像二值化方法的研究
本文的算法
(e)本文算法的二值图像 图3-7 各种算法的二值化图像
3.8 本章小结
本章主要介绍了图像二值化的原理以及国内外二值化技术的研究动态,通过介绍全局阈值法以及局阈值法的一些经典算法。如Otsu算法,Bernsen算法,Niblack算法,以及本文采取的基于边界特征的二值化算法。通过详细介绍这几种算法的原理以及实现步骤,最后进行实验效果的比较。实验表明,本文提出的基于边界特征的二值化算法具有快束而且图像效果好,能很好用于字符的识别。
27
广西大学学士学位论文 车牌图像二值化方法的研究
第四章 总结与展望
4.1 总结评价
从2011年3月做完开题报告,完全确定了研究方向直到现在即将结束论文研究工作,时间短短的三个月时间。这段时间我去图书借了大量有关图像处理的书籍,以及在学校图书馆网站下载了很多关于车牌图像处理的相关文献,还有在google学术网站上下载了大量关于图像处理二值化的的外文文献。站在前人的肩上展开了自己的学习和研究工作,经过反复思考,认真推敲,终于完成了车牌二值化的研究。
现主要总结如下:
1.车牌定位:我们拍照的车牌相片是包括车牌在内的由很多背景组成,所以我们需要对车牌的定位将车牌提取出来。车牌的特征信息包括:颜色信息、几何形状信息、纹理信息、垂直或水平投影信息等。这些车牌的特征信息对于车牌区域分割、提取车牌有很大的帮助。其次介绍了车牌定位前的预处理技术,包括RGB图像的灰度化,图像边缘检测、图像的滤波处理,以及图像的形态学处理。接下来,根据车牌区域在水平和垂直的两个方向纹理信息较其他区域更加丰富的特征,介绍了车牌区域定位方法。实验结果表明,该方法对车牌图像有良好的定位能力,能够快速、有效地提取车牌。
2.车牌图像二值化:针对提取出来的车牌图像,进行多种算法进行图像二值化。本文中我们采取了 Otsu算法、Bernsen算法、Niblack算法以及本文提出的基于边界特征的二值化算法。因为提取的车牌区域可能含有铝框和铆钉等,所以我们还需要对二值化后的图像进行去除边框。在本文中我们采取分别对车牌图像水平和垂直投影的方法,然后根据与设定的阈值比较,进行边框的去除,实验表明,用投影的方法去除边框能达到很好的效果。
3.实验环境以及数据分析:在本次设计中,我们实验的硬件环境主要是PC机以及数码相机等。软件环境中,我们用的Window7系统,Matlab编程环境等。在实验中,我们利用数码相机进行拍摄,实现车牌图像的采集工作,本文分别对采集的图像样本进行实验,来验证我们的程序,经过对原始待识别图像的一系列处理,最终识别出结果。样例如下图:
28
广西大学学士学位论文 车牌图像二值化方法的研究
图 4-1 实验前的图像
Otsu算法
图 4-2 实验后的图像
4.2 展望
本文在不断调研,学习车牌二值化方法的同时,经过努力,虽然在该领域技术的深入探讨上做了一些工作,但是仍然还有很多不足之处,特别是有很多研究性的问题还需要不断的探究。
1.我们在第一章中已经叙述了,车牌作为识别对象,它具有很多特征。其中最明显的是颜色的特征,我国的车牌颜色有蓝底白字、黄底黑字、黑底白字和白底黑字这四种类型。在预处理过程中,将车牌图像灰度化,这样做的目的主要是出于,灰度信息存储信息少,容量小等因素。这样虽然有利于信息的储存,但同时也缺失了对车牌颜色特征的利用。随着计算机技术的发展,有效地使用计算机彩色图像处理技术,建立更加有效,完善的车牌识别
29
广西大学学士学位论文 车牌图像二值化方法的研究
系统更具现实意义。在研究基于车牌彩色特征的车牌识别系统方面,还可以进一步深入。
2.我们拍摄的图像一般都是挑选在白天阳光充足的时间,图像相对来说较好,而且选择的汽车牌照没有污损、遮挡,字符清晰。总之,是在理想的情况下对车牌进行处理,而且只是针对静止的汽车。今后还需要对一些图像质量较差的图片进行处理,比如光照不匀,反光情况下拍到的图像,以及运动的车辆拍到的图像。
3.本文采用的基于边界特征的图像二值化算法,在对光照均匀,无污损的车牌的进行二值化时,能取得字符笔画连续,清晰的二值图像。今后还需要研究一些针对质量较差,如有污损,遮挡,光照不匀等车牌图像的二值化算法。
通过对现有的车牌识别技术的学习和探讨,介绍了一系列车牌识别系统中所需要的技术。总的体会是,车牌识别系统是一个复杂的,细致的系统,主要是在识别过程中完成每项任务都需要不同的技术,都会影响到结果,每个细小环节的误差,都会导致结果的不理想或者失败,这也正是图像处理和模式识别的特点。由于该系统涉及的理论知识、范畴都较广,因此还需要未来的日子里,更加深入的学习和研究。
30
广西大学学士学位论文 车牌图像二值化方法的研究
参考文献
[1] Otsu N. A Threshold selection method from gray-level histograms.IEEE
Trans Systems, Man and Cybernetics, 1979, 9(1). pp. 62-66
[2] J.Bernsen, Dynamic thresholding of gray-level images, Proceeding of the
Eighth ICPR , 1986, pp. 1251-1255
[3] W. Niblack, An Introduction to Image Processing, Prentice-Hall, Englewood
Cliffs, NJ, 1986, pp. 115-116 [4] 陈强、朱立新、夏德深.结合Canny算子的图像二值化.计算机辅助设计
与图形学学报.2005,17(6).1302-1305
[5] 张引.基于空间分布的最大类间方差牌照图像二值化算法.浙江大学学报
(工学报).2001,35(3).272-275
[6] 牛欣,沈兰芯.基于特征的车辆牌照定位算法.交通与计算机
2000,1.31-33
[7] Ergina Kavallieratou. A Binarization Algorithm specialized on Document
Images and Photos. Dept.of Information and Communication Systems Engineering University of the Aegean, kavallieratou@aegean.gr. [8] 后俊.车牌图像分割与智能字符方法的研究.硕士学位论文,合肥工业大
学,2004
[9] 王占全,徐慧.精通Visual++数字图像处理技术与工程案例.北京: 人民
邮电出版社,2009.1-462
[10] 王海娇,李文举,王新年.基于边缘颜色聚类和神经网络的车牌类型识别.
计算机工程与应用.2008,44(26).196-199.
[11] 阮秋琦.数字图像处理学.北京: 电子工业出版社,2005.1-463 [12] 任明亮,范勇.一种快速精确的汽车牌照任切分算法.四川大学学
报.2002,39(3).450-454
[13] 于万波.基于Matlab的图像处理.北京: 清华大学出版社,2008,
3.174-176
[14] 王强,马利庄.图像二值化时图像特征的保留.计算机辅助设计与图形学
学报.2002,12(10).746-749
[15] 于万波.基于Matlab的图像处理.北京: 清华大学出版社,2008,
31
广西大学学士学位论文 车牌图像二值化方法的研究
3.174-176.
[16] 张庆英,岳卫宏,肖维红,江霞.基于边界特征的图像二值化方法应用研
究.武汉理工大学学报.2005,27(2).55-57
[17] 王磊,莫玉龙,戚飞虎.基于Canny理论的边缘提取改善方法.中国图像
图形学报.1996,1(3).191-193
[18] 路小波,张光华.基于二值图像的车牌精确定位方法.东南大学学报(自
然科学版).2005,35(6).972-974
[19] 王值,贺赛先.一种基于Canny理论的自适应边缘检测方法.中国图像图
形学报.2004,9(8).957-961
[20] 高永英. 一种基于灰度期望值的图像二值化算法.中国图像图形学报(A
版).1999,4(6).524-528
32
广西大学学士学位论文 车牌图像二值化方法的研究
一种基于文档图像和照片的二值化算法
摘要
在本文中,提出了一种基于文档图像和照片的二值化算法。该算法简单,快速,全面,适宜,适用于正常的文档以及一些照片,退化的文档等。该算法比传统的算法更适应于处理一些问题图像。 1. 引言
灰度图像转化为只有黑色和白色的图像,是过去几十年来的共同话题。许多基于照片和文档图像的算法已经提了出来。然而,随着图像处理需要的增加(历史文件,以及数字相机照片文件的处理),需要新的方法。
Otsu(大律)法是一种传统的二值化方法,它是基于像素的类间方差。Bernsen利用领的像素来计算局部阈值。Niblack 是使用局部均值和标准方差。Sauvola 是一种专门的针对文档图像的方法,它可以使用两种算法来计算每个像素的不同阈值。
在下一节中,我们将会描述这些算法,而在第三节中,我们对这些算法进行详细的分析。在第四节中,描述的是我们的实验结果以及和传统算法实验结果的比较。最后在第五节中,总结我们的结论。 2. 算法描述
作为输入,我们假设文档图像或者照片的灰度图像,前景(字符,图像等)比背景更加明显。例如,考虑图(1)的历史文献,该图片的公式可以描述为:
I(x,y)r,r[0,1] (1)
其中x和y分别是图像的水平坐标以及垂直坐标,r可以取0到1之间的任何值,r=1表示白色,r=0表示黑色。我们意图将灰色图像前景的转化为黑色图像(r=0)或者背景转化为白色图像(r=1)。
38
广西大学学士学位论文 车牌图像二值化方法的研究
图 1: 历史文献
该算法是基于文档图像的,它的有用信息(前景)占很少的比例(对整幅图像来说)。在如下表格1,给出了黑色像素的数量以及图像全部像素的的数量的关系,该图像经过我们的算法处理后的黑白图像(如图2)。
表 1:黑色像素的数目以及跟总像素的关系
Total pixels 2162358
事实上,在文档中黑色像素的占全部像素的比例很少会超过10%。根据这个事实,我们假想像素值的平均值主要由背景元素决定,尽管是很清晰的文档也不例外。这个可以在图3中得到验证,描绘了以上所有例子的直方图。在同一个图中使用了两个阈值,我们的算法以及大律法,还有每种方法的平均阈值。观察图中,很明显知道,平均阈值往往都是在背景与区域,无论哪
39
Amount of black pixels 143039 Rate(%) 6.6 广西大学学士学位论文 车牌图像二值化方法的研究
一种阈值方法。
图2:我们的算法图像
图 3: 图1的直方图.用该方法提取的阈值(-),Otsu(大律法)(—.),平均像素值(.)
事实上,我们的方法包括两个交替的程序。在第一部分中,计算图像像素平均像素值然后从图像中减去,而在第二部分中我们进行直方图的均衡
40
广西大学学士学位论文 车牌图像二值化方法的研究
化,因此剩余的像素将扩大并采取所有的灰度色调。该算法的输入图像为灰度图像如图1所示,输出的图像为黑白的图像如图2所示。我们的算法包括以下步骤:
1.计算图像的平均灰度值 (Ti) 2.所有像素值和Ti相减 3.直方图均衡化
4.重复步骤1-3,直到得到清晰的图像 5.最后得到二值图像 3.算法的分析
考虑到方程(1),计算Ti,i次重复使用一个MxN的的窗口求阈值,使用如下公式:
I(x,y)iTiixyMxN (2)
Ix,y是第i次重复该图像,记住’1’代表是背景,而’0 ‘是代表前景,这个方
程用于减法并产生减法之后,均衡之前的图像IS为:
Is(x,y)1TiI(x,y) (3)
在每次重复过程中,减法的时候,很多像素被移到背景一边而其余的像素褪色。在图4中,对应图1的图像经过阈值T1所示的图像和经过第一次减法后的图像。
41
广西大学学士学位论文 车牌图像二值化方法的研究
图 4:(a)T1=0.7995时对应于图1的图像 (b)经过第一次减法后,直方图均衡化之前的对应于图1的图像。
减法之后,我们调整图像,使图像的颜色变化范围在0到1。既然背景不应改变,而剩下的像素取值在0到1之间。我们使用均衡方法的关系式为:
Ii(x,y)11Is(x,y) (4)
1EiIS有公式(3)知道,而Ei是最小的像素值在图像IS中在i次重复过程中,在直方图均衡化之前。在图5中,展示的是在第一次均衡化之前以及均衡化之后的图1的图像。相应的直方图在在图像的正下面,请注意直方图规模适中,以显示更多的细节。Ei是最大像素值时,相应的图形以及直方图在右边。
42
广西大学学士学位论文 车牌图像二值化方法的研究
Figure 5:图1文档图像直方图均衡化前后的图像以及相应的直方图。
整个过程的重复是很必要的,直到整个文档图像清理干净。每次重复会去除更多的图像污点。重复的次数取决于图像和任何污损,弄皱,光照等强度对图像的影响。由于图像处理重复,直方图也会改变,它把阈值变换成最初的直方图,为了一个在我们实验后产生的清晰的图像。接合方程(3)和(4),我们提取了一种关于最初图像和最终图像的关系式,在我们重复算法时。
Ii(x,y)1TiTi1(x,y) (5)
1Ei在这些重复过程中使用相应的Ti和Ei进行减法和均衡,Ii表示经过i次重复,
这些方法已经在上面描述了。因此,使用方程(5)进行必要的更换,在n次重复过程中,相应的初始阈值T0,在初始直方图中,最终的阈值Tf将是:
43
广西大学学士学位论文 车牌图像二值化方法的研究
nnini1TTEETET0fi1ii1j1ji2ij1j1 (6)
该算法的结束,必要重复的次数,是我们长期关注的问题。(重复次数的确定,以上提到的阈值T和E,以及它们相互间的差异)。最后,我们发现所有的文件图像经过变化后会有一个相似的特点,在重复1到3的步骤后变化缓慢。
必要的重复次数很大程度上取决于文件,以及所要求的结果,在我们实验中是绝对不会超过20次的重复量。然而,第一次重复后的进程是十分缓慢的。图6我们描述的是图1中图像在14个第一次重复过程中的阈值,而图7描述的是文件的细节。因此我们可以说不止一个阶段可以接受。最后,经过很多实验,我们相信在每次重复过程中转化的像素数目是一个客观的衡量条件。经过多次实验,我们建议求在第一次重复时的阈值时,重复转化的像素值要小于所有像素的千分之三。
在最后阶段,我们将所有像素二值化,包括尚未白(值1),尚未黑(值
0) 的像素二值化。
44
广西大学学士学位论文 车牌图像二值化方法的研究
图6:在图1照片直方图的相应的阈值
图7:图1文件的细节
4.实验结果
正如前面提到的,在我们实验中我们使用了约100个灰度的文档图像和照片。因此,据我们所知,没有已知的数据库,以便比较我们使用上述方法得出的结果(图1,3,4)。一些实验结果在图8-10中所示,试图证明该方法应用在典型图像上的性能。
由于该算法简单,计算速度比传统的算法快,适用于文档图像的处理。例如,在处理图1,图9和图10时,分别用了22,21和18秒,该算法在1.60G赫兹的主频的处理器上采用Matlab实验成功。 5.结论
本文介绍的方法适合对照片和文件图像二值化。该方法实际利用的像素,通常情况下不会超过总数的10%。这使我们建立一个算法包括两个连续的阶段交替应用在图像上。结果跟其他的方法相比,十分令人满意。我们算法的优点是:简单,因为不需要太多的前期处理过程,基于简单的技术,由于简单所以计算量少,耐用,因为它可以让用户容易成功地获得灰度图像二值图像。
45
广西大学学士学位论文 车牌图像二值化方法的研究
图8:图1文件图像的二值化图像,(a)Otsu’s (b)Bernsen’s (c)Sauvola’s
图9:从左到右,依次是原图像,我们的算法,Bernsen’s,Otsu’s
图10:从左到右依次是原始图像,我们的算法图像,Bernsen’s图像
46
广西大学学士学位论文 车牌图像二值化方法的研究
47
因篇幅问题不能全部显示,请点此查看更多更全内容