车牌识别作为一种常见的图像识别的应用场景,已经是一个非常成熟的业务了,在传统的车牌识别中,可以使用字符分割+字符识别的方式来进行车牌识别,而深度学习兴起后,出现了很多端到端的车牌识别模型,不用分割字符,直接输入车牌图片即可识别出车牌字符。2019年1月5日百度深度学习线下技术公开课PaddlePaddle TechDay第一期演讲则邀请了百度认证布道师胡晓曼老师分享基于PaddlePaddle最新版本Fluid作用于车牌识别模型训练的实践。

以下为胡晓曼讲师的演讲实录:

PaddlePaddle Fluid和TensorFlow的设计理念有何不同?

执行流程不是“先定义再执行”,而是“先编译再运行”,通过写一个 Transpiler把Protobuf Message翻译成C++程序,然后用NCVV、ICC、GCC编译成二进制代码,可以直接运行在服务器和手机上。

抛弃静态图思想,采用Program设计思想,原始的Program在平台内部转换成ProgramDesc,python的Executor接收ProgramDesc后,传递给Transpiler,输出一段C++可执行的Program。

基于此,Fluid解释器极大的加快了执行Program的速度,PaddlePaddle Fluid运行速度也会更快。

按步骤来,你也能创造自己的车牌识别数据集

1.数据准备

数据准备是做训练的第一步,往往大家第一印象都是去网上下载车牌数据集,但是会有很多问题,如数据集不方便下载,大部分需要花钱等等。但其实除了收集真实场景的车牌数据,我们也可以自己用程序的方式生成车牌数据:

1.1生成车牌数据

1.1.1定义车牌所需字符

854

1.1.2生成中英文字符

一个车牌第一个字母都是中文,后面是英文和数据集合。 

816

1.1.3数据增强:添加畸变、噪音和模糊处理

字符生成后,需要对车牌数据进行一些数据增强,因为直接生成的数据是非常干净和清晰的车牌数据,跟真实场景的数据有一定差距,直接拿来用的训练结果会非常好,但是自然场景里,噪音、畸变、模糊等问题会影响真实图片的效果,最后实际应用依然达不到预期。因此,我们需要对这些数据进行畸变、噪音、模糊处理,尽量贴近现实场景的图片。

854

1.1.4生成车牌背景——加入背景图片,生成车牌字符串list和label,并存为图片格式。

车牌目前有蓝牌、绿牌、白牌、黑牌,常见的是蓝牌和绿牌,车牌数字搞定后需要加入背景图片,使其跟真实车牌更相近。 

854

1.1.5批量生成

生成字符后加入背景图片,用函数的使其可以批量生成,做测试最好生成数量越多越好,起码几十万张起。

854

1.2.6车牌生成效果

854

2.Fluid数据读取

支持两种传入数据的方式:

854

 以PythonReader同步读取方式为例(注:batch_size:Fluid中Tensor的第0维度固定为batch_size,在上面代码段中,图像输入x的形状为[3,32,32],分别代表:channel数目,图像的高度和宽度。如果不指定batch_size,那么data算子会根据实际数据来推断batch_size的大小,如果需要自定义batch_size,就需要在第0维指定维度即可):

854

3.Fluid网络模型

采用PaddlePaddle Fluid提供的vgg19模型来进行训练,完整代码请见:

https://github.com/huxiaoman7/PaddlePaddle_code/tree/master/plate_recognition

这个模型的好处是把vgg9所有的网络模型都写进去了。 

4.启动训练-参数初始化

启动训练的时候如何进行参数初始化,可以选择是否使用GPU。初始化完成后,需要把数据灌进来,启动数据模型并输入数据。

854

733

5.模型测试并输出日志

854

 打印日志

打印的日志,pass表示第一次迭代,batch表示第一次batch,Loss是第一次迭代,第一次迭代里面是98,acc是0.08,一直迭代到后面,loss值在不断的下降。Loss值不断下降可以画成一张图,根据它下降的幅度,可以帮助我们侦查这个模型训练是否有问题。

 保存模型

854

创建一个保存模型的路径,通过调用Fluidio这个模块,将这个模型保存下来。

6.预测模型

854

保存好的模型不一定要在这台机器上使用,在其他机器和容器里面,也是可以进行使用的。提前将这个网络和模型加载进来,放入测试数据,就可以进行测试,预测模型。

629

 预测结果(测试图片)

这张图片是预测的新能源的车牌图片,豫GD17926,预测之后把模型加载进来,测试图片,结果是豫GD17826,9变成8,没有想象中的效果好,原因是只迭代了2000次,没有迭代太多的时间,如果模型并没有完全收敛,大家可以在自主构建过程当中,增加迭代次数,看是否能够达到收敛的状态。当然,实际应用落地中,还是要看具体的业务场景。

539

824

最后,晓曼老师也根据自身经验,给初学者提出几点关于深度学习的建议:

1.不要过于追求高大上的模型和数学名词,做工业应用实践,要做好最基本的工作,不要深究理论;

2.不要随便调参,理论有助于我们懂得如何更快速、更高效调参,使其以最快的方式达到最优的状态;

3.不要只依赖机器,机器的资源是有限的,我们更应该考虑如何把模型进行性能优化,这样可以加速模型进行训练;

4.提高工程能力,多看代码,多写代码,论文多复现,以此提高自己的工程能力。