近年来,随着电脑计算性能的提高,卷积神经网络被越来越多地应用在计算视觉领域。其中,在自动驾驶领域中,结合卷积交通标志的识别也得到了研究者大量的关注与研究。文献[}1]通过在卷积神经网络引入交通标志的形状、颜色、图案内容三种视觉属性加入属性学习约束,同时进行交通标志属性学习和分类学习,最终在验证数据集上取得了较好好的识别结果。文献对传统的卷积神经网络进行改进,采用上万张交通标志图片对网络进行训练,使得最终实验结果得了较好的识别率。为了提高识别的准确性,文献将采集到的带有噪音的交通标志图像先处理为二值图像,再将处理后的二值的图像送入网络,最终得到了具有较好准确率的识别网络。
以上文章都结合卷积神经网络模型对交通标志分类做了大量的研究,避免了复杂的人工特征提取算法的设计,研究结果具有一定的参考性。在现有卷积神经网络模型的启发下,以上文章都采用分类器。而训练分类器需要大量样本,因而在小样本数据下,采用分类器容易造成过拟合,降低网络的泛化性。同时,由于SVM分类器在小样本数据集上具有出色分类性能,本文提出一种基于卷积神经网络和多类SVM分类器[[4]的交通标志识别模型。此模型利用卷积神经网络强大的特征提取和泛化能力,使得算法在复杂环境中依然具有可靠的识别结果。 首先,本文通过迁移学习策略「51L61对AlexNet网络[7]特征提取部分进行微调,并将微调结果作为本文的特征提取器。然后将卷积神经网络提取的特征作为多类SVM分类器的输入。同时为了进一步防止过拟合现象的发生,本文在SVM分类器中加入dropout层,利用随机置零策略进行参数选择。最后,文章通过实验结果证实本文提出的分类模型相比于采用softmax分类器有更好的准确率、在复杂背景中具有较高的识别率和较强的鲁棒性棒。1卷积神经网络和SVM
1.1 AlexNet网络
AlexNet网络是著名的卷积分类网络,可成功实现对1000类别物体的分类。其结构可以分为特征提取器和分类器两部分。
特征提取器主要由卷积层、池化层、激活函数组成。卷积层由大小不同的卷积核组成,卷积核类似于传统视觉中的特征提取算子。但区别于传统视觉算子,卷积核参数由网络自己学习得到,可以提取图像从底层到高层的不同特征信息。池化层常连接在卷积层之后,一般常用最大池化操作。池化层可以加强网络对平移变化的鲁棒性。激活函数为网络引入非线性因素,使得网络可以逼近任意函数形式。
分类层主要由全连接层和多类逻辑回归函数组成。全连接层学习用合理的方式组合特征,可以看为函数映射。逻辑回归函数进行类别概率判别,逻辑回归判别见公式。同时,为了防止全连接层过拟合,AlexNet网络引入dropout层,dropout[9]采用随机置零的方式,防止神经元以特定的方式组合工作,从而防止深度网络的过拟合。p}Y}}}=j1二(‘);B)=艺 e醉x})丫‘eBTx}' }e' j代表类别,二(i)为输入,k代表类别总数,8,表示将样本x}')映射到j类的参数,B代表er,r=i,z,~… ,,组成的矩阵,p(少‘)=j}x(仍表示x}'}属于j类的概率。1.2标准SVM SVM是基于结构风险最小化理论的有监督学习算法,通过寻找最优分割超平面来实现分类[}10}。相比于神经网络,SVM在小样本数据集上也能表现出良好的分类效果,因而得到广泛使用。标准的SVM通过寻求公式(2)的最优解来找到最优超分割平面。minw,b含,,w,,(2)yc> (w·二(‘)+b) >_ 1,i=1, 2,……,m尹)代表第i个样本标签,x}'}代表第i个样本特,m为训练集大小。分类模型设计
本文提出的分类模型主要分为两部分,特征提取部分和多类SVM分类器。整体结构如图1所示。
图1中,特征提取器主要对输入图片进行特征提取和融合,最终得到图像的高阶特征并将提取到的信息特征送入多类SVM分类器。dropout层进行参数随机丢失步骤,此步骤通过随机失活神经元可有效防止过拟合的发生;然后结合不加正则化项的SVM算法进行分类,得到最终输出结果。
2.1特征提取器
传统的视觉特征提取算法只能提取到图像的边缘、方向等底层特征。卷积神经网络具有强大的特征提取能力,可以提取到图像从底层到高层不同层次的特征信息,因而具有更好的特征提取效果。然而,训练一个卷积神经网络往往需要大量的样本和数据。因此,本文采用迁移学习策略,对AlexNet网络的特征提取部分进行微调,得到本次模型的特征提取器。特征提取器主要由多个卷积层一RELU函数一池化层结构连接组成。采用迁移学习是因为本次模型和AlexNet网络均作用于图像数据,因而输入数据具有相同的数据结构,因此AlexNet网络的特征提取器适用于本文模型。
其中,微调时降低浅层卷积层的学习率,将顶层卷积层的学习率适当放大。因为本文数据和Alexnet数据都为图像数据,因而具有相同的低阶特征,因此浅层特征提取层区别不大,因而减小学习率使其更新速率变慢。顶层卷积层主要提取类别等特征,在不同的任务中一般差异较明显,所以设置较大学习率加快更新速率。