神经网路优化方式
【专利摘要】本发明公开了一种神经网路优化方式，通过遗传算法确定最优的神经网路权重以及蕴藏层输出参数值，隐含层输出参数值与蕴涵层层数对应，根据蕴涵层输出参数值可以确定蕴涵层的层数，当蕴涵层输出参数值变化时，隐含层层数急剧变化，神经网路再通过权重与蕴涵层层数预制构件神经网路，由于该权重与蕴涵层层数是较优的，预测输出结果偏差会大大减少，整个神经网路的预测性能很大程度上得到增强。
【专利说明】神经网路优化方式
【技术领域】
[0001] 本发明设及人工神经网络，特别设及一种神经网路优化方式。
【背景技术】
[0002] 近年来，人工神经网络（ANN)提供了一种新的方式来模拟复杂而又难W定义的问 题，已经在智能控制、机器人、模式辨识、计算机视觉、生产过程优化和信息处理等多种 领域中取得了广泛应用。研究结果表明，如果的网路结构太大，将造成归纳性较差，反 之，太小的网路结构则会导致学习能力过高。而网路中的残差和阔值直接可影响神经网路 的训练和辨识的性能。因此，如何优化网路结构是关键，W便尽量提升人工神经网络的 性能。
[0003] 传统的网路结构优化方式有很多种，主要借助主成分分析法确定输入层节点 数，可使问题得到一定的解决，但是当样本数据很大时，样本集本身没有包含全部样本的特 征，将造成预测的结果出现较大的偏差。
【发明内容】
[0004] 基于此，有必要针对神经网路预测结果偏差大的问题，提出一种能减少偏差的神 经网路优化方式。
[0005] 一种神经网路优化方式，包括W下步骤：
[0006] 对神经网路的残差及蕴藏层输出参数值编码产生遗传算法个体；
[0007] 随机形成包含多个所述个体的初始种群；
[000引估算所述种群中每位所述个体的适应度；
[0009] 判断是否满足停止条件；
[0010] 若判定不满足，则执行W下步骤：
[0011] 对所述个体进行选择；
[0012] 对选择后的所述个体进行随机交叉；
[0013] 对交叉后的所述个体进行变异；
[0014] 产生新个体组成的新种群；
[0015] 统计迭代的次数，并返回继续执行所述估算所述种群中每位所述个体的适应度的 步骤；
[0016] 若判定满足停止条件，则执行W下步骤：
[0017] 选择所述适应度最大的所述个体；
[0018] 对所述个体进行解码，得到神经网路的残差及蕴涵层更输出参数；
[0019] 根据所述残差及所述蕴涵层输出参数值，构建神经网路。
[0020] 上述神经网路优化方式，通过遗传算法确定最优的神经网路权重W及蕴涵层输出 参数，根据蕴涵层输出参数值得出蕴藏层层数，神经网路再通过该权重与蕴涵层层数进行 初始化，由于该权重与蕴涵层层数是较优的，利用神经网路进行预测的过程中，输出结果误 差会大大减少，整个神经网路的性能很大程度上得到增强。
【专利附图】
【附图说明】
[0021] 图1为一种施行方法的神经网路优化方式的流程图；
[0022] 图2为另一种施行方法的神经网路优化方式的中对个体进行选择的流程图。
【具体施行方法】
[0023] 为了使本发明的目的、技术方案和优点愈发清楚明了，W下按照附图及施行例，对 本发明进行进一步详尽说明。应当理解，此处所描述的具体施行例仅仅用W解释本发明，并 不限定本发明。
[0024] 遗传算法是一种启发式捜索算法，所要解决的问题是模拟成一个生物进化的过 程，通过复制、交叉W及突变等操作形成下一代的个体，并逐渐淘汰适应度较低的个体，增 加适应度高的个体，适应度高的个体遗产到下一代的机会大，该样可能会进化出适应度很 高的个体。通过遗传算法与神经网路的结合，可W将神经网路的残差及蕴涵层层数编码后 看做是一个个体，对残差及蕴涵层层数的确定过程就是找寻近似最优个体的过程，最终得 到适应度高的个体时，表示残差及蕴涵层层数是较优的。
[0025] 请参阅图1，一种神经网路优化方式，包括W下步骤：
[0026] S100;对神经网路的残差及蕴涵层输出参数值编码产生遗传算法个体。
[0027] 在创建神经网路时，需要按照神经网路中各层之间神经元之间联接的残差W及隐 含层层数初始化神经网路，且残差和蕴涵层层数的选择对后续神经网路的预测输出起到至 关重要的作用，所W通过遗传算法对神经网路的残差及蕴涵层输出参数值进行选择，得到 较优的神经网路残差及蕴涵层层数来建立神经网路。在找寻最优解的过程中，需要将个体 编码成字符串的方式能够使用遗传算法，常用的编码为二进制编码，即将问题的解编码成 二进制链表的方式。通过对神经网路的残差及蕴涵层输出参数值编码成个体，通过遗传算 法对最优个体的选择，即是对神经网路的残差及蕴涵层输出参数值的最优选择。
[002引 S200 ;随机形成包含多个个体的初始种群。
[0029] 种群中包含一定数目的个体，该些个体是随机形成的。遗传算法是通过对种群中 的个体进行最优选择，得到最优的个体。
[0030] S300 ;计算种群中每位个体的适应度。
[0031] 遗传算法中W个体的适应度大小来评定各个个体的好坏程度，从而决定其遗传机 会的大小。
[003引 S400 ;判断是否满足停止条件。
[003引若判定不满足，则执行W下步骤：
[0034] S410 ;对个体进行选择。
[0035] 对种群中多个个体进行选择，对被选择次数较多的个体进行下一步的操作，个体 被选中的机率与其适应度是成正比的，从而被选择次数较多的个体说明其适应度较大，确 定各个个体被复制到下一代种群中的数目。
[0036] S420 ;对选择后的个体进行随机交叉。
[0037] 对个体进行交叉后，会产生不同的个体。即个体中的残差和蕴涵层输出参数值会 发生变化。
[003引 S430 ;对交叉后的个体进行变异。
[0039] 对交叉得到的个体再进行变异，得到新的个体。得到由新的残差和蕴涵层输出参 数值产生的个体。
[0040] S440 ;产生新个体组成的新种群。
[0041] 由于种群是由个体组成的，当形成新的个体时，种群急剧更新为新的种群。
[0042] S450;统计迭代的次数，并返回继续执行估算种群中每位个体的适应度的步骤 S300。
[0043] 统计迭代的次数是为停止条件做打算的，再估算新的种群中每位个体的适应度， 此时的个体是更新的，则估算出的适应度也急剧改变。在对神经网路的残差及蕴涵层输出 参数值编码产生遗传算法个体之前，迭代的次数是清零的。
[0044] 若判定满足停止条件，则执行W下步骤：
[0045] S500 ;选择适应度最大的个体。
[0046] S600 ;对个体进行解码，得到神经网路的残差及蕴涵层输出参数值。
[0047] S700 ;根据残差及蕴涵层输出参数值，构建神经网路。
[0048] 当个体的适应度满足停止条件时，在种群的个体中选择适应度最大的个体，并对 其进行解码，得到最优的神经网路的残差及蕴涵层输出参数值，神经网路的蕴涵层层数是 根据该隐含层输出参数值而决定的，当最优的蕴涵层之间的联接参数确定后，神经网路的 隐含层层数急剧确定，从而按照残差和蕴涵层层数初始化神经网路。
[0049] 上述神经网路优化方式，通过遗传算法确定最优的神经网路权重W及蕴涵层输出 参数值，隐含层输出参数值与蕴涵层层数对应，根据蕴涵层输出参数值可W确定蕴涵层的 层数，当蕴涵层输出参数值变化时，隐含层层数急剧变化，神经网路再通过权重与蕴涵层层 数预制构件神经网路，由于该权重与蕴涵层层数是较优的，预测输出结果偏差会大大减少，整个 预测性能很大程度上得到增强。
[0050] 在其中一个施行例中，停止条件包括迭代的次数超过最大迭代次数或个体的适应 度超过阔值。
[CK)5U 当个体的适应度超过预设的阔值，认为通过遗传算法得到了最优的个体，则按照 最优的个体中的残差和蕴涵层输出参数值得到最优的残差和蕴涵层层数，构件最优的神经 网络。然而，个体的适应度仍然没有达到预设的阔值时，通过最大迭代次数来停止个体更 新，W免更新过程仍然继续。
[0化2] 在其中一个施行例中，根据残差及蕴涵层输出参数值，构建神经网路的步骤S700 之后包括W下步骤：
[0化3] S800 ;通过神经网路进行预测，并将预测结果输出。
[0化4] 在建立神经网路后，通过测试样本对神经网络进行测试，得到预测结果。
[0化5] 在其中一个施行例中，计算种群中每位个体的适应度的步骤S300包括W下步骤： [0化6] 分别估算第1隐含层至第N蕴涵层的输出向量。
[0057] 根据第N蕴涵层的输出向量估算输出层神经元的输出。
[005引按照输出层神经元的输出，计算输出层的输出向量。
[0化9] 计算目标函数。
[0060] 根据目标函数，计算个体的适应度。
[0061] 其中，N为蕴涵层层数。
[0062] 神经网路包括输入层、隐含层W及输出层，隐含层层数是按照蕴涵层输出参数值 所决定的，当通过上述神经网路优化方式对个体进行更新后，则神经网路的残差W及蕴涵 层输出参数值急剧更新，隐含层层数也就更新了。
[0063] 在其中一个施行例中，分别估算第1隐含层至第N蕴涵层的输出向量的步骤包括 W下步骤：
[0064] 计算隐含层神经元的输出，计算公式为：
【权利要求】
1. 一种神经网路优化方式，其特点在于，包括以下步骤： 对神经网路的残差及蕴涵层输出参数值编码产生遗传算法个体； 随机形成包含多个所述个体的初始种群； 估算所述种群中每位所述个体的适应度； 判定是否满足停止条件； 若判定不满足，则执行以下步骤： 对所述个体进行选择； 对选择后的所述个体进行随机交叉； 对交叉后的所述个体进行变异； 形成新个体组成的新种群； 统计迭代的次数，并返回继续执行所述估算所述种群中每位所述个体的适应度的步 骤； 若判定满足停止条件，则执行以下步骤： 选择所述适应度最大的所述个体； 对所述个体进行解码，得到神经网路的残差及蕴涵层更输出参数； 按照所述残差及所述蕴涵层输出参数值，构建神经网路。
2. 根据权力要求1所述的神经网路优化方式，其特点在于，所述停止条件包括所述迭 代的次数超过最大迭代次数或所述个体的所述适应度超过阀值。
3. 根据权力要求1所述的神经网路优化方式，其特点在于，所述按照所述残差及所述 隐含层输出参数值，构建神经网路的步骤过后包括以下步骤： 通过所述神经网路进行预测，并将预测结果输出。
4. 根据权力要求1所述的神经网路优化方式，其特点在于，所述估算所述种群中每位 所述个体的适应度的步骤包括以下步骤： 分别估算第1隐含层至第N蕴涵层的输出向量； 按照所述第N蕴涵层的输出向量估算输出层神经元的输出； 按照所述输出层神经元的输出，计算输出层的输出向量； 估算目标函数； 按照所述目标函数，计算所述个体的所述适应度； 其中，所述N为蕴涵层的层数。
5. 根据权力要求4所述的神经网路优化方式，其特点在于， 所述分别估算第1隐含层至第N蕴涵层的输出向量的步骤包括以下步骤： 估算隐含层神经元的输出，计算公式为：
其中，所述A/表示第1隐含层的第j个神经元的输出，所述.表示输入层的第k个神 经元与第1隐含层的第j个神经元之间的权重，所述Xk表示神经网路的输入层第k个神经 元的输入，所述表示第i-1蕴涵层的第k个神经元与第i蕴涵层的第j个神经元之间 的权重，所述表示第i蕴涵层的第j个神经元的输出，所述M1表示第i-1蕴涵层的第k 个神经元的输出，所述Iltl为输入层的神经元个数，所述IlH为第i-1蕴涵层的神经元个数， 所述f为激活函数； 估算第1蕴涵层的输出向量，计算公式为：
其中，所述H1表示第1蕴涵层的神经元个数，所述1^表示为第1隐含层神经元的输出 向量，所述W表示第1隐含层的第1个神经元的输出，所述V表示第1隐含层的第j个神经 元的输出，所述V表示第1隐含层的第1^个神经元的输出，所述M1表示输入层的第k个神 经元与第1隐含层的第1个神经元之间的权重，所述表示输入层的第k个神经元与第1 蕴涵层的第j个神经元之间的权重，所述WkcU表示输入层的第k个神经元与第1蕴涵层的 第化个神经元之间的权重； 估算第i蕴涵层的输出向量，计算公式为：
其中，所述hi为第i蕴涵层的输出向量，所述hH为第i-1蕴涵层的输出向量，所述UH表示第i隐含层输出参数值，所述4]1表示第i-1蕴涵层的第k个神经元与第i蕴涵层的 第1个神经元之间的权重，所述>0表示第i-1蕴涵层的第k个神经元与第i蕴涵层的第j 个神经元之间的权重，所述表示第i-1蕴涵层的第k个神经元与第i蕴涵层的第叫个 神经元之间的权重，所述Ili为第i蕴涵层的神经元个数； 估算第N蕴涵层的输出向量，计算公式为：
所述I^1表示第N蕴涵层输出参数值，所述N为蕴涵层的层数，所述hN表示第N蕴涵层 的输出向量，所述V1表示第N-I蕴涵层的输出向量，所述表示第N-I蕴涵层的第k个 神经元的输出，所述Wff1.表示第N-I蕴涵层的第k个神经元与第N蕴涵层的第1个神经元 之间的权重，所述表示第N-I蕴涵层的第k个神经元与第N蕴涵层的第j个神经元之 间的权重，所述表示第N-I蕴涵层的第k个神经元与第N蕴涵层的第nN个神经元之间 的权重，所述nN表示第N蕴涵层的神经元个数，所述nN_i表示第N-I蕴涵层的神经元个数； 所述按照所述第N蕴涵层的输出向量估算输出层神经元的输出的步骤的估算公式为：
其中，所述表示第N蕴涵层的第k个神经元和输出层第j个神经元之间的权重，所 述/^表示第N蕴涵层的第k个神经元的输出；所述7」表示输出层的第j个神经元的输出； 所述按照所述输出层神经元的输出，计算输出层的输出向量的步骤的估算公式为： F(U,W,X) = (y1,y2,-yllJ; 所述F(U，W，X)表示输出层的输出向量，所述X为输入层的输入向量，所述W表示神经 网路权重矩阵，所述U表示蕴涵层输出参数值矩阵，U= [U1，…，Ui，…，uN_J，所述U1表示第 2隐含层输出参数值，所述Ui表示第i+1隐含层输出参数值，其中所述up^及uN_i的取值 为〇或1 ;所述Y1表示输出层第1个神经元的输出，所述y2表示输出层第1个神经元的输 出，所述表示输出层第nN+1个神经元的输出，所述nN+1表示输出层神经元的个数； 所述估算目标函数的步骤的估算公式为： R=I|F(U,X,ff)-d|I2； 其中，所述R为所述目标函数，所述d为神经网路的期望输出向量； 所述按照所述目标函数，计算所述个体的所述适应度的步骤的估算公式为： Fit=M-R； 其中，所述Fit为所述个体的所述适应度，所述M为一个小于O的数。
6.根据权力要求5所述的神经网路优化方式，其特点在于，所述激励函数f具体为：
其中，所述X为激励函数f的自变量。
7. 根据权力要求5所述的神经网路优化方式，其特点在于，所述对所述个体进行选择 的步骤包括以下步骤： 初始化m为O; 估算每位所述个体被遗传到下一代种群中的机率，计算公式为：
其中，所述Pz表示第z个所述个体遗传到下一代种群的机率，所述T为所述个体的数 量，所述Fit(t)为第t个所述个体的适应度，所述Fit(z)为第z个所述个体的适应度，所 述z为小于等于1大于等于T的正整数，所述t为小于等于1大于等于T的正整数； 估算每位所述个体的累积机率，计算公式为：
其中，所述qt为第t个所述个体的累积机率； 判定所述m是否小于预设值； 若小于，则执行所述对选择后的所述个体进行随机交叉的步骤； 若大于，则执行以下步骤： 在〇到1之间随机形成一个随机数r; 判定所述r是否大于第1个所述个体的累积机率q1; 若判定所述r大于第1个所述个体的累积机率qi，则执行以下步骤： 选择第1个所述个体，第1个所述个体被选择的次数降低1，所述m降低1，并返回继续 执行判定所述m是否小于预设值的步骤； 若判定所述r小于等于第1个所述个体的累积机率qi，则执行以下步骤： 当8. 根据权力要求7所述的神经网路优化方式，其特点在于，所述对选择后的所述个体 进行随机交叉的步骤具体为： 对被选择的次数小于预设次数的所述个体进行随机交叉。
9. 根据权力要求8所述的神经网路优化方式，其特点在于，所述对选择后的所述个体 进行随机交叉的步骤包括以下步骤： 对所述个体进行随机配对； 随机设置交叉点位置； 所述配对个体的一个个体以所述交叉点位置为分界点分为第一部分和第二部份； 所述配对个体的另一个个体以所述交叉点位置相对应的以分界点分为第三部份和第 四部份； 将所述第一部分与所述第三部份交换，或所述第二部份与所述第四部份交换； 得到交叉后的个体。
10.按照权力要求9所述的神经网路优化方式，其特点在于，所述对交叉后的所述个体 进行变异的步骤包括以下步骤： 选择所述个体的变异位置点； 对所述个体的所述变异位置点的值取反。
【文档编号】G06N3/02GK104504442SQ201410843528
【公开日】2015年4月8日 申请日期:2014年12月30日 优先权日:2014年12月30日
【发明者】杨玉林, 谢松均, 柏智 申请人:湖南强智科技发展有限公司
