前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡反向傳播原理主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經網絡反向傳播原理范文

（江蘇科技大學電子信息學院，江蘇鎮江212003）

摘要：在實際交通環境中，由于運動模糊、背景干擾、天氣條件以及拍攝視角等因素，所采集的交通標志的圖像質量往往不高，這就對交通標志自動識別的準確性、魯棒性和實時性提出了很高的要求。針對這一情況，提出一種基于深層卷積神經網絡的交通標志識別方法。該方法采用深層卷積神經網絡的有監督學習模型，直接將采集的交通標志圖像經二值化后作為輸入，通過卷積和池采樣的多層處理，來模擬人腦感知視覺信號的層次結構，自動地提取交通標志圖像的特征，最后再利用一個全連接的網絡實現交通標志的識別。實驗結果表明，該方法利用卷積神經網絡的深度學習能力，自動地提取交通標志的特征，避免了傳統的人工特征提取，有效地提高了交通標志識別的效率，具有良好的泛化能力和適應范圍。

關鍵詞 ：交通標志；識別；卷積神經網絡；深度學習

中圖分類號：TN911.73?34；TP391.41 文獻標識碼：A 文章編號：1004?373X（2015）13?0101?06

收稿日期：2015?01?09

基金項目：國家自然科學基金面上項目（61371114）

0 引言

隨著智能汽車的發展，道路交通標志的自動識別[1?3]作為智能汽車的基本技術之一，受到人們的高度關注。道路交通標志識別主要包括兩個基本環節：首先是交通標志的檢測，包括交通標志的定位、提取及必要的預處理；其次是交通標志的識別，包括交通標志的特征提取和分類。

如今，交通標志的識別方法大多數都采用人工智能技術，主要有下述兩類形式[4]。一種是采用“人工特征+機器學習”的識別方法，如基于淺層神經網絡、支持向量機的特征識別等。在這種方法中，主要依靠先驗知識，人工設計特征，機器學習模型僅負責特征的分類或識別，因此特征設計的好壞直接影響到整個系統性能的性能，而要發現一個好的特征，則依賴于研究人員對待解決的問題的深入理解。另一種形式是近幾年發展起來的深度學習模型[5]，如基于限制波爾茲曼機和基于自編碼器的深度學習模型以及卷積神經網絡等。在這種方法中，無需構造任何的人工特征，而是直接將圖像的像素作為輸入，通過構建含有多個隱層的機器學習模型，模擬人腦認知的多層結構，逐層地進行信息特征抽取，最終形成更具推廣性和表達力的特征，從而提升識別的準確性。

卷積神經網絡作為深度學習模型之一，是一種多層的監督學習神經網絡，它利用一系列的卷積層、池化層以及一個全連接輸出層構建一個多層的網絡，來模仿人腦感知視覺信號的逐層處理機制，以實現視覺特征信號的自動提取與識別。本文將深層卷積神經網絡應用于道路交通標志的識別，通過構建一個由二維卷積和池化處理交替組成的6層網絡來逐層地提取交通標志圖像的特征，所形成的特征矢量由一個全連接輸出層來實現特征的分類和識別。實驗中將加入高斯噪聲、經過位移、縮放和旋轉處理的交通標志圖像以及實際道路采集交通標志圖像分別構成訓練集和測試集，實驗結果表明，本文所采用的方法具有良好的識別率和魯棒性。

1 卷積神經網絡的基本結構及原理

1.1 深度學習

神經科學研究表明，哺乳動物大腦皮層對信號的處理沒有一個顯示的過程[5]，而是通過信號在大腦皮層復雜的層次結構中的遞進傳播，逐層地對信號進行提取和表述，最終達到感知世界的目的。這些研究成果促進了深度學習這一新興研究領域的迅速發展。

深度學習[4，6?7]的目的就是試圖模仿人腦感知視覺信號的機制，通過構建含有多個隱層的多層網絡來逐層地對信號特征進行新的提取和空間變換，以自動學習到更加有效的特征表述，最終實現視覺功能。目前深度學習已成功地應用到語音識別、圖像識別和語言處理等領域。在不同學習框架下構建的深度學習結構是不同的，如卷積神經網絡就是一種深度的監督學習下的機器學習模型。

1.2 卷積神經網絡的基本結構及原理

卷積神經網絡受視覺系統的結構啟發而產生，第一個卷積神經網絡計算模型是在Fukushima 的神經認知機中提出的[8]，基于神經元之間的局部連接和分層組織圖像轉換，將有相同參數的神經元應用于前一層神經網絡的不同位置，得到一種平移不變神經網絡結構形式。后來，LeCun 等人在該思想的基礎上，用誤差梯度設計并訓練卷積神經網絡[9?10]，在一些模式識別任務上得到優越的性能。

卷積神經網絡本質上是一種有監督的深度學習算法，無需事先知道輸入與輸出之間精確的數學表達式，只要用已知的模式對卷積神經網絡加以訓練，就可以學習到輸入與輸出之間的一種多層的非線性關系，這是非深度學習算法不能做到的。卷積神經網絡的基本結構是由一系列的卷積和池化層以及一個全連接的輸出層組成，可以采用梯度下降法極小化誤差函數對網絡中的權值和閾值參數逐層反向調節，以得到網絡權值和閾值的最優解，并可以通過增加迭代次數來提高網絡訓練的精度。

1.2.1 前向傳播

在卷積神經網絡的前向傳播中，輸入的原始圖像經過逐層的卷積和池化處理后，提取出若干特征子圖并轉換成一維特征矢量，最后由全連接的輸出層進行分類識別。

在卷積層中，每個卷積層都可以表示為對前一層輸入圖像的二維卷積和非線性激勵函數，其表達式可用式（1）表示：

式中：Yj 表示輸出層中第j 個輸出；Y l + 1i 是前一層（l + 1層）

的輸出特征（全連接的特征向量）；n 是輸出特征向量的長度；Wij 表示輸出層的權值，連接輸入i 和輸出j ；bj表示輸出層第j 個輸出的閾值；f (?) 是輸出層的非線性

1.2.2 反向傳播

在反向傳播過程中，卷積神經網絡的訓練方法采用類似于BP神經網絡的梯度最速下降法，即按極小化誤差的方法反向傳播調整權值和閾值。網絡反向傳播回來的誤差是每個神經元的基的靈敏度[12]，也就是誤差對基的變化率，即導數。下面將分別求出輸出層、池采樣層和卷積層的神經元的靈敏度。

（1）輸出層的靈敏度

對于誤差函數式（6）來說，輸出層神經元的靈敏度可表示為：

在前向傳播過程中，得到網絡的實際輸出，進而求出實際輸出與目標輸出之間的誤差；在反向傳播過程中，利用誤差反向傳播，采用式（17）~式（20）來調整網絡的權值和閾值，極小化誤差；這樣，前向傳播和反向傳播兩個過程反復交替，直到達到收斂的要求為止。

2 深層卷積神經網絡的交通標志識別方法

2.1 應用原理

交通標志是一種人為設計的具有特殊顏色（如紅、黃、白、藍、黑等）和特殊形狀或圖形的公共標志。我國的交通標志主要有警告、禁令、指示和指路等類型，一般采用顏色來區分不同的類型，用形狀或圖形來標示具體的信息。從交通標志設計的角度來看，屬于不同類型（不同顏色）的交通標志在形狀或圖形上有較大的差異；屬于相同類型（相同顏色）的標志中同類的指示信息標志在形狀或圖形上比較接近，如警告標志中的平面交叉路口標志等。因此，從機器視覺的角度來分析，同類型中同類指示信息的標志之間會比不同類型的標志之間更易引起識別錯誤。換句話說，相比于顏色，形狀或圖形是正確識別交通標志的關鍵因素。

因此，在應用卷積神經網絡識別交通標志時，從提高算法效率和降低錯誤率綜合考慮，將交通標志轉換為灰度圖像并作二值化處理后作為卷積神經網絡的輸入圖像信息。圖2給出了應用卷積神經網絡識別交通標志的原理圖。該網絡采用了6層交替的卷積層和池采樣層來逐層提取交通標志的特征，形成的特征矢量由一個全連接的輸出層進行識別。圖中：W1i（i=1，2，…，m1），W1（j j=1，2，…，m2），…，W1k（k=1，2，…，m（n?1））分別表示卷積層L1,L3,…,Ln - 1 的卷積核；Input表示輸入的交通標志圖像；

Pool表示每個池采樣層的采樣池；map表示逐層提取的特征子圖；Y 是最終的全連接輸出。

交通標志識別的判別準則為：對于輸入交通標志圖像Input，網絡的輸出矢量Y = [y1,y2 ,…,yC ]，有yj = Max{y1，y2 ,…,yC}，則Input ∈ j，即判定輸入的交通標志圖像Input為第j 類交通標志。

2.2 交通標志識別的基本步驟

深層神經網絡識別交通標志主要包括交通標志的訓練與識別，所以將交通標志識別歸納為以下4個步驟：（1） 圖像預處理：利用公式Gray= 0.299R +0.587G + 0.114B 將彩色交通標志圖像轉換為灰度圖像，再利用鄰近插值法將交通標志圖像規格化，最后利用最大類間方差將交通標志圖像二值化。

（2）網絡權值和閾值的初始化：利用隨機分布函數將權值W 初始化為-1~1之間的隨機數；而將閾值b 初始化為0。

（3）網絡的訓練：利用經過預處理的交通標志圖像構成訓練集，對卷積神經網絡進行訓練，通過網絡前向傳播和反向傳播的反復交替處理，直到滿足識別收斂條件或達到要求的訓練次數為止。

（4）交通標志的識別：將實際采集的交通標志圖像經過預處理后，送入訓練好的卷積神經網絡中進行交通標志特征的提取，然后通過一個全連接的網絡進行特征分類與識別，得到識別結果。

3 實驗結果與分析

實驗主要選取了我國道路交通標志的警告標志、指示標志和禁令標志三類中較常見的50幅圖像。考慮到在實際道路中采集到的交通標志圖像會含有噪聲和出現幾何失真以及背景干擾等現象，因此在構造網絡訓練集時，除了理想的交通標志以外，還增加了加入高斯噪聲、經過位移、旋轉和縮放處理和實際采集到的交通標志圖像，因此最終的訓練樣本為72個。其中，加入的高斯噪聲為均值為0，方差分別為0.1，0.2，0.3，圖像的位移、旋轉、縮放的參數分別隨機的分布在±10，±5°，0.9~1.1的范圍內。圖3給出了訓練集中的交通標志圖像的示例。圖4是在實際道路中采集的交通標志圖像構成的測試集的示例。

在實驗中構造了一個輸入為48×48個神經元、輸出為50 個神經元的9 層網絡。網絡的輸入是像素為48 × 48 的規格化的交通標志圖像，輸出對應于上述的50種交通標志的判別結果。網絡的激活函數采用S型函數，如式（2）所示，其輸出范圍限制在0~1之間。

圖6是交通標志的訓練總誤差EN 曲線。在訓練開始的1 500次，誤差能迅速地下降，在迭代2 000次以后是一個平穩的收斂過程，當迭代到10萬次時，總誤差EN可以達到0.188 2。

在交通標志的測試實驗中，為了全面檢驗卷積神經網絡的識別性能，分別針對理想的交通標志，加入高斯噪聲、經過位移、旋轉和比例縮放以及采集的交通標志圖像進行實驗，將以上測試樣本分別送入到網絡中識別，表2給出了測試實驗結果。

綜合分析上述實驗結果，可以得到以下結論：（1）在卷積神經網絡的訓練學習過程中，整個網絡的誤差曲線快速平穩的下降，體現出卷積神經網絡的訓練學習具有良好的收斂性。

（2）經逐層卷積和池采樣所提取的特征具有比例縮放和旋轉不變性，因此對于旋轉和比例縮放后的交通標志能達到100%的識別率。

（3）與傳統的BP網絡識別方法[11]相比較，卷積神經網絡能夠達到更深的學習深度，即在交通標志識別時能夠得到更高的所屬類別概率（更接近于1），識別效果更好。

（4）卷積神經網絡對實際采集的交通標志圖像的識別率尚不能達到令人滿意的結果，主要原因是實際道路中采集的交通標志圖像中存在著較嚴重的背景干擾，解決的辦法是增加實際采集的交通標志訓練樣本數，通過網絡的深度學習，提高網絡的識別率和魯棒性。

4 結論

本文將深層卷積神經網絡應用于道路交通標志的識別，利用卷積神經網絡的深層結構來模仿人腦感知視覺信號的機制，自動地提取交通標志圖像的視覺特征并進行分類識別。實驗表明，應用深層卷積神經網絡識別交通標志取得了良好的識別效果。

在具體實現中，從我國交通標志的設計特點考慮，本文將經過預處理二值化的圖像作為網絡的輸入，主要是利用了交通標志的形狀信息，而基本略去了顏色信息，其優點是在保證識別率的基礎上，可以簡化網絡的結構，降低網絡的計算量。在實際道路交通標志識別中，將形狀信息和顏色信息相結合，以進一步提高識別率和對道路環境的魯棒性，是值得進一步研究的內容。

此外，本文的研究沒有涉及到道路交通標志的動態檢測，這也是今后可以進一步研究的內容。

參考文獻

[1] 劉平華，李建民，胡曉林，等.動態場景下的交通標識檢測與識別研究進展[J].中國圖象圖形學報，2013，18（5）：493?503.

[2] SAHA S K，DULAL C M，BHUIYAN A A. Neural networkbased sign recognition [J]. International Journal of ComputerApplication，2012，50（10）：35?41.

[3] STALLKAMP J，SCHLIOSING M，SALMENA J，et al. Man vs.computer：benchmarking machine learning algorithms for traf?fic sign recognition [J]. Neural Network，2012，32（2）：323?332.

[4] 中國計算機學會.深度學習：推進人工智能夢想[EB/OL].[2013?06?10].http：//ccg.org.cn.

[5] 鄭胤，陳權崎，章毓晉.深度學習及其在目標和行為識別中的新進展[J].中國圖象圖形學報，2014，19（2）：175?184.

[6] FUKUSHIMA K. Neocognition：a self ? organizing neural net?work model for a mechanism of pattern recognition unaffectedby shift in position [J]. Biological Cybernetics，1980，36（4）：193?202.

[7] LECUN Y，BOTTOU L，BENGIO Y，et al. Gradient ? basedlearning applied to document recognition [J]. IEEE Journal andMagazines，1989，86（11）：2278?2324.

[8] LECUN Y，BOTTOU L，BENGIO Y，et al. Backpropagationapplied to handwritten zip code recognition [J]. Neural Compu?tation，1989，1（4）：541?551.

[9] CIRESAN D，MEIER U，MAsci J，et al. Multi?column deepneural network for traffic sign classification [J]. Neural Net?works，2012，32（2）：333?338.

[10] NAGI J，DUCATELLE F，CARO D，et al. Max?pooling con?volution neural network for vision?based hand gesture recogni?tion [C]// 2011 IEEE International Conference on Signal andImage Processing Application. Kuala Lumpur：IEEE，2011，342?347.

[11] 楊斐，王坤明，馬欣，等.應用BP神經網絡分類器識別交通標志[J].計算機工程，2003，29（10）：120?121.

[12] BUVRIE J. Notes on convolutional neural networks [EB/OL].[2006?11?12]. http：//cogprints.org/5869/.

[13] 周開利，康耀紅.神經網絡模型及其Matlab 仿真設計[M].北京：清華大學出版社，2005.

[14] 孫志軍，薛磊，許陽明，等.深度學習研究綜述[J].計算機應用研究，2012，29（8）：2806?2810.

[15] 劉建偉，劉媛，羅雄麟.深度學習研究進展[J].計算機應用研究，2014（7）：1921?1930.

第2篇：神經網絡反向傳播原理范文

關鍵詞：人工神經網絡 反向傳播算法 故障診斷

1 引言

隨著經濟的發展，空調系統得到了越來越廣泛的應用，空調設備已成為重要的生活必備品之一。這就要求空調系統可靠性高且功能齊全，而且在故障診斷維修服務方面達到一定的水平。國內目前的大部分空調系統中無故障診斷系統，當空調系統出現故障后，維保人員往往不能及時、準確地了解系統出現故障的原因及相關信息，空調系統無法得到及時修復，這種情況急需得到改善。

2 關于故障診斷技術

故障診斷FD(fault diagnosis)是一種了解和掌握設備在使用過程中的技術，確定其整體或局部是否正常，早期發現故障及其原因并能預報故障發展趨勢的技術。在診斷過程中，必須利用被診斷對象表現出來的各種有用信息，經過適當地處理和分析，做出正確的診斷結論。在制冷暖通空調領域，1987年在彥啟森教授的建議下，才開始了故障診斷專家系統在制冷暖通空調領域的研究應用[1]。

3 人工神經網絡用于空調系統故障診斷的基本原理

人工神經網絡(Artificial Neural Network．簡稱ANN)正是在人類對其大腦神經網絡認識理解的基礎上人工構造的能夠實現某種功能的神經網絡。它是理論化的人腦神經網絡的數學模型，是基于模仿大腦神經網絡結構和功能而建立的一種信息處理系統。它實際上是由大量簡單元件相互連接而成的復雜網絡，具有高度的非線性，能夠進行復雜的邏輯操作和非線性關系實現的系統。

典型的神經網絡結構如圖1所示。

在眾多的人工神經網絡模型中，最常用的是BP(Back Propagation)模型，即利用誤差反向傳播算法求解的多層前向神經網絡模型[2]。BP網絡在故障診斷、模式識別、圖像識別、管理系統等方面都得到了廣泛的應用。本文討論利用神經網絡中的BP模型進行空調系統的故障診斷。

首先需要進行知識的獲取。由專家提供關于各種空調系統故障現象(征兆集)及相應的故障原因(故障集)實例作為學習樣本。將數據分為兩部分，一部分用于訓練網絡，另一部分用于測試。將訓練網絡的數據按一定順序編碼，分別賦給網絡輸入、輸出節點，通過神經網絡學習算法對樣本進行學習，經過網絡內部自適應算法不斷修正權值，直到達到所要求的學習精度為止。此時在大量神經元之間聯結權值上就分布著專家知識和經驗。訓練完畢后，再將測試網絡的數據從初始狀態出發，向前推理，將顯示出的故障結果與實際的測試數據結果相比較，如果誤差很小，說明網絡的權值建立正確；如果誤差較大，說明網絡的權值建立有誤，需要重新進行網絡的訓練。

將訓練樣本訓練完畢后，即可進行空調系統的故障診斷。只要實際輸入模式接近于某一個訓練時的學習樣本的輸入模式，則可產生出接近學習樣本的輸出結果，也就是所謂的自聯想功能。同時，由于網絡計算上的大量并行性，當機器運行狀況改變，出現網絡學習未考慮的情況時，系統亦能給出正確分類結果。同時將新數據并入網絡，實現系統的自適應。一般來說，學習的故障實例樣本越多，診斷結果的準確率越高。

4 BP學習算法

BP算法因其簡單、易行、計算量小、并行性強等優點，是目前神經網絡訓練采用最多也是最成熟的訓練算法之一。BP算法的實質是求解誤差函數的最小值問題，由于它采用非線性規劃中的梯度下降法（Gradient Descent），按誤差函數的負梯度方向修正權值 [3]。其主要思路是如果求出訓練網絡的指標函數誤差：

一般的BP算法稱為標準誤差逆傳播算法，也就是對應每一次輸入都校正一次權值。這種算法不是全局誤差意義上的梯度下降計算。對各個神經元的輸出求偏導數，那么就可以算出誤差對所有連接權值的偏導數，從而可以利用梯度下降法來修改各個連接權值。真正的全局誤差意義上的梯度下降算法是在全部訓練模式都學習完后才校正連接權和閾值。其計算流程如圖2所示：

5 故障診斷實例 5.1 空調系統故障診斷的BP網絡建立

空調系統故障模式及故障機制分析[4]如表1所示

表1 空調系統故障模式及故障機制分析 表示

符號

表示

符號

房間溫度均偏高

1.冷凍機產冷量不足

2.噴水堵塞

3.通過空氣處理設備的風量過大，熱交換不良

4.回風量大于送風量

5.送風量不足（可能空氣過濾氣堵塞）

6.表冷器結霜，造成堵塞

相對濕度均偏低

7.室外空氣未經加濕處理

系統實測風量大于設計風量

8.系統的實際阻力小于設計阻力

9.設計時選用風機容量偏大

房間氣流速度超過允許流速

10.送風口速度過大

第3篇：神經網絡反向傳播原理范文

關鍵詞：BP神經網絡 卡爾曼濾波 數據融合

一、引言

數據融合是指對來自多個傳感器的信息進行融合，也可以將來自多個傳感器的信息和人機界面的觀測事實進行信息融(這種融合通常是決策級融合)。提取征兆信息，在推理機作用下．將征兆與知識庫中的知識匹配，做出故障診斷決策，提供給用戶。在基于信息融合的故障診斷系統中可以加入自學習模塊．故障決策經自學習模塊反饋給知識庫．并對相應的置信度因子進行修改，更新知識庫。同時．自學習模塊能根據知識庫中的知識和用戶對系統提問的動態應答進行推理。以獲得新知識。總結新經驗，不斷擴充知識庫，實現專家系統的自學習功能。

多傳感器數據融合是20世紀70年代以來發展起來的一門新興邊緣學科，目前已經成為備受人們關注的熱門領域。多傳感器數據融合是一門新興技術，在軍事和非軍事領域中都礙到了廣泛應用、多傳感器數據融合技術汲取了人工智能、模式識別、統計估計等多門學科的相關技術，計算機技術的快速發展以及數據融合技術的成熟為數據融合的廣泛應用提供了基礎。

多傳感器信息融合狀態估計是多傳感器信息融合學科的一個重要分支。多傳感器數據融合的基本原理就像是人腦綜合處理信息的過程一樣，它充分利用多個傳感器資源，通過對各種傳感器及其觀測信息的合理支配與使用，將各傳感器在空間和時間上的互補與冗余信息依據某種優化準則組合起來，產生對觀測環境的一致性解釋和描述。目前有兩種常用的信息融合方法：一種方法是狀態融合方法，另一種方法是觀測融合方法。狀態融合方法又可分為集中式kalman濾波[1]和分散式kalman濾波。集中式kalman濾波雖然在理論上可獲得全局最優融合狀態估計，但這種方法計算量大，且容錯性能差，而分散式kalman濾波信息融合能克服這些缺點，但這種方法是局部最優的，因此基于此思想我們可以利用BP神經網絡來提高融合精度。

BP(Back Propagation)神經網絡[2]，即誤差反傳誤差反向傳播算法的學習過程，由信息的正向傳播和誤差的反向傳播兩個過程組成。輸入層各神經元負責接收來自外界的輸入信息，并傳遞給中間層各神經元；中間層是內部信息處理層，負責信息變換，根據信息變化能力的需求，中間層可以設計為單隱層或者多隱層結構；最后一個隱層傳遞到輸出層各神經元的信息，經進一步處理后，完成一次學習的正向傳播處理過程，由輸出層向外界輸出信息處理結果。當實際輸出與期望輸出不符時，進入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權值，向隱層、輸入層逐層反傳。周而復始的信息正向傳播和誤差反向傳播過程，是各層權值不斷調整的過程，也是神經網絡學習訓練的過程，此過程一直進行到網絡輸出的誤差減少到可以接受的程度，或者預先設定的學習次數為止。

BP神經網絡是模擬人腦的信息處理機制而構造出來的一種并行信息處理模型，它有分布式存儲和聯想記憶功能，具有較強的自適應性和自組織性，具有任意的非線性映射能力，能被用來對兩個估計模型的輸出結果進行有效的分析和綜合，提高估計的精度和可靠性。

二、模型描述

帶有觀測噪聲的三傳感器雷達跟蹤系統：

狀態 ， ，和分別為在時刻 處運動目標的位置、速度和加速度， 為第 個傳感器對位置的觀測，為與 相關的白噪聲。

kalman濾波按矩陣加權融合準則算法是基于L個傳感器觀測已知它的 L個無偏估計 ，即，

設已知估計誤差 的方差陣和協方差陣 ，,， ，其中E為均值號，T為轉置號，問題是尋求X的按矩陣加權無偏融合估計， ，

其中加權陣 為 矩陣，在線性最小方差意義下，應選擇加權陣極小化融合估計誤差的分量均方和J，，

它等價于

按矩陣加權融合準則算法既是對L個傳感器經kalman濾波器得到的狀態求得加權矩陣 使得性能指標J最小。

基于加權思想，對以上的三傳感器雷達跟蹤模型建立BP神經網絡，三傳感器的輸出作為網絡的輸入，網絡的輸出與模型的狀態數據比較后反向傳播對各層神經元權值進行修改，直到輸出層與模型狀態的誤差達到期望誤差。由于本次實驗模型簡單，對其采用兩層BP網絡，隱層神經元采用Sigmoid型激活函數，輸出層采用線性激活函數。在使用網絡前需要對網絡進行訓練，本次實驗設置訓練時間為50個單位時間，訓練目標設置為誤差小于0.2。

三、仿真分析

以下給出個狀態在各種方法下的仿真結果：

圖1、圖2為三個傳感器的測量值經kalman平滑器估計后的的狀態1經BP神經網絡融合后的值和理想狀態的對比圖。從圖中可以看出經神經網絡融合后對狀態1的估計精度有了進一步的提高。而且訓練速度也非常迅速，大約10步左右就能達到要求的誤差。

圖3、圖4為三個傳感器的測量值經kalman平滑器估計后的的狀態2經BP神經網絡融合后的值和理想狀態的對比圖。從圖中可以看出經神經網絡融合后對狀態2的估計精度有了進一步的提高。而且訓練速度也非常迅速，大約20步左右就能達到要求的誤差。

圖5為比較加權融合后的穩態誤差方差陣的跡和三個傳感器的穩態平滑誤差方差陣的跡，可以明顯看出經融合后的精度明顯高于局部平滑的精度。由于設置的神經網絡的誤差目標為0.2，通過訓練后目標誤差能達到要求，因此經神經網絡融合后的狀態估計精度要大大高于經加權矩陣融合估計的精度。

四、結論

本文利用BP神經網絡對來自經不同噪聲污染的傳感器的測量信息進行處理，完成機動檢測，并與卡爾曼濾波器相結合構成一個性估計器，對目標進行估計。這種估計方案可以利用神經網絡的函數逼近能力對來自各傳感器的充信息加以充分利用，在改善估計性能的同時又保持估計濾波的計算結構盡可能簡單。

參考文獻:

[1]鄧自立. 最優估計理論及其應用――建模、濾波、信息融合估計.

[2]楊行峻、鄭君里. 人工神經網絡與盲信號處理.

第4篇：神經網絡反向傳播原理范文

1．1采用計算機模擬技術建立模擬模型

對BP神經網絡模擬模型建立的基礎，人們是這樣認為的，因為影響工程造價的因素，大多數人們都是沒辦法確定的，所以我們不需要把這個值具體是多少確定下來，而是從另一個方面考慮，根據這個項目的基本情況，估計實際的造價落在某個范圍的機會會大一些，這個思想就是計算機模擬技術建立模擬模型的理論基礎。

1．2人工智能模型

工程造價估算專家系統，是通過人工智能，加上知識庫技術而建立起來的，可是這種人工智能模型主要靠專家的知識，來對工程造價進行估計計算的，但是估算的結果是被估算人員的主觀意識所影響的，不同專家的性格，知識面的寬窄，經驗豐富與否、都是不確定因素，幾乎可以會所不一樣的估算專家所得出的結果都不會一樣。這種方法很容易帶有個人偏見和片面性。受專家的主觀偏見性較強。

2BP神經網絡模型構造與算法

2．1人工神經網絡的基本原理

1985，D•E•Rumelhart等人組成的PDP小組提出的一種神經網絡模型，這就是我們今天所說的BP神經網絡，BP神經網絡結構是利用誤差反向傳播來消除誤差的，它有三個層次，有一個輸入層，第二個是隱層，最后一個當然就是輸出層。在訓練估算中，我們可以通過計算輸出值和我們預期的期望值，他們之間所產生的誤差，逆向思維，去求解輸出層單元的一般化誤差，然后再把誤差進行反向傳播，把隱含層單元的一般化誤差求解出來，并最終調整輸出層和隱含層，包括輸入層之間的連接權，還有連接權與隱含層和輸出層的閾值，最終目的就是讓系統誤差達到我們可以接受為止。當先前的系統誤差達到我們所需求的時候，權值和閾值就變成了固定不變的了，這樣我們再通過反向逆推，就可以測出我們這個項目的未知信息。這就是人工神經網絡的基本原理。

2．2BP神經網絡模型建立的步驟

(1)我們首先確定模型輸入層，隱含層還有輸出層的神經元個數。并且以此為依據，確定BP神經網絡模型的結構參數;(2)神經網絡只能處理－l～l之間的數據，所以在輸入網絡時，我們不僅需要對原始數據進行規范化處理，還要對隱含單元和各個單元輸入信息進行求和;通過反向逆推之后得到本單元的輸入信息。所以對原始數據，隱含單元輸入模塊規范化細致化是非常重要的;(3)隱含單元的輸出值可以根據神經網絡操作模型得出，只要我們把net信號經過一次激發函數的處理，可以得到這個隱含單元的輸出值;(4)對于輸出單元節點，我們只要對前一層的隱含層單元輸入信息，并且加權求和后，就能得到該單元的輸入信息。操作起來非常方便快捷;(5)對權矩陣的調整，因為人工神經網絡可以近似實現任意空間的數學映射。所以我們假設，如果神經網絡輸入單元數為M，輸出單元為N，則在m維歐式空間尺中會有一個有界子集A，存在著一個到n維歐式空間，那么R中一個有界子集F(A)的映射。

3基于BP神經網絡的工程造價估算模型

3．1定量化描述工程特征的因素

什么是工程特征，在BP神經網絡中所說工程特征，就是指不但能表示工程特點，而且還能反映工程的主要成本構成的重要因素。，我們可以通過參照歷史工程資料的統計和分析，進行工程特征的選取工作。選取完成之后，再根據專家的經驗來確定，這樣就可以萬無一失了。首先我們可以通過典型住宅工程的造價組成進行分析，然后對建筑結構參數的變化和別的工程做一下對比，通過以上兩點得出的結果，分析這些因素對造價的影響，依照以上的理論方法，我們進行了實踐性的研究，最終把礎類型，結構形式，建筑層數，門窗類型，外墻裝飾還有墻體材料以及平面組合等，這7種因素作為工程的主要特征。不同的建筑工程有著不同的類型，比如說結構，可以是磚混結構和框架結構等;磚條基和鋼筋砼條基礎等都可以作為基礎特征，對于這樣的特征選取的多樣性我們稱之為特征類目，通過工程特征不同類目的列舉，再跟據定額水平，工程特征對造價影響的相關性，這些對平方米造價的改變，對工程定量化的描述可以主觀的給出對應的量化數據。

3．2建立估價模型

工程造價估算的指標體系到該項目的單位造價的非線性映射，就可以統稱為是建設項目工程造價的估算問題。BP網絡可以根據人們的需求以任意的精度去逼近任意映射關系，究其原因就是上文說的BP網絡采用的是三層BP神經網絡結構，不同于其他的電腦估算網絡。不僅是因為該模型的輸入單元為7個，還有他們的項目樣本特征也不盡相同。神經網絡可以根據已經經過我們優選的模型特征，做為參考估算要素，然后再通過項目工程造價估算中，我們所提供的一定數量的已知樣本，采取對樣本的神經網絡訓練，最后根據以往的大的數據庫，提取類似的項目估算值，然后才能對其它特征的項目進行估算。這樣我們只需要輸入指標體系的各指標值，BP神經網絡就可以在該項目的單位造價的非線性映射中給出該項目的單位造價。

3．3檢測結果的分析

上面我們通過大量的實際實驗得知了這兩個固定不變的數字，然后我們可以用程序值被收斂后的網絡，對現在要進行求解的數據進行檢測，在測試后，如果發現總體誤差比率較小，那么就滿足我們初步設計的概算需求了，同時對工程可行性研究的投資估算需求也已經基本符合了，這些結果能有好的保證，全是依賴我們所選擇的模型的寬度夠用，模型在所有的因素中具有廣泛的代表性。所以估價模型的計算才較為成功。幾個工程估算的好壞也不能代表所有的項目都是完美的，也有個別工程造價估算誤差大，因為電腦畢竟是人在給其輸入程序，電腦的經驗，還有就是對一些特征的學習不夠用，本身的知識儲備還是有局限性的。因為對樣本數量的學習始終是有限，不可能面面俱到，而且挑選的樣本也不可能針對這個工程而言都是符合這個項目的特性。雖然說BP神經網絡模型有這樣無法控制的缺點，但是和其他的造價估算模型相比，BP神經網絡模型的優點還是可圈可點的，其優點和其他的造價模型相比較優點還是非常明顯的。在以后的估算中，隨著樣本的不斷充實，數據的不斷積累，經驗的不但豐富，其估算的誤差也將不斷縮小，這些方面的補充，在以后的估算中，必定會取得非常完美的成績。

4總結

第5篇：神經網絡反向傳播原理范文

關鍵詞：BP神經網絡；Adaboost算法；遺傳算法

中圖分類號：F832.332文獻標識碼：A文章編號：1008-2670(2012)02-0012-08

收稿日期：2011-12-11

基金項目：國家社科基金資助項目“企業金融衍生業務風險測度及管控研究”（10BGJ054）。

作者簡介：宿玉海(1964-)，男，山東濰坊人，經濟學博士，山東財經大學金融學院教授，研究方向：國際金融；彭雷(1986-)，男，山東濰坊人，山東財經大學金融學院碩士研究生，研究方向：國際金融；郭勝川（1990-），男，山東安丘人，山東大學數學學院學生。

一、引言

商業銀行的信用風險管理一直是人們關注的焦點，在引入工程方法進行信用風險的度量后，BP神經網絡信用風險模型以其較強的逼近非線性函數的優勢從眾多方法中脫穎而出，其對于歷史數據的模擬仿真和預測能力也顯示出了獨特的優勢。但是，BP神經網絡信用模型在處理較為復雜的財務數據時，對于數據指標在模型中獲得的權值沒有一個明確的標準，而是特別依賴于對于歷史數據指標的選擇，使得模型對于新樣本的考察缺乏一個有效的動態權值變動，這就造成了模型在使用過程中的困難。

隨著BP神經網絡信用風險管理模型應用的增多，許多學者逐漸認識到BP神經網絡信用風險模型在處理財務數據時存在的問題，采取一系列的措施對BP神經網絡信用風險模型進行了改進，特別是對于權值設定的改進做了大量的工作。Back等［1］建議將遺傳算法與神經網絡結合起來協同工作，但沒有實際討論引入遺傳算法后帶來的實際效果；Piramuthu等［2］采用符號特征樣本的技術處理輸入數據取得了較為明顯的效果，但是符號特征樣本技術則存在較為主觀的人為因素影響。國內學者在引進神經網絡以后，也為神經網絡模型的優化進行了卓有成效的努力。如許佳娜、西寶［3］采用層次分析法對神經網絡模型的改進，以及郭英見、吳沖［4］采用DS證據理論將神經網絡和SVM的輸出結果進行的融合，都在一定程度上增強了神經網絡模型的判別準確率，但他們在神經網絡的權值修改上仍然沒有找到很好的設定規則。

可以看出，許多學者在神經網絡良好的泛化能力和模式識別能力上達成了共識，但對于神經網絡中占有重要地位的連接權值的修正，沒有給出一個較為恰當的標準。本文在探討改進這一問題時，將遺傳算法與Adaboost算法分別引入到BP神經網絡信用風險模型中，通過兩種模型對于相同的訓練樣本和預測樣本的考察分析，比較兩種方法的優劣，從而為BP神經網絡信用風險模型的改進提供一定的參考。

本文結構安排如下：第一部分為引言；第二部分介紹BP神經網絡信用風險模型并評價其缺陷；第三部分使用Adaboost算法以及遺傳算法對BP神經網絡信用風險模型進行算法尋優；第四部分則通過Matlab的模擬進行實證分析并比較實證結果；第五部分根據實證分析的結果得出相應的結論并探討商業銀行在應用過程中應注意的問題。

二、現有BP神經網絡信用風險模型介紹

第6篇：神經網絡反向傳播原理范文

關鍵詞：人工神經元網絡；BP神經網絡；matlab；識別分類

中圖分類號：TP391.41文獻標識碼：A文章編號：1007-9599 (2010) 16-0000-02

Artificial Neural Network Application on Face Classification

Liang Xiaoli

(Heilongjiang Radio&TV University,Harbin150080,China)

Abstract:In the face recognition technology is developing continuously,people not limited to recognize the human face,but the main emphasis on the accuracy and efficiency of face recognition.

Face recognition is divided into three steps,face detection,feature extraction,recognition category,identification and classification of the methods in which the decision of whether to correctly identify the human face.BP neural network with forward propagation and back propagation characteristics,so as to ensure the accuracy of classif-

ication,Therefore,the main author of this article how to MATLAB,the BP neural network used in face recognition classification.

Keywords:Artificial neural network;BP neural network;Matlab;

Recognition category

人工神經元網絡，又稱為神經元網絡，它是對人腦的簡化、抽象和模擬，反映了人腦的基本特性神經元網絡是由大量處理單元廣泛互連而成的網絡。神經網絡研究的是模擬人腦信息處理的功能，從人腦的生理結構出發來研究人的智能行為。是依托于數學、神經科學、物理學、計算機科學及工程等學科的一種綜合性技術。

一、人工神經網絡的分類

我們可以對人工神經網絡進行如下分類：

（一）單層的前向神經網絡

這里所說的單層前向網絡是指擁有單層的神經元是，作為源節點個數的“輸入層”被看作是一層神經元，“輸入層”是不具有計算功能。

（二）多層的前向神經網絡

多層前向神經網絡與單層前向神經網絡的差別在于：多層的前向神經網絡和單層前向神經網絡的隱含層個數不同，在多層的前向神經網絡中完成計算功能的節點被稱為隱含單元（隱含神經元）。由于隱層的數量不同，使網絡能進行更高序的統計，尤其當輸入層規模龐大時，隱層神經元提取高序統計數據的能力便顯得非常重要。

（三）反饋網絡

反饋網絡指在網絡中最少含有一個反饋回路的神經網絡。反饋網絡中包含一個單層神經元，在這一層中的所有的神經元將自身的輸出信號反饋給其他所有神經元作為輸入。

（四）隨機神經網絡

隨機神經網絡是在神經網絡中引入了隨機概念，每個神經元都是按照概率的原理在工作，這樣每個神經元興奮或抑制具有隨機性，其概率取決于神經元的輸入值。

（五）競爭神經網絡

競爭神經網絡最顯著的特點是它的輸出神經元之間相互競爭以確定勝出者，勝出者指出哪一種原型模式最能代表輸入模式。

二、神經網絡的學習

神經網絡的學習又被稱為訓練，所指的是通過神經網絡所在外界環境的刺激下調整神經網絡的參數，使得神經網絡以一種調整好的方式對外部環境做出反應的過程。從環境中學習和在學習中提高自身性能是神經網絡最有意義的特征了。

學習方式可分為：有師學習和無師學習。有師學習又稱為有監督學習，在學習時需要給出指導信號（又可稱為期望輸出或者響應）。神經網絡對外部環境是未知的，但可以將指導信號看作對外部環境的了解，由輸入―輸出樣本集合來表示。指導信號或期望輸出代表了神經網絡執行情況的最佳結果，即對于網絡輸入調整網絡參數，使得網絡輸出逼近期望的輸出值。無師學習包括強化學習與無監督學習（可以被稱為自組織學習）。在強化學習中，對輸出的學習是通過與外界環境的連續作用最小化完成的。

三、BP神經網絡

BP（Back Propagation）神經網絡，就是指包含信息正向傳播和誤差反向傳播算法的學習過程。輸入層的每一個神經元負責接收來自外界的輸入信息，并傳遞給中間層中的每一個神經元；中間層的各個神經元是內部信息處理層，負責信息變換，可以設計為單隱層或者多隱層結構；最后隱含層傳遞到輸出層的信息，經進一步處理后，完成一次學習的正向傳播處理過程，由輸出層向外界輸出信息處理結果。當實際輸出與期望輸出不相符時，進入誤差的反向傳播階段。誤差通過輸出層作用于輸入層，按誤差梯度下降的方式分別修正各層權值，逐漸向隱含層和輸入層反傳。多次的經過信息正向傳播和誤差反向傳播過程，是各層權值不斷調整的過程，也就是神經網絡學習訓練的過程，此過程一直進行到網絡的輸出誤差減少到可以被接受的程度，或者達到預先設定的學習次數才會停止。

四、實驗過程及結果

本文中假設已經用奇異值分解得到人臉特征點的數據，每個人臉劃分為五部分，每部分又得到5個特征值，所以也就是25個的特征值。本文采集了50個人人臉，每人采集10張不同姿態下的照片，也就是500張照片，對這些照片進行人臉檢測并進行奇異值分解，得到每張照片對應的25個特征值，從每人10張照片中隨機抽出5張用于訓練出不同的姿態下的人臉，另外的5張用作測試樣本。

（一）實驗過程

由于數據過長，本文只以2個人，每人2張照片作為的訓練樣本數據為例來說明。

第一步：訓練樣本（每人25個特征值），在p是一個25行，4列的矩陣，每一列代表一個人的25個特征值，屬于一個樣本；列數4表示樣本總數；

p=[ 7.4264 9.0728 7.9825 9.5632；

7.5719 7.8115 6.5564 7.8561；

12.8074 12.7073 12.4536 11.5423；

9.0284 10.3744 8.7569 9.9965；

7.0083 9.0284 7.1254 8.8876；

1.2597 2.1578 1.3556 3.0112；

0.6896 0.7835 0.7859 0.9658；

0.7814 0.8818 0.7568 0.8213；

1.0248 1.6783 1.1542 1.5234；

1.0112 1.0248 0.9568 0.9652；

1.0427 1.0813 1.0425 0.9568；

0.5970 0.5886 0.5968 0.5889；

0.4928 0.5969 0.3569 0.6012；

0.6438 0.6417 0.6589 0.5612；

0.3563 0.6438 0.2534 0.6689；

0.4474 0.4235 0.4568 0.4236；

0.2483 0.2282 0.2253 0.2259；

0.3633 0.4616 0.3102 0.4556；

0.3383 0.4167 0.3561 0.3456；

0.3130 0.3383 0.3302 0.3359；

0.3378 0.3313 0.3219 0.3569；

0.1916 0.1767 0.1564 0.1952；

0.2356 0.3422 0.2355 0.3012；

0.2088 0.3268 0.1958 0.3568；

0.1858 0.2088 0.0956 0.1968；]；

第二步：目標輸出矩陣

因為就兩個人，所以采用一位二進制編碼就可以，在這里定義第一類樣本的編碼為0；第二類樣本的輸出編碼為1。

t=[0 1 0 1]；

第三步：使用MATLAB建立網絡結構

net1=newff（minmax（p），[25，9，1]，{'tansig'，'tansig'，'hardlim'}，'traingdm'）；

說明：[25，10，1]表示該網絡的輸入結點為25個值，輸出結果為1為二進制編碼的值，中間層由經驗公式 （rnd為0-1之間的隨機數），所以本文選取5-15之間數分別作為隱含層的神經元個數，得出的結論是9的收斂速度最快。

第四步：對網絡進行訓練

[net1，tr]=train（net1，p，t）；

第五步：保存網絡

save aa net1

則文件會以aa.mat的格式保存，保存了訓練好的網絡以及權值。

第六步：輸入測試樣本

先加載上一步中保存好的網絡，本實驗中只輸入一個測試樣本，下面的數據代表測試樣本的特征值，共25個。

load aa.mat

p1=[7.8115；0.7835；0.5886；0.2282；0.1767；1.0197；0.7896；0.6814；1.1238；1.1114；0.9427；0.5970；0.4569；0.5438；0.4563；0.1983；0.4632；0.3383；0.3130；0.4377；0.1817；0.2256；0.2088；0.2854；0.2812]；

第六步：網絡仿真

a=hardlim（sim（net1，p1）-0.5）

（二）實驗結果

根據上述實驗過程，得出的結果是：

下圖是執行了10次中的一次算法模擬情況。

Elapsed time is 0.469seconds

網絡仿真的輸出結果是：a=0

本文中測試的數據來源于訓練樣本中輸出為0的樣本，識別結果正確。換了10個測試樣本，其中識別正確的是6個，也就是正確率大約在60%。

然后，采用相同的辦法，在實驗中把訓練樣本由每人兩個不同姿態下的樣本增加到了3個，也就是輸入向量的p由4列增加到6列，其他的均不變，網絡的訓練時間為0.471 seconds。還是使用上面的10個測試樣本，其中識別正確的達到了8個，正確率提高到了80%左右。

在樣本量擴大到250時，這些樣本是來自于，50個人，每人拍攝10張不同姿態下的照片，也就是500張，然后從其中隨機的取出每個人對應的5張照片作為訓練樣本，然后再把從剩余的250張作為測試樣本，進行測試。輸入結點數為250，每個結點對應的特征向量為25；輸出值用二進制的編碼表示，由于后面要實現的人臉識別系統中要應用在一個只有50人的環境下，所以采用二進制編碼6位就夠了，但是為了系統的可擴展性，所以采用7位二進制編碼來設計輸出結點的值，bp網絡就是25維輸出7維輸出。此時測試的250個數據中只有一組數據是錯誤的，原因是照片中的人嘴和鼻子被口罩遮住了。

樣本量增加后網絡訓練到一個樣本測試仿真所有的時間是1.936seconds。

五、小結

本文介紹了基于BP神經網絡的人臉識別分類方法，先用matlab設計了一個模擬程序，然后不斷的增加訓練樣本中同一人樣本的樣本數，訓練后用10個人分別測試兩個網絡的正確率，當同一人的樣本數增加到3時，正確率由60%提高到了80%。可以證明網絡訓練樣本的增加有利于提高識別的正確率。把在上一章中采集到的50個人所對應的500張照片作為標準樣本庫，從中隨機取出250張作為訓練樣本，然后設定輸出值，輸出的值應該有50類，采用二進制的編碼構成，然后再實用剩余的250張照片作為測試樣本，進行測試。

第7篇：神經網絡反向傳播原理范文

【關鍵詞】自適應距離保護 人工神經網絡 BP算法

一、引言

距離保護長期以來一直是復雜電網中高壓輸電線路最重要的也是應用最廣泛的保護方案。這種保護有許多獨特的優點，如能瞬時切除輸電線80%～90%范圍內的各種故障。但是有許多原因會影響阻抗的測量精度，從而影響測量阻抗的計算，使測量阻抗為短路阻抗與附加阻抗之和，從而會引起誤動或者拒動。

基于這些問題，本文提出了人工神經網絡。近年來，人工神經網絡（ANN）逐漸得到電力系統研究人員的高度重視和廣泛研究。人工神經網絡是由眾多的神經元廣泛互聯而成的網絡。人工神經網絡以其具有自學習、自適應、較好的容錯性和優良的非線性逼近能力，廣泛應用于模式識別和模式分類等方面。

本文所采用的三層前向神經網絡的學習算法為反傳學習算法，即BP算法，學習過程采用反向傳播法。

二、基于人工神經網絡的距離保護模型

BP網絡模型也即多層前向網絡（Multi-layer Feedforward Neural Network，MFNN），因其訓練算法采用反向傳播算法，也即BP算法。由于這種算法在本質上是一種神經網絡學習的數學模型，所以，BP算法也通常暗示著神經網絡的拓撲結構是一種無反饋的多層前向網絡。

人工神經網絡是由大量簡單的基本元件——神經元相互連接而成的自適應非線性動態系統。一般而言，只要采用三層神經網絡，而且對各層神經元數目不加限制，則可在模式空間構成任意復雜程度的幾何圖形，從而對任意復雜的對象進行分類。

人工神經網絡含有輸入層、輸出層以及處于輸入輸出層之間的中間層。中間層有單層或多層，由于他們與外界沒有直接聯系，故也稱為隱層。在隱層中的神經元也稱隱單元。隱層雖然和外界不連接，但是他們的狀態則影響輸入輸出之間的關系。BP網絡的結構的每一層連接權值都可以通過學習來調節，它的基本處理單元（輸入層）除外通常為非線性輸入輸出關系。

三、神經網絡的訓練及檢驗

本文通過EMTP仿真的數據預處理中得出了這兩個子網絡的權值和閥值矩陣中，用一些不同于訓練樣本的檢測樣本（本文在故障檢測與選相子網絡是用40組進行訓練，13組進行檢測的；對故障定位子網絡是用35組進行訓練，14組進行校驗的）。每一個子網絡的隱含層節點的數目，是在訓練過程中根據最快的收斂速度和最好的精度標準通過多次采用不同的隱含層節點數目進行訓練，反復比較，根據實際的收斂效果和計算精度來選擇確定的。其中，故障檢測與選相子網絡（ANN1）的隱含層數目取為42個，故障定位子網絡（ANN2）的隱含層數目取為33個。

在確定了兩個子網絡的隱含層以后，開始對故障檢測和選相子網絡（ANN1）和故障定位子網絡（ANN2）采用BP算法進行訓練。經過對子網絡的多次訓練，其訓練過程是收斂的，其訓練速度也是令人滿意。

下面將2個子網絡的部分訓練樣本、檢驗樣本及檢驗結果。

在對第一個、第二個子網絡故障檢測與選相子網絡其訓練過程過程是收斂的，其訓練速度也是令人滿意的。

下面是子網絡ANN1的訓練樣本和訓練樣本及檢測樣本。故障類型有：內部故障，A相接地、內部故障，B相接地、內部故障，C相接地、內部故障，兩相短路、內部故障，兩相接地短路、內部故障，三相短路。理想輸出：1，0，0，0；0，1，0，0；0，0，1，0；0，0，0，1；0，0，0，1；0，0，0，1。檢驗結果：

0.9985，0.0378，0.0838，0.0230；0.0315，0.9988，0.0607，0.0121；0.1004，0.1718，0.9980，0.2715；0.2815，0.0499，0.0614，0.9864；0.2496，0.3688，0.0370，0.9798；0.0197，0.0551，0.0187，0.9981。

從上面可以清楚的看出，故障檢測和選相子網絡在各種故障情況下都能正確反映故障，并啟動保護和正確選相。

在第二個子網絡訓練過程也是表明故障定位子網絡ANN2也是收斂的，其訓練速度也是令人滿意的。

下面是故障定位子網絡ANN2的訓練樣本和檢驗樣本及結果舉例。當故障點線路全長線路全長83%，故障類型分別為單相接地、兩相故障、三相故障時，其理想輸出為1、1、1；當故障點線路全長線路全長87%，其理想輸出為0、0、0。檢測結果：當故障點線路全長線路全長83%，輸出：0.9867、0.9827、0.9572。當故障點線路全長線路全長87%，輸出：0.1758、0.1820、0.1602。

從上面數據可以看到，故障定位子網絡距離保護經過訓練以后，基本能夠正確的識別故障點位置。

四、結論

本論文針對傳統距離保護在系統發生振蕩和系統經過過渡電阻發生故障時，可能會誤動或拒動等，因此，提出了基于BP人工神經網絡自適應距離保護原理由兩個相互獨立的子網絡來實現，即故障檢測與選相子網絡和故障定位子網絡。兩個子網絡組成一個并行處理系統，經過大量的訓練樣本進行訓練，投入實際運行線路中，根據本身需要提取輸電線路的運行參數，對電力系統運行狀態進行判斷。研究結果表明，用人工神經網絡實現最復雜的保護原理——距離保護是可行的，而且具有顯著的優點。

參考文獻：

[1]賀家李，宋從矩.電力系統繼電保護原理（第三版）[M].北京：中國電力出版社，2001.

第8篇：神經網絡反向傳播原理范文

Abstract： Neural network is widely applied for character recognition. Through the analysis of the problems， this paper recognizes character by the application of improved BP neural network， so as to improve recognition rate. This method has high recognition rate， fast speed， strong practicability， and can be applied to various high noise environment.

關鍵詞： 神經網絡；圖像預處理；特征提取；字符識別

Key words： neural network；image preprocessing；feature extraction；character recognition

中圖分類號：TP301.6 文獻標識碼：A 文章編號：1006-4311（2014）10-0206-02

0 引言

字符識別是指采用掃描儀、數碼相機等輸入設備，把英文字母、數字、條形碼等特殊字符的圖形文件輸入計算機，由識別軟件對圖片信息上的字符信息進行識別并變換成可編輯文檔的識別技術。主要有光學字符識別（Optical

Character Recognition，OCR）、圖像字符識別（Image Character Recognition，ICR）和智能字符識別（Intelligent Character Recognition，ICR），實際上這三種自動識別技術的基本原理大致相同。

1 常用字符識別方法

字符識別方法基本上都是為了區分結構識別、統計識別以及兩者相結合的三大類方法，這三大類方法都包含具體的識別方法。

1.1 結構識別 結構識別是早期字符識別的研究的主要方法，我們也可以稱之為句法結構識別。其思想是提取含有一定規律的結構信息，作為識別的依據。識別過程類似一個邏輯推理過程。結構識別的優點在于對字符變化的適應性強，區分相似字符能力強。但是在實際獲取字符圖像的過程中，由于存在著很多扭曲、傾斜等因素，就導致不能夠準確地提取結構特征，后面的識別過程就成了無源之水。此外，結構識別的算法描述也較為復雜，匹配過程的復雜度也很高，因此，我們原有的句法識別就受到新的挑戰。

1.2 統計識別 統計決策論的發展相對較早而且成熟，是為了提取待識別字符的一組統計特征，然后按照一定的準則進行決策函數的分類判決的。而統計識別是將字符點陣看作是一個能夠經過大量統計數據得到的整體，是以后所用的特征都需要經過的。統計特征主要是以抗干擾能力強為主要特點，以實現匹配與分類的算法簡單，且容易實現的。不足之處在于細分能力較弱，區分相似字的能力差一些。

1.3 結構識別與統計識別相結合 上述方法各有優缺點，而隨著研究的深入，這些方法逐漸得到融合。網格化特征就是結合的產物。特征的統計以網格為單位，即使個別點的統計有誤差也不會造成大的影響，增強了特征的抗干擾性。這種方法正得到日益廣泛的應用。

字符的結構特征直接反映了字符的特有屬性，而用字符的統計特征進行字符識別則是利用了計算機軟件善于處理數字的特點。雖然近幾年流行的神經網絡方法主要采用的是局部特征，但其分類機理也與傳統的統計識別方法相類似，優點是靈活性強。

2 字符識別流程

字符識別技術在當今社會的許多領域都有著廣泛的商業應用前景。常見應用有條碼識別、車牌識別、盲人的輔助閱讀設備和郵包自動分檢等。本文以車牌識別為例說明字符識別的應用以及識別流程。車牌識別系統的工作流程如圖1所示。

經過字符分割后，得到可以進行字符識別的圖像。本文采用神經網絡方法進行字符識別，識別的具體過程如圖2所示。

3 基于改進型BP神經網絡的字符識別算法

3.1 BP神經網絡簡介 神經網絡最早的研究是20世紀40年代，由心理學家Mcculloch和數學家Pitts合作提出的，由此拉開了神經網絡研究的序幕。人工神經網絡是通過對人腦生物神經機理進行簡化，抽象和模擬之后建立起來的一種計算模型，屬于機器學習的重要研究領域。人工神經網絡可以應用于字符識別、人臉識別等領域。

隨著神經網絡的威力逐漸顯現以及付諸應用的現實性，大量的學者對此進行了深入研究，出現了多種神經網絡，如徑向基神經網絡和Hopfield網絡等。1986年科學家Rumelhart和McCelland提出了BP（Back Propagation）神經網絡，是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前在字符識別中應用最廣泛的神經網絡模型之一。BP網絡能學習和存儲大量的輸入輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用最速下降法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。

BP神經網絡的結構如圖3所示。從左至右分別是輸入層、隱含層和輸出層。

從圖3可以看出，某一層的輸出就是下一層的輸入，即：am+1=fm+1（Wm+1am+bm+1），m=0，1，…M-1……

這里，M為神經網絡的層數。第一層的神經元的輸入為a0=p，最后一層神經元的輸出是a=aM，即為整個神經網絡的輸出。BP神經網絡雖然在字符識別領域有著重要的應用價值，但其存在如下問題：①進行字符識別時存在局部極小值問題；②算法通常需要迭代幾千步甚至更多，收斂速度慢；③隱含層和隱含層節點的數量難以確定。要解決上述問題，就需對BP神經網絡算法進行改進。

3.2 基于改進型BP神經網絡的字符識別

3.2.1 圖像預處理 在字符圖像采集、輸入的過程中由于受到多種噪聲的干擾，會使圖像質量下降，為字符識別工作帶來困難，因此需要對初始圖像進行必要的預處理。圖像預處理的具體步驟如下：①選取合適的閾值進行圖像二值化；②灰度變換增強對比度，改善視覺效果；③選取合適的方法去除噪聲，常用的有中值濾波、均值濾波、高通濾波等方法；④圖像分割，即將圖像中的字符獨立的分割出來。

3.2.2 字符特征值的提取 如果直接采用分割后的字符進行對比，那么需要對比的信息量很大，程序運行的時間也會大大增加。所以需要對分割后的字符進行特征提取，本文使用了類似九宮格的方法進行特征提取，即在字符圖像的水平方向上將圖像均勻分成三部分，在每一部分用一條水平方向的掃描線從左至右穿過字符，進行查找；垂直方向上原理相同，掃描線從上到下穿過字符，進行查找。取這六條線上的特征作為字符圖像的特征，這樣就得到了每個字符的六個特征值。

3.2.3 改進型BP神經網絡 針對BP神經網絡的局限性，為了避免落入局部極小值點，提高網絡訓練的精度和速度，對其算法進行了改進，常用的方法有：①優化初始權重。由于BP網絡的誤差曲面存在多個局部最小點和算法采用誤差梯度下降的方法調整網絡權重，因此導致了網絡的訓練結果極容易落入局部極小點。所以，網絡的初始權重對網絡的最終訓練結果影響非常大，它是影響網絡最終能否達到需求精度的重要因素之一。②調整自適應學習率。學習率η也稱步長，在標準的算法中為常數。BP算法的收斂特性和收斂速度很大程度上取決于學習率，對于不同的問題，其取值范圍也會不同。η取值過大可以加快學習速度，但會導致學習過程不收斂；η取值過小，則迭代次數明顯增加，導致學習速度過慢。為了加速收斂的過程，可以自適應改變學習速率。③附加動量法。動量法是指在反向傳播的基礎上，在每個權值調整值上加上一項正比于前次權值變化的值，并根據反向傳播法來產生新的權值變化。

本文為了簡單起見，采用附加動量法只對數字和英文字母進行字符識別，利用梯度下降法，使權值沿函數的負梯度方向改變。提高了學習速度，增加了算法的可靠性。

帶有附加動量項的權值調節公式為：

Wij（k+1）=Wij（k）+η[（1-α）D（k）+αD（k-1）]

其中，α是附加的動量項，取值范圍為0

3.2.4 設計改進型BP神經網絡進行字符識別 本系統采用了兩個BP網絡來進行數字和字母的識別。BP神經網絡的建立主要是三個層的神經元數目的確定。①輸入層節點數。此節點個數即為圖像預處理后所輸出的特征的維數。本系統輸入層節點數為24×48。②隱含層節點數。確定隱含層節點數的基本原則是：在滿足精度要求的前提下取盡可能緊湊的結構，即取盡可能少的隱含層節點數。本系統的兩個神經網絡，可以根據輸出層神經元的多少來確定其個數，即輸出層神經元越多，其隱含層神經元個數也越多。③輸出層節點數。用于識別數字的BP網絡，由于只有10個數字，所以采用了8421碼進行編碼，輸出層的神經元數目為4。而識別26個字母的BP網絡，其輸出層的神經元數目為5。待識別的字符圖像和訓練好網絡后識別的結果分別如圖4和圖5所示。

4 結束語

在字符識別的過程中，每一步都會有不同程度的誤差，本文神經網絡經驗證后識別率可達95.1%，平均識別時間為0.6s。影響識別成功率的主要因素是訓練樣本的數量和訓練次數，要保證一定數量以上的訓練樣本和訓練次數，以保證識別率。另外，神經網絡的層數和各層神經元的個數，對神經網絡算法的運行速度和識別率也有著直接的影響，其數量越多，識別率越高，但也制約著識別速度，因此，如何處理好兩者關系很重要。

參考文獻：

[1]關學忠，劉勇智.基于數字圖像處理的車牌定位及字符分割方法[J].裝備制造，2010（01）.

[2]武桐.基于圖像匹配的漢字識別系統研究與實現[D].上海：上海交通大學，2010.

第9篇：神經網絡反向傳播原理范文

旅游市場趨勢預測是旅游業發展戰略和旅游規劃與開發工作的重要基礎依據，一直是旅游市場研究中最重要的內容之一。根據市場趨勢預測的結果，旅游相關部門才可以制定合理的旅游規劃，進行旅游資源的優化配置。旅游市場趨勢預測是在對影響市場的諸因素進行系統調查和研究的基礎上，運用科學的方法，對未來旅游市場的發展趨勢以及有關的各種因素的變化，進行分析、預見、估計和判斷。

近年來，旅游研究者對旅游市場趨勢預測的方法進行了探索。目前主要有時間序列法、回歸分析法、指數預測法、人工神經網絡法。由于旅游市場的變化受到諸多因素的影響，導致旅游市場的趨勢預測難度較大，但我們對預測精度的要求卻越來越高。

本文是基于人工神經網絡方法，提出使用遺傳算法對人工神經網絡進行優化，探索更精確、更適用于旅游市場預測現實狀況的預測方法。

1 方法概述

人工神經網絡是近年來的熱點研究領域，是人類智能研究的重要組成部分，已經成為神經科學、計算機科學、認知科學、數學和物理學等多學科關注的熱點。其應用領域包括：分類、預測、模式識別、信號處理和圖像處理等，并繼續向其他領域延伸。

1.1 BP神經網絡

BP神經網絡是一種多層前饋神經網絡，該網絡的主要特點是信號前向傳遞，誤差反向傳播。在前向傳遞中，輸入信號從輸入層經隱含層逐層處理，直至輸出層。每一層的神經狀態只影響下一層神經元狀態。如果輸出層得不到期望輸出，則轉入反向傳播，根據預測誤差調整網絡權值和閾值，從而使BP神經網絡預測輸出不斷逼近期望輸出。

圖中，X1，X2，…，Xn是BP神經網絡的輸入值，Y1，Y2，…，Ym是BP神經網絡的預測值，wij和wjk為BP神經網絡權值。從圖可以看出，BP神經網絡可以看成一個非線性函數，網絡輸入值和預測值分別為該函數的自變量和因變量。當輸入節點數為n，輸出節點數為m時，BP神經網絡就表達了從n個自變量到m個因變量的函數映射關系。

1.2 遺傳算法

遺傳算法（Genetic Algorithms）是1962年由美國Michigan大學Holland教授提出的模擬自然界遺傳機制和重托進貨論而成的一種并行隨機搜索最優化方法。它把自然界“優勝劣汰，適者生存”的生物進化原理引入優化參數形成的編碼串聯群體中，按照所選擇的適應度函數并通過遺傳中的選擇、交叉和變異對個體進行篩選，使適應度值好的個體被保留，適應度差的個體被淘汰，新的群體既繼承了上一代的信息，又優于上一代。這樣反復循環，直至滿足條件。

1.3 遺傳算法優化BP神經網絡的流程

遺傳算法優化BP神經網絡分為BP神經網絡結構確定、遺傳算法優化和BP神經網絡預測3個部分。其中，BP神經網絡結構確定部分根據按擬合函數輸入輸出參數個數確定BP神經網絡結構，進而確定遺傳算法個體的長度。遺傳算法優化使用遺傳算法優化BP神經網絡的權值和閾值，種群中的每個個體都包含了一個網絡所有權值和閾值，個體通過適應度函數計算個體適應度。遺傳算法通過選擇、交叉和變異操作找到最優適應度值對應個體。BP神經網絡預測用遺傳算法得到最優個體對網絡初始權值和閾值賦值，網絡經訓練后預測函數輸出。

遺傳算法優化BP神經網絡是用遺傳算法來優化BP神經網絡的初始權值和閾值，使優化后的BP神經網絡能夠更好地預測函數輸出。遺傳算法優化BP神經網絡的要素包括種群初始化、適應度函數、選擇操作、交叉操作和變異操作。

1）種群初始化

個體編碼方法為實數編碼，每個個體均為一個實數串，由輸入層與隱含層連接權值、隱含層閾值、隱含層與輸出層連接權值以及輸出層閾值4部分組成。個體包含了神經網絡全部權值和閾值，在網絡結構已知的情況下，就可以構成一個結構、權值、閾值確定的神經網絡。

2）適應度函數

2 實證分析

旅游客流量與當地旅游硬件及軟件設施建設、各種交通設備的完善程度有著密切的關系。一個旅游地的交通設施完善程度決定了該景區的可進入性以及客源地到旅游地的時間距離，直接影響該景區游客量。此外，景區建設情況及旅游接待設施的建設情況決定著景區的吸引力。需要指出的是，由于信息傳達的特性，游客數量對景區旅游相關條件改善的反應具有延遲性的特點。本文中，采用2000 年以來北京旅客周轉量、人均GDP、全國交通、A級及以上景區個數、北京公共交通運營線路長度、北京市基礎投資，預測北京市旅游人數。

通過查詢中國國家統計局及北京市統計局相關資料，得到全國人均GDP、全國交通、北京市旅客周轉量、北京市A級及以上景區個數、北京市公共交通運營線路長度、北京市基礎投資數據，如表1所示。

根據遺傳算法和BP 神經網絡理論，在MATLAB 軟件中編程實現基于遺傳算法優化的BP神經網絡進行預測。預測誤差及真實值與預測值對比如圖2、圖3所示。

3 模型的評價