前言：一篇好文章的誕生，需要你不斷地搜集資料、整理思路，本站小編為你收集了豐富的神經網絡的反向傳播主題范文，僅供參考，歡迎閱讀并收藏。

第1篇：神經網絡的反向傳播范文

關鍵詞 BP神經網絡 數據挖掘 最速下降法 函數逼近 模式識別

中圖分類號：TP391 文獻標識碼：A

1研究背景

BP神經網絡是一種多層的前饋網絡而且它的學習算法是一種誤差逆向傳播算法。BP神經網絡是目前研究最為成熟、應用最為廣泛的人工神經網絡模型之一。由于其結構簡單、可操作性強、具有較好的自學習能力、能夠有效地解決非線性目標函數的逼近問題等優點，因此被廣泛應用于自動控制、模式識別、圖像識別、信號處理、預測、函數擬合、系統仿真等學科和領域中。

2 BP神經網絡原理

2.1概述

BP神經網絡是一種反向傳播誤差算法然后訓練的一個多層前饋網絡，簡稱為BP算法，它應用在已被開發出來的神經網絡中，到目前為止是應用最為廣泛的網絡模型之一。BP神經網絡可以學習并且存儲非常多的輸入模式與輸出模式之間的映射關系，卻無需在學習和存儲前事先揭示并描述輸入輸出間的映射關系的一種數學方程。它使用最速下降法，通過對輸出誤差的反向傳播，獲得不斷調整網絡連接權系數和閾值的信息，最終使神經網絡的平方誤差最小，達到期望要求。

2.2 BP神經網絡結構

BP神經網絡模型是一個三層網絡，它的拓撲結構可被劃分為：輸入層、輸出層、隱含層。其中輸入層與輸出層具有更重要的意義，因此它也可以為兩層網絡結構（把隱含層劃入輸入層或者把隱含層去掉）。每層都由許多簡單的能夠執行并行運算的神經元組成，這些神經元與生物系統中的那些神經元非常類似，但其并行性并沒有生物神經元的并行性高。BP神經網絡是一個前饋網絡，因此它具有前饋網絡所具有的特性：相鄰兩層之間的全部神經元進行互相連接，而處于同一層的神經元不能進行聯接。

2.3 BP算法原理

BP神經網絡的基本原理是把一個輸入矢量經過隱含層的一系列變換，然后得到一個輸出矢量，從而實現輸入數據與輸出數據間的一個映射關系。輸入信息的正向傳播，以及輸出誤差的反向傳播，構成了 BP網絡的信息循環。BP算法根據輸出誤差來修改各神經元連接的連接權系數，其目的是使輸出誤差達到預計范圍內。BP網絡需要實際輸出與期望輸出之間的誤差來確定是否要修改神經元連接的連接權系數。其中，期望輸出便是該網絡意義上的“導師”。BP網絡具有對稱性的網絡結構，在輸出端的每一個處理單元基本上都具有一個相同的激勵函數。

BP算法由正向傳播和反向傳播兩部分組成。在正向傳播過程中，輸入信息從輸入層經隱層單元處理后，傳至輸出層。每一層神經元的狀態只影響下一層神經元的狀態。如果在輸出層得不到期望輸出，就轉為反向傳播，即：把誤差信號沿連接路徑返回，并通過修改各層神經元之間的連接權值，使誤差信號最小。

具體的算法步驟可概括如下：

第一步，選取初始權值、閾值。

第二步，重復下述過程直至滿足性能要求為止：

（1）對于學習樣本P=1到N

①計算每層各節點j的輸出yj，netj和的值（正向過程）；

②對各層從M層到第二層，對每層各節點反向計算%]j（反向過程）；

（2）修改權值

具體推導過程見參考文獻4。

3基于BP神經網絡設計的實例

3.1函數逼近

我們設計一個簡單的BP網絡，實現對非線性函數的逼近。通過改變該函數的參數以及BP網絡隱層神經元的數目，來觀察訓練時間以及訓練誤差的變化時間。將要逼近的非線性函數設為正弦函數，其頻率參數k可以調節。假設頻率參數k=2，繪制此函數的曲線。如圖1。

（1）網絡建立：用MATLAB編程建立BP網絡結構，為二層BP神經網絡。隱層神經元數目n 可以改變，暫時設為n=10，輸出層有一個神經元。網絡訓練采用Levenberg-Marquardt算法trainlm。

分析：因為建立網絡時，權值和閾值的初始化是隨機的，所以網絡輸出結果很差，根本達不到函數逼近的目的，并且每次運行的結果也有所不同。

（2）網絡訓練：在MATLAB里應用train（）函數對網絡進行訓練之前，需要預先設置訓練參數。將訓練時間設置為50，訓練精度設置為0.01，其余參數用默認值。

（3）網絡測試：對于訓練好的網絡進行仿真，繪制網絡輸出曲線，并與原始非線性函數曲線相比較，結果如下圖2。

由此可看出，得到的曲線和原始的非線性函數曲線很接近。這說明經過訓練后，BP網絡對非線性函數的逼近效果非常好。

（4）討論分析：改變非線性函數的頻率和BP網絡隱層神經元的數目，對于函數逼近的效果有一定的影響。網絡非線性程度越高，對BP網絡的要求越高，則相同的網絡逼近效果要差一些；隱性神經元的數目對于網絡逼近效果也有一定的影響，一般來說隱形神經元數目越多，則BP網絡逼近非線性函數的能力越強，同時網絡訓練所用的時間相對來說也要長一些。

參考文獻

[1] 閆志忠.BP神經網絡模型的改進及其應用研究[D].吉林大學，2003.

[2] 李友坤.BP神經網絡的研究分析及改進應用[D].安徽理工大學，2012.

[3] 吳昌友.神經網絡的研究及應用[D].東北農業大學， 2007.

第2篇：神經網絡的反向傳播范文

關鍵詞：BP神經網絡；電力工程；異常數據識別技術

BP神經網絡是一種多層前饋神經網絡，信號從輸入層到隱含層，再到輸出層得到期望輸出。期望輸出同實際值做比較，若得不到所期望的值，則誤差反向傳播，調節網絡的權值和閾值。BP神經網絡作為一種引入隱含層神經元的采用多層感知器的神經網絡模型，主要由輸入層、中間層和輸出層3 個部分組成。其中，中間層即隱含層，可以是一層或多層結構。

1 BP神經網絡概述

BP神經網絡是人工神經網絡的分類中的多層前饋型神經網絡。BP神經網絡的主要特征為傳遞信號向前傳播，而誤差反向向后傳播。BP神經網絡在工作時，信息從輸入層通過隱含層到達輸出層。輸出層達不到所期望的信號，將誤差反向傳播，從而根據誤差不斷調整BP神經網絡的閾值和權重，從而使BP神經網絡的輸出值不斷逼近期望值。

2系統設計

該異常數據識別系統利用神經網絡對電力系統異常進行識別，實際上是利用神經網絡可以以任意精度逼近任一非線性函數的特性以及通過學習歷史數據建模的特點。在各種類型的神經網絡中，BP神經網絡具有輸入延遲，適合于電力系統異常數據識別。根據電力系統運行的歷史數據，設定神經網絡的輸入、輸出節點，以反映系統運行的內在規律，實現識別數據異常的目的。所以，利用神經網絡對電力系統異常數據進行識別，主要就是要設定神經網絡的輸入、輸出節點使其能反映電力系統運行規律。

3訓練樣本

在BP神經網絡模型中，在選擇樣本時，一定要盡可能的表達出系統中全部可能發生的情況所對應的狀態，這樣才能表現出來動力參數與實際測量數據一一對應的映射關系。將需要進行反分析的動力參數作為因素，要在每一個因素里面的各種組合中均要做試驗。假設在一組設計試驗中，有n個因素，并且它自身又有l1 ，l2 ，......，ln個水平，那么在進行全面試驗時，至少需要做每個水平之積次試驗。當因素及其自身對應的水平數量不太多時，運用這種算法是比較準確的。但是，隨著因素及其對應的水平越來越多，需要做的試驗次數也要幾何級數般增長。因此，在BP神經網絡的學習過程中，如果選擇合適、合理的方法選擇樣本就十分重要。

4 BP網絡模型與訓練算法

BP（BackPropagation，后向傳播）神經網絡全稱又叫作誤差反向傳播（errorBackPropagation）網絡。它是一種采用BP算法訓練的多層前饋神經網絡，每層網絡均包含一個或多個M-P神經單元構成。M-P神經單元結構，xi表示第i個輸入值，wi為該輸入值的權重，θ為該神經元的閾值，y為該神經元輸出值。其中，即神經元將n個維度的輸入值加權相加后與神經元的閾值進行比較，然后將比較值通過激活函數f處理后進行輸出。BP網絡通過不同網絡層間神經元的全連接構成。在網絡訓練學習過程中，BP算法將輸入數據通過輸入層進行輸入，并經過隱藏層計算后由輸出層進行輸出。接著輸出值與標記值進行比較，計算誤差（代價函數）。最后誤差再反向從輸出層向輸入層傳播，反向傳播過程使用梯度下降算法以目標的負梯度方向來對神經網絡上的權重和閾值進行調整。

5神經網絡識別實驗

考察5 種不同類型的神經網絡，表1 列出了Perceptron、BP、PBH、模糊ARTMAP和RBF的均方根誤差與Perceptron的誤分類率等信息。可以看到，Perceptron神經網絡表現不佳，均方根誤差在0.6~0.7 之間；誤分類率在0.1~0.2 之間。Perceptron神經網絡對異常數據的檢測錯誤與誤分類率較高。隨著隱藏神經元數量的增加，ARTMAP與RBF網絡的性能均會提高。在大多數情況下，均優于Perceptron。BP與PBH網絡具有相似性能，且兩個神經網絡始終比其他3 種類型的神經網絡表現更優。隨著隱藏神經元數量的增加，兩種神經網絡錯誤與誤分類率不會降低。

6狼群算法

狼群算法優化BP神經網絡。狼群算法是一種群智能算法，它通過模仿狼群捕獵的行為來處理優化問題。在自然界中，狼在食物鏈中處于捕獵者。狼的外形神似狗和豺，動作迅速，嗅覺靈敏，有天生的捕獵能力。狼群算法最早于2007 年提出，后來有學者發現其中存在的問題，經狼群算法優化后提出了新型狼群算法（WCA），最后，2013 年根據自然界中狼群追捕獵物，捕食，以及分配食物的方式提出的基于狼群群體智能的算法（WPA）。該算法詳細的將狼群內的種類分為頭狼、探狼、猛狼三種，并具有圍攻、召喚、奔襲、游走等行為。狼群算法同樣依據自然界中“勝者為王，適者生存”的更新機制。狼群算法的加入，形成了改進的BP神經網絡，防止網絡陷入局部極值點，提高網絡效率。

7遺傳算法

遺傳算法優化BP神經網絡。算法主要包括三部分：初始化BP神經網絡結構、遺傳算法優化和BP神經網絡識別。其中初始化BP神經網絡結構包括：確定輸入層、隱含層和輸出層節點個數，以及初始化網絡的權值和閾值等參數。遺傳算法優化BP神經網絡是將一個網絡中的所有權值和閾值看作種群中的一個個體，然后通過選擇、交叉和變異的操作得到最優的個體，即最優權值和閾值，并將該組權值閾值賦給BP神經網絡作為初始的權值和閾值。最后的BP神經網絡識別部分，是利用遺傳算法優化的初始權值和閾值來訓練網絡，再利用訓練好的神經網絡進行識別。

結束語

為實現電網工程建設中對異常數據的檢測，建立了分布分層的數據檢測系統。其是一種使用統計預處理與神經網絡分類的異常數據檢測算法。通過對5 種不同的神經網絡進行對比實驗，可得出結論：BP與PBH網絡的性能優于Perceptron、模糊ARTMAP和RBF等3 種神經網絡。考慮到構建成本最終選取BP神經網絡作為系統的神經網絡分類器，在此基礎上還進行了系統測試。結果表明，系統能夠可靠地檢測到異常數據，其流量強度僅為背景強度的5%~10%，證明了該系統的有效性。

參考文獻

[1]李慧，陳愷妍.基于神經網絡的電力計量故障診斷研究[J].計算機與數字工程，2020，48(05):1252-1257.

[2]多俊龍，王大眾，崇生生.在電力通信預警中優化的BP神經網絡模型研究[J].東北電力技術，2020，41(02):13-15+62.

[3]羅寧，高華，賀墨琳.基于神經網絡的電力負荷預測方法研究[J].自動化與儀器儀表，2020(01):157-160.

第3篇：神經網絡的反向傳播范文

關鍵詞：BP神經網絡 動量因子法 變步長法 學習速率

1.引言

人工神經網絡（Artificial Neural Networks，ANN）是通過對人腦神經元建模、聯結模擬生物腦或世界系統的網絡模型，是一種具有學習、記憶和模式識別等智能信息處理功能的人工系統。通常研究和使用的十種神經網絡模型中，人們較多用的是Hopfield網絡、BP網絡、Kohonen網絡和ART網絡模型。其中的BP神經網絡是基于反向傳播（BackPropagation）的網絡，也是神經網絡領域中研究最多、應用最廣的網絡模型。它采用最小均方差的學習方式，可用于函數逼近及語言綜合、識別和自適應控制等。

2.標準BP神經網絡算法

BP算法作為前饋網絡的主要學習算法，對神經網絡的推廣應用起了舉足輕重的促進作用。標準的BP網絡，優化計算的方法很多，比較典型的是采用一階梯度法，即最速下降法。在BP神經網絡訓練中，主要是針對一定的輸入，所得到的輸出是否與期望輸出接近，即誤差的代價函數達到最小。其簡單的實現步驟為：（1）通過網絡輸入反向傳播；（2）通過網絡將敏感性反向傳播；（3）使用近似均方誤差的BP算法更新權值和偏置值。

標準的BP算法因具有簡單、易行、計算量小及并行性強等優點，是目前神經網絡訓練采用最多、最成熟的訓練算法。由于BP網絡中待尋優的參數太多，往往導致算法收斂速度慢。對于復雜問題，訓練過程需迭代幾千、幾萬次才能收斂到期望的精度。因此，標準的BP網絡在很大程度上實用性不強，尤其對于實時性很強的系統而言。

3.BP算法的改進

BP多層前饋網絡已成為神經網絡的重要模型之一，但實際上的BP多層前饋網絡并不是利用標準的BP算法對網絡進行訓練的，而是對BP算法進行了啟發式改進。

（1）增加動量因子法

BP算法的神經網絡的誤差曲面具有不同的區域有不同的誤差改變率的特點。假若開始訓練的學習速率較高，那么算法的收斂速度可能很快。但當迭代進入的區域包含極小點時，此時算法發散，來回振蕩，收斂不到極小值點。如果用平均改變參數的方法進行軌跡的過濾，就可以對震蕩進行平滑并可產生穩定的軌跡。當動量濾波器的參數得到了改變，獲取反向傳播的動量，使用了動量項，可以在保證算法較為穩定的前提下，在網絡訓練進入局部最小值時產生一個繼續向前的正向斜率運動，使得搜索能夠跳出較淺的峰值；當網絡搜索位于誤差曲面平坦區的區域時，該方法能夠較快地提高訓練速度。

（2）變步長法

變步長法通過調整網絡訓練的學習率，故也稱為可變學習速率的方法。BP算法中對連接權值的調整，取決于兩個因子，即學習速率和梯度。其中通過調整學習速率提高算法收斂收率的方法，是當前認為最簡單、有效的方法。學習率不能隨意選取，選得太小，收斂會變慢；選得太大，可能調整過多，使得算法振蕩或發散。所以，在對學習率進行調整時，一般遵循的準則是：首先檢查修正值，看該值是否明顯降低了誤差。如果降低了，則學習率的值選取偏小，可以作為對學習率調整的參考；否則，學習率值調整過大，就應該對該值進行減小。增加可變速率參數后，得到改進的BP算法如下：

①如果整個訓練集上的均方誤差權值在更新后增加的，且該值超過了預設的某個百分數，如：1%～5%，則不對權值進行更新。學習速率被乘以一個大于零且小于1的因子，并且動量系數被設置為0。

②如果均方誤差在權值更新后變小了，則接受權值更新。學習速度將被乘以一個大于1的因子。假若學習率被設置為0，則恢復之原來的值。

③如果均方誤差的增長變小，則權值更新被接受，但學習速度保持不變。如果學習率過去被設置為0，則恢復到以前的值。

4.實驗結果

分別對目標誤差為0.001的網絡訓練。實驗結果如下：

（1）采用標準BP網對樣本進行訓練，迭代次數近5000次尚未收斂。

（2）采用增加動量法，迭代375次，學習過程收斂。

（3）采用變步長法，迭代1728次收斂。

由此可見，未改進的標準BP學習算法存在收斂速度慢的缺陷；改進后的BP學習算法都從不同程度上提高了算法的收斂速度，訓練的次數大大減小了。對BP算法采用啟發式改進措施后，明顯提高了學習速度。

第4篇：神經網絡的反向傳播范文

【關鍵詞】噸煤單耗 因素 BP神經網絡 MATLAB仿真

1 引言

噸煤單耗是煤炭加工企業組織生產考核指標中的一項非常重要考核內容，它指的是輸送或破碎環節中每輸送或破碎一噸煤所消耗的電量。噸煤單耗與系統的運行時間、煤炭輸送量、原煤破碎量、線路損耗、系統故障時間以及電量結算日期等因素有著密切的關系。據統計，幾年前國內多數煤炭加工企業對噸煤單耗的計算并未形成一種相對精確的預測模型。我們知道影響噸煤單耗的因素很多，而且這些因素之間并不是簡單的線性函數關系，基于此種現狀本文將影響噸煤單耗計算的主要因素作為BP神經網絡的輸入，利用MATAB仿真軟件對網絡進行自學習式訓練，通過多次訓練建立了可靠的BP神經網絡噸煤單耗預測模型，并將2011年、2012年部分實際生產數據與預測數據進行了對比驗證，分析結果表明該模型預測的噸煤單耗能夠滿足指導生產實踐、控制成本的要求。

2 BP神經網絡預測模型的建立

2.1 BP神經網絡的基本原理

在人工神經網絡發展歷史中，很長一段時間里沒有找到隱層的連接權值調整問題的有效算法。直到誤差反向傳播算法（BP算法）的提出，成功地解決了求解非線性連續函數的多層前饋神經網絡權重調整問題。BP （Back Propagation）神經網絡，即誤差反傳算法的學習過程是由信息的正向傳播和誤差的反向傳播兩個過程組成。當實際輸出與期望輸出不符時，進入誤差的反向傳播階段。誤差通過輸出層，按誤差梯度下降的方式修正各層權值，向隱層、輸入層逐層反傳。周而復始的信息正向傳播和誤差反向傳播過程，是各層權值不斷調整的過程，也是神經網絡學習訓練的過程，此過程一直進行到網絡輸出的誤差減少到可以接受的程度，或者預先設定的學習次數為止。本文就是利用其具有較強的非線性映射特性，來預測噸煤單耗的。

2.2 BP神經網絡結構參數的設計

BP神經網絡作為一種多層的前饋網絡，根據Kolmogorov定理，對于任意給定的一個連續函數，都可以用一個三層的前饋網絡以任意精度逼近，其輸入層隱含層各節點之間，隱含層和輸出層各節點之間用可調節的權值進行連接。本模型將選取一個三層的BP神經網絡，從輸入層到隱含層和從隱含層到輸出層的激勵函數（反映下層輸入對上層節點刺激脈沖強度的函數）分別采用S型函數和線性函數。

2.3 各層神經元個數及參數的確定

2.3.1 網絡輸入層神經元個數的確定

在BP神經網絡模型的設計中，輸入和輸出節點的多少是由具體問題來決定的。在噸煤單耗計算過程中，輸入層神經元應選取對噸煤單耗計算有重要影響的幾個因素：系統運行時間（h）、產量（t）、用電量（KW?h）、流程的效率（t/h）這樣本模型的輸入層共計有4個節點。

2.3.2 網絡輸出層和隱含層神經元個數的確定

輸出層選取噸煤單耗、流程效率作為輸出層神經元。

2.4 數據處理與訓練樣本的選擇

由于BP神經網絡的泛化能力更多地體現在內插功能上，對于外部數據的泛化能力很差，所以訓練樣本的選取對于能否通過訓練得到合理、精確的模型來說是至關重要的。因此本模型選取了2010年，2011年兩年內具有典型性的21組數據經過神經網絡數據處理后，20組作為神經網絡的訓練樣本，另外1組作為測試樣本。本文中BP神經網絡的激勵函數為Sigmoid函數，這就要求網絡的輸入輸出量均應在[-1，1]之間。對于連續值變量，我們需要進行歸一化處理。本文所選的22組數據經歸一處理后如表1所示（為公司數據保密此表只列出了歸一處理后的相應數據）：

3 BP神經網絡訓練及預測分析

本模型采用MATLAB神經網絡.m文件格式調用BP神經網絡算法traingdm函數對20組歸一化后的數據進行BP網絡訓練，學習速率設置為0.04，訓練次數設置為10000次，目標誤差10-3。

4 結論

綜上所述，本模型能夠較好的實現基于實際生產數據來預測噸煤單耗以及流程效率的功能，同時數據也表明用BP神經網絡實現這一功能切實可行。通過此模型的建立我們可以通過控制流程的效率來控制噸煤單耗，從而控制實際噸煤單耗在考核指標以內，保證公司能夠順利完成全年的生產考核指標。

參考文獻

[1]著作：飛思科技產品研發中心.神經網絡理論與MATLAB7實現[M].北京：電子工業出版社，2006（99）.

作者簡介

李忠飛（1981-），通遼市奈曼旗人。研究生學歷。現為內蒙古霍林河露天煤業股份有限公司煤炭加工公司維修一部工程師、控制理論與控制工程專業電修隊隊長。

第5篇：神經網絡的反向傳播范文

關鍵詞：人工神經網絡 多層感知器 BP算法 異或運算

中圖分類號：TP391.4 文獻標識碼：A 文章編號：1007-9416（2013）03-0138-02

作為一門活躍的邊緣叉學科，神經網絡的研究與應用正成為人工智能、認識科學、神經生理學、非線性動力學等相關專業的熱點。近十幾年來，針對神經網絡的學術研究大量涌現，上百種神經網絡模型被提出，其應用涉及模式識別、聯想記憶、信號處理、自動控制、組合優化、故障診斷及計算機視覺等眾多方面，取得了令人矚目的進展。

經過近半個世紀的發展，神經網絡理論在模式識別、自動控制、信號處理、輔助決策、人工智能等眾多研究領域取得了廣泛的成功。關于學習、聯想和記憶等具有智能特點過程的機理及其模擬方面的研究正受到越來越多的重視。

學習功能是神經網絡最主要的特征之一。各種學習算法的研究，在人工神經網絡理論與實踐發展過程中起著重要作用。當前，人工神經網絡研究的許多課題都致力于學習算法的改進、更新和應用。

1958年，美國學者Frank Rosenblatt首次定義了一個具有單層計算單元的神經網絡結構，取名為感知器（Perceptron）。經過論證，單層感知器只能進行線性分類，對非線性樣本的劃分無法實現，例如異或問題在二維空間中就是一個非線性的樣本空間分類的問題，就需要用到多層感知器，即網絡應具有隱層，但對隱層神經元的學習規則尚無所知。就感知器學習規則來說，其權值的調整取決于網絡期望輸出與實際輸出之差，而對各隱層節點來說，不存在期望輸出，因而該學習規則對隱層權值調整不適用。此時需要用到誤差反向傳播的BP學習規則。

BP（Back Propagation）網絡是1986年由Rumelhart和McCelland為首的科學家小組提出，是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。BP網絡能學習和存貯大量的輸入―輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。它的學習規則是使用梯度法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。BP神經網絡模型拓撲結構包括輸入層（input layer）、隱層（hide layer）和輸出層（output layer）。

BP算法由數據流的前向計算（正向傳播）和誤差信號的反向傳播兩個過程構成。正向傳播時，傳播方向為輸入層隱層輸出層，每層神經元的狀態只影響下一層神經元。若在輸出層得不到期望的輸出，則轉向誤差信號的反向傳播流程。通過這兩個過程的交替進行，在權向量空間執行誤差函數梯度下降策略，動態迭代搜索一組權向量，使網絡誤差函數達到最小值，從而完成信息提取和記憶過程。

BP算法的學習目的是對網絡的連接權值進行調整，使得調整后的網絡對任一輸入都能達到所期望的輸出。學習過程由正向傳播與反向傳播組成。正向傳播用于對前向網絡進行計算，即對某一輸入信息，經過網絡計算后得出它的輸出結果；反向傳播用于逐層傳遞誤差，修改神經元間的連接權值，以使網絡對于輸入信息經過計算后得到的輸出能達到期望的誤差要求。

學習的方法是使用一組訓練樣例對網絡的連接權值進行訓練，每一個樣例中，都包括輸入及期望的輸出兩部分。在正向傳播算法中，首先將訓練樣例的輸入信息輸入到網絡中，輸入信息從輸入層經過隱層節點逐層計算處理后，傳至輸出層。在計算處理過程中，每一層神經元的狀態只影響下一層神經元的狀態，如果在輸出層得到的結果不是所期望的輸出，那么就轉為反向傳播。

反向傳播把誤差信號沿路徑方向傳回，并按一定的原則對各層神經元的權值進行修正，直到第一個隱層，這時再開始進行正向傳播，利用剛才的輸入信息進行正向網絡計算，如果網絡的輸出達到了誤差要求，則學習過程結束，如果達不到要求，則再進行反向傳播的連接權值調整。

這一過程不斷反復，直到網絡正向計算的輸出結果達到誤差要求的結果為止，這時學習過程結束。具體算法過程見圖1。一旦網絡進行訓練后，在用于求解實際問題時就只需要使用正向傳播，而不需要使用反向傳播了。

使用BP算法實現異或問題的具體學習過程按以下步驟順序進行：

（1）網絡狀態初始化：用較小的隨機數對網絡的權值（Xji）和（Pkj）以及偏置值（θj）和（γk）賦初值。

（2）輸入第一個模式。

（3）把學習模式的值作為輸入層單元i的輸出（Ii），用輸入層到中間層的權值（Xji）和中間層單元的偏置值（θj），求出對中間單元j的輸入Uj以及相應的輸出Hj：

Uj=?Ii +θj，

Hj=f（Uj）。

上式中的f（?）是Sigmoid函數。

（4）用中間層的輸出（Hj），中間層到輸入層的連接權值（Pkj）以及輸出層單元的偏置值（γk）求出對輸出層單元k的輸入Sk以及相應的輸出Ok：

Sk=?Hj+γk，

Ok=f（Sk）。

（5）根據學習模式的教師信號Tk和輸出層的輸出Ok的差，求出有關輸入層單元k的偏置值以及連接到其上權值的誤差（δk）：

δk=（Ok-Tk）?Ok?（1- Ok）。

（6）根據誤差δk，從中間層到輸入層的權值（Xkj）以及中間層的輸出（Hj），求出有關中間層j的偏置值以及連接到其上的權值的誤差（σj）：

σj =?Pkj?Hj?（1-Hj）。

（7）根據由第（5）步求出的δk以及Hj和常數α，對從中間層單元j到輸出層單元k的權值（Pkj）加以調整。另外，根據δk和常數β對輸出層單元k的偏置值γk加以調整：

Pkj=Pkj+αδk Hj，

γk=γk+βδk。

（8）根據誤差σj，輸入單元i的輸出（Ii）以及常數α對從輸入單元i到中間層單元j的連接權值（Xji）加以調整。根據誤差（σj）和常數β對中間層單元j的偏置值（θj）加以調整：

Xji=Xji+ασj Ii，

θj=θj+βσj。

（9）輸入下一個模式。

（10）若有學習模式，則返回（3）。

（11）更新學習次數。

（12）若學習次數小于規定的次數，則返回（2）。

程序運行過程及結果：

程序運行后，在提示下輸入“學習率”為0.999，輸入“誤差控制精度”為0.0001，輸入“循環的最大次數”為20000，程序執行后，可以看到在result.txt中結果如圖2。

通過這個實例，使用多層感知器解決了單層感知器不能解決的異或問題，也從側面驗證了BP網絡通過若干簡單非線性處理單元的復合映射，可獲得復雜的非線性處理能力。但是從給入不同的學習率、誤差控制精度和學習次數得到了不同的結果，從中也暴露了BP算法的一些局限性。

（1）該學習算法的收斂速度慢，常常需要成千上萬次的迭代，而且隨著訓練樣例的增多，網絡性能會變差；

（2）網絡中隱節點個數的選取上無理論上的指導；

（3）從數學角度上看，BP算法是一種梯度最速下降法，這就有可能出現局部最小的問題。當出現局部最小時，從表面上看，符合誤差的要求，但這時所得到的解并不一定是問題的真正解。所以BP算法是不完備的。

參考文獻

[1]徐麗娜.神經網絡控制（第三版）.電子工業出版社，2009.7.

[2]馬銳.人工神經網絡原理.機械工業出版社，2010.09.

[3]張軍，詹志輝.計算智能.清華大學出版社，2009.11.

[4]楊建剛.人工神經網絡實用教程，浙江大學出版社，2001.1.

[5]宋宜斌，王培進.多層前饋神經網絡改進算法及其應用.計算機工程，2003.8.

第6篇：神經網絡的反向傳播范文

【關鍵詞】BP神經網絡；電網物資；需求預測

電網在電力系統中是聯系發電設備和用電設施的載體，它主要是由送電線路、變電所、配電所以及配電線路等環節組成。近幾年來，隨著我國國民經濟的持續增長，我國的電力事業得到了飛速發展，電網電壓等級不斷提高，網絡規模不斷擴大，電網物資作為影響電網建設至關重要的因素，其管理工作也顯得越來越重要。需求預測的開展，能夠有效提高電力物資的保障能力，同時也能為長期的物資規劃提供數據支持，因此，電網建設項目物資需求預測研究有著重要意義和價值。

物資需求預測的主要預測方法包括：基于時間序列的移動平均法[1]、指數平滑法[2]、結合備件物資的特性提出的Croston法[3]以及用于預測需求不服從任何分布情況下的間歇性物資需求Bayesian法[4]等，這些方法都只能依靠物資本身需求數據來進行擬合預測，對于需求波動較大的物資預測精度較低。將人工神經網絡方法引入需求預測成為一個新的研究趨勢[5，6]。

關于電網物資的需求預測，現有的研究集中于電力庫存物資的需求預測方面[7，8]。而目前電網企業的項目物資需求計劃管理主要采用的是提前儲備物資信息，工程、物資協同管理的模式[9]，至于電網建設項目物資的需求預測研究，還尚未開展。其主要原因是缺乏主要的數據支持，國家電網公司的企業資源計劃（ERP）系統于2010年全面正式上線，為電網建設物資的需求預測提供了一個難得的數據平臺，也為物資需求預測提供初步的數據支撐。同時，電網建設項目物資的標準化建設也為需求預測的開展提供了可能。基于此，本文依據電網建設項目里程碑計劃中的指標如電壓等級、線路長度、變電容量等，提出基于BP神經網絡的電網建設項目物資需求預測模型，并通過實例數據測試模型性能。

1.電網建設項目物資需求特點分析

電網建設項目具有投資額大，建設周期長，受環境影響大的特點，每個項目的工程規模、啟動時間、緊急程度均不同，這給項目物資管理造成了一定的難度。同時，不同地域、不同電壓等級的電網工程所需的物資有著相當大的差異性，僅僅依靠物資的歷年數據進行遞推預測是不可靠的。不同的計劃期（年，季，月）內的物資需求量之間沒有必然的聯系，因此需要通過影響因素來判斷物資的需求。BP神經網絡是一種能學習和存貯大量的輸入-輸出模式映射關系的方法，它無需事前揭示或描述這種映射關系，因而適合解決諸如電網建設項目物資需求預測這類因果關系復雜的非確定性問題。

2.BP神經網絡預測模型構建

BP神經網絡是一種多層前饋網絡，它主要是通過誤差逆向傳播算法來進行訓練的。BP神經網絡的學習算法是最速下降法，它通過反向傳播來不停調整網絡的權值和閾值，從而達到減小誤差至最優的目的。

2.1 BP神經網絡模型結構

BP神經網絡是典型的多層結構網絡，本文主要應用BP神經網絡算法構建單隱層網絡（又稱三層前饋網或三層感知器），所謂的三層網絡主要是由輸入層、隱含層以及輸出層組成，具體結構如圖1所示。輸入層、隱含層以及輸出層各層均由大量神經元組成，且層與層以權值連接，但同層之間不允許傳遞信號，各層神經元只能向高層輸出激活信號。

2.2 BP神經網絡學習算法

BP神經網絡是典型的有導師學習算法，其學習過程主要分為正向傳播和反向傳播兩種。正向傳播是用來計算前向網絡的，其將輸入信號通過隱含層傳遞至輸出層，經網絡計算出輸出結果。在神經網絡正向傳播過程中，網絡的權值固定不變，同層神經元之間不能互相影響，同時，如果輸出層所得結果誤差超過期望值，則進入反向傳播階段；BP神經網絡的反向傳播實際指的是誤差的反向傳播，其將誤差信號（即輸出結果與期望結果的差值）逐層逆向反饋，通過修改神經元的連接權值和閾值，來使正向傳播所得輸出結果能更加接近期望輸出。下圖2為BP神經網絡學習算法圖。

2.3 BP神經網絡算法步驟

2.4 電網建設項目物資需求預測模型構建

本文以某省電力公司電磁式電流互感器的歷史需求數據為樣本，從ERP系統中調取59個已建項目的需求數據，從中篩選出電磁式電流互感器的需求量，從而運用MATLAB中的BP神經網絡模型和軟件編程功能進行預測分析，模型參數設定為：

（1）輸入層神經元數目設為3，分別為變電容量、線路長度和工程類型。其中，“變電容量”是指項目所建電網變電站的主變壓器的容量，其主要反映變壓器輸送電能的能力，這個容量就決定了線路的負載能夠有多大；線路長度是指項目所建電網的線路里程；工程類型則是作為一個名義變量，定義為三個類別：新建項目、改建項目以及擴建項目，同時將其分別以數字1、2、3代替進行演算分析。

（2）隱含層神經元數目由Try Error Try法不斷調試直至找出最優值為止，初始值參考上式（1）設為7。

（3）輸出層神經元數目設為1，為電網物資預測數量。

構建BP神經網絡模型時，模型隱藏層選用S 形曲線傳遞函數，輸出層采用線性傳遞函數。將樣本數據隨機分為三組，70%樣本用于訓練網絡，采用 Levenberg- Marquardt運算法則作為訓練法則；15%樣本進行網絡泛化能力的檢測，當泛化能力不再提高時終止網絡訓練；剩下的15%樣本用于測試網絡的性能。若網絡訓練結果誤差過大，則再次訓練網絡，或調整隱藏層神經元個數，反復訓練網絡，直到獲得最佳結果為止，保存并輸出。

3.預測效果分析

采用BP算法訓練網絡時，設定顯示間隔次數為25，最大循環次數為3000，目標誤差為1×10-3，初始學習速率為0.5，學習速率增加的比率為1.2，學習速率減小的比率為0.7，動量常數為0.8，最大誤差比率為0.6。將歸一化后的學習樣本依次輸入BP網絡，按上述BP學習算法的步驟反復訓練，結果見圖3。

從圖3可以看出，電磁式電流互感器預測的最大絕對誤差為2臺，且主要分布于需求較少的項目中，對于需求較多的項目，預測值基本與實際值重合，精度較高，表明BP神經網絡預測能夠進行有效預測。

由于ERP系統應用尚未普及，目前可獲取的項目數據還不夠完善（樣本數據皆來自省電力公司ERP系統），本文主要選取的是在電網工程中運用最為普遍的物資——電磁式電流互感器，因此數據量還較為豐富，也取得了較為滿意的預測效果。同時，諸如鋼絞線、接續金具、耐張線夾、T型線夾、懸垂線夾、聯結金具等物資由于應用較為廣泛，可用的項目樣本也足夠多，因此通過構建BP神經網絡進行物資預測也取得了較好的預測效果。

隨著電網建設的不斷發展以及ERP系統的深入應用，未來可用的項目樣本將越來越多，而樣本集越豐富，建模所取得效果則越優。盡管BP神經網絡建模所預測到的電網建設項目物資需求量不一定是最優值，但預測精度有了很大的提高。BP神經網絡通過網絡訓練，將原本很復雜的預測模型簡化，同時不斷擴充新樣本，以適應不斷變化的環境，實現了對電網建設項目物資的動態預測。

4.結論

運用BP神經網絡預測方法能很好地處理較為復雜的問題，約束條件也遠遠少于傳統的預測模型，同時，BP人工神經網絡具有學習性和時變性的特點，能夠有效地實現動態建模與分析，從而有效地實現了電網物資需求預測。然而人工神經網絡技術是一種數據挖掘技術，如何獲取和整理歷史數據至關重要，因此，在實際中應深入應用電力公司的ERP 系統，盡早完善電網需求物資數據庫，為BP神經網絡預測模型構建提供數據支持。

參考文獻：

[1]Siddique F，Choudhary M.A..Decision Support System for Optimizing Spare Parts Forecasting for Training Aircrafts Source：Recent Advances in Applied Mathematics[J]. Proceedings of the 14th WSEAS International Conference on Applied Mathematics， vol.， no.，pp： 34-41，2009.

[2]Moon Seongmin，Hicks Christian， Simpson.The development of a hierarchical forecasting method for predicting spare parts demand in the South Korean Navy- A case study Andrew[J].International Journal of Production Economics， vol.140， no.2，pp：794-802， December 2012.

[3]Heinecke G.，Syntetos A.A.，Wang W..Forecasting- based SKU classification[J]. International Journal of Production Economics，2011.

[4]Kamath K Rajashree，T P M Pakkala.A Bayesian approach to dynamic in ventory model under an unknown demand distribution[J].Computers& Operations Reseach，2002.

[5]Amin-Naseri M.R.，Tabar B.R..Neural network approach to lumpy demand forecasting for spare parts in process industries[J].Computer and Communication Engineering，vol.， no.，pp：1378-1382， 13-15，May 2008.

[6]張冬，明新國，趙成雷等.基于BP神經網絡和設備特性的工業設備備件需求預測[J].機械設計與研究，2010，26（1）：72-76.

[7]孫懷富.基于電子商務平臺的電力物資決策管理研究[D].北京：北京工業大學，2006.

[8]王志勇.大唐集團托克托發電廠物資管理研究[D].北京：華北電力大學，2010.

[9]鄔斌弢，張玉鑫.基于雙向協同的物資需求計劃管理在電網工程中的應用研究[J].華東電力，2012，40（5）：0913-0914.

基金項目：國家電網公司科技資助項目（豫電WZBKJ[2011]342號）。

作者簡介：

宋斌（1968-），男，河南開封人，高級工程師，河南省電力公司物資部計劃合同處處長，主要從事電力物資合同管理和供應鏈管理等研究。

宋秉虎（1970-），男，甘肅白銀人，高級工程師，研究方向：電力物資管理，供應鏈管理。

第7篇：神經網絡的反向傳播范文

關鍵詞：風速；短期預測；相似數據；小波分析；人工神經網絡

1 引言

隨著風電場并網運行規模的增大，國內外對于風力發電并網各種課題的研究越來越深入，但關于風電場發電功率預測的研究還達不到令人滿意的程度，預測誤差一般都在15%以上[1]。

采用的方法通常包括持續法、卡爾曼濾波法、隨機時間序列法、神經網絡法。其中，人工神經網絡法進行風速或風電功率預測應用得最廣。文獻[2-3]都利用小波―BP神經網絡進行建模，但訓練樣本沒有相關性，預測精度偏低。文獻[4-5]利用改進的BP神經網絡建模，雖然運行時間縮短，但是在數據相關性和數據去噪處理方面欠缺，導致精度不高。因此，本文建立了基于相似數據并結合小波分析的BP神經網絡建模。

2 基于相似數據并結合小波分析的BP神經網絡建模

2.1 相似數據選擇辦法

2.3 反向傳播（BP）神經網絡

2.4 仿真實驗建模

3 算法對比分析

從圖4可得出，BP神經網絡模型的平均相對誤差為20.77%，而本模型為10.21%。因此，采用本模型建模得到的相對誤差較傳統的BP神經網絡模型預測精度有很大的提高。

4 結論

針對風力發電中風速預測問題，本文在BP神經網絡理論的基礎上引入相似數據并結合小波分解進行短期風速預測，得到如下結論：

⑴相似數據的選取增強了數據的相關性，提高了模型預測精度。

⑵小波分解降低了信號的非平穩性，使模型更好地擬合了風速信號的低頻和高頻特性，可進一步提高算法精度。

⑶通過對算法對比分析，表明本模型較傳統BP神經網絡模型誤差小，充分地說明此方法在工程應用上具有可行性。

[參考文獻]

[1]楊秀媛，肖洋，陳樹勇.風電場風速和發電功率預測研究[J].中國電機工程學報，2005，25（11）：1-5.

[2]師洪濤，楊靜玲，丁茂生，王金梅.基于小波―BP神經網絡的短期風電功率預測方法[J].電力系統自動化，2011，35（16）：44-48.

[3]厲衛娜，蘇小林.基于小波- 神經網絡的短期風電功率預測研究[J].電力學報，2011，26（6）：458-461.

[4]王德明，王莉，張廣明.基于遺傳BP神經網絡的短期風速預測模型[J]. 浙江大學學報（工學版），2012，46（5）：837-841.

第8篇：神經網絡的反向傳播范文

關鍵詞:神經網絡;計算機;智能信息;應用

中圖分類號:TP183

文獻標識碼:A

文章編號:16723198(2009)20028602

1神經網絡的定義

一般情況下,人工神經元網絡是作為信息處理單元來模仿大腦,執行特定的任務或完成感興趣的功能。關于它的定義有很多種,而下面的HechtNielsen給出的神經網絡定義最具有代表意義: 神經網絡是一種并行的分布式信息處理結構,它通過稱為連接的單向信號通路將一些處理單元互連而成。每一個處理單元都有一個單輸出到所期望的連接。每一個處理單元傳送相同的信號――處理單元輸出信號。處理單元的輸出信號可以是任一種所要求的數學類型。在每一個處理單元中執行的信息處理在它必須完全是局部的限制下可以被任意定義,即它必須只依賴于處理單元所接受的輸入激勵信號的當前值和處理單元本身所存儲記憶的值。

2神經網絡的基本屬性

(1)非線性: 人腦的思維是非線性的,故人工神經網絡模擬人的思維也應是非線性的。

(2)非局域性: 非局域性是人的神經系統的一個特性,人的整體行為是非局域性的最明顯體現。神經網絡以大量的神經元連接模擬人腦的非局域性,它的分布存儲是非局域性的一種表現。

(3)非定常性: 神經網絡是模擬人腦思維運動的動力學系統,它應按不同時刻的外界刺激對自己的功能進行修改,故而它是一個時變的系統。

(4)非凸性:神經網絡的非凸性即是指它有多個極值,也即系統具有不只一個的較穩定的平衡狀態。這種屬性會使系統的演化多樣化。

3神經網絡模型的分類

(1)按照網絡的結構區分,則有前向網絡和反饋網絡。

(2)按照學習方式區分,則有教師學習和無教師學習網絡。

(3)按照網絡性能區分,則有連續型和離散性網絡,隨機型和確定型網絡。

(4)按照突觸性質區分,則有一階線性關聯網絡和高階非線性關聯網絡。

(5)按對生物神經系統的層次模擬區分,則有神經元層次模型,組合式模型,網絡層次模型,神經系統層次模型和智能型模型。

通常人們較多地考慮神經網絡的互連結構。一段而言,神經網絡有分層網絡、層內連接的分層網絡、反饋連接的分層網絡、互連網絡等4種互連結構。在人們提出的幾十種神經網絡模型中,人們較多用的是Hopfield網絡、BP網絡、Kohonen網絡和AR雙自適應共振理論網絡。

Hopfield網絡是最典型的反饋網絡模型,它是目前人們研究得最多的模型之一。Hopfield網絡是由相同的神經元構成的單層,并且不具學習功能的自聯想網絡。它需要對稱連接。這個網絡習以完成制約優化和聯想記憶等功能。

BP網絡是誤差反向傳播(Back Propagation)網絡。它是一種多層前向網絡,采用最小均方差學習方式。這是一種最廣泛應用的網絡。它可用于語言綜合,識別和自適應控制等用途。BP網絡需有教師訓練。

Kohonen網絡是典型的自組織神經網絡,這種網絡也稱為自組織特征映射網絡SOM。它的輸入層是單層單維神經元;而輸出層是二維的神經元,神經元之間存在以“墨西哥帽”形式進行側向交互的作用。因而,在輸出層中,神經元之間有近揚遠抑的反饋特性,從而使Kohonen網絡可以作為模式特征的檢測器。

ART網絡也是一種自組織網絡模型。這是一種無教師學習網絡。它能夠較好地協調適應性,穩定性和復雜性的要求。在ART網絡中,通常需要兩個功能互補的子系統相互作用.這兩個子系統稱注意子系統和取向子系統。ART網絡主要用于模式識別,它不足之處是在于對轉換、失真和規模變化較敏感。

4誤差反向傳播的前饋網絡(BP網絡)

學習是神經網絡一種最重要也最令人注目的特點。自從40年代Hebb提出的學習規則以來,人們相繼提出了各種各樣的學習算法。其中以在1986年Rumelhart等提出的誤差反向傳播法,即BP(error BackPropagation)法影響最為廣泛。直到今天,BP算法仍然是最重要、應用最多的有效算法。

(1)神經網絡的學習機理和機構:在神經網絡中,對外部環境提供的模式樣本進行學習訓練,并能存儲這種模式,則稱為感知器,感知器采用有教師信號進行學習。感知器的學習是神經網絡最典型的學習。這種學習系統分成三個部分:輸入部,訓練部和輸出部。

輸入部接收外來的輸入樣本X,由訓練部進行網絡的權值W調整,然后由輸出部輸出結果。在這個過程中,期望的輸出信號可以作為教師信號輸入,由該教師信號與實際輸出進行比較,產生的誤差去控制修改權值W。

(2)神經網絡學習的梯度算法:從感知器的學習算法可知,學習的目的是在于修改網絡中的權值,使到網絡對于所輸入的模式樣本能正確分類。當學習結束時,也即神經網絡能正確分類時,顯然權值就反映了同類輸人模式樣本的共同特征。換句話講,權值就是存儲了的輸人模式。由于權值是分散存在的,故神經網絡自然而然就有分布存儲的特點。

感知器學習算法相當簡單,當函數不是線性可分時求不出結果,而且不能推廣到一般前饋網絡中,為此出現了另一種算法-梯度算法((LMS)。梯度算法把神經元的激發函數改為可微分函數,例如非對稱Sigmoid函數為f (x) = l/(1 + e-x ),或對稱Sigmoid函數f (x) = (1 - e-x )/ (1 + e-x ) 梯度法比原來感知器的學習算法進了一大步。

(3)反向傳播學習的BP算法:感知機學習算法是一種單層網絡的學習算法。在多層網絡中,它只能改變最后權值。因此,感知機學習算法不能用于多層神經網絡的學習。1986年,Rumelhart提出了反向傳播學習算法,即BP算法。這種算法可以對網絡中各層的權值進行修正,故適用于多層網絡的學習。

它含有輸人層、輸出層以及處于輸入輸出層之間單層或多層的中間層,即隱含層。隱含層雖然和外界不連接,但是,它們的狀態則影響輸入輸出之間的關系。這也是說,改變隱含層的權值,可以改變整個多層神經網絡的性能。

第9篇：神經網絡的反向傳播范文

關鍵詞:BP神經網絡;電力負荷;短期預測

中圖分類號:TP183 文獻標識碼:A文章編號:1007-9599 (2010) 09-0000-02

Power Load Short-term Forecasting Based on BP Neural Network

Wang Jing,Yang Xiao

(School of Economics&Management,North China Electric Power University,Beijing102206,China)

Abstract:Load forecasting is an important task in power system.We forecasted short-term load for a region of southern based on BP neural network.Firstly,we introduce the structure of BP neural network,and then we make use of the data to do empirical research by using BP neural network of the region.And we consider the meteorological factors in the design of the BP neural network structure.

Keywords:BP Neural Network;Power Load;Short-term Forecast

一、引言

目前,全國供電緊張,部分嚴重地區經常缺電,造成許多發電設備不能及時檢修,處于超負荷的運轉狀態。會導致機組老化加速,出現不可預見的事故,造成人員、財產的傷亡。因此對未來電網內負荷變化趨勢的預測,是電網調度部門和設計部門所必須具備的基本信息之一。

電力系統負荷預測是電力生產部門的重要工作,通過精確的預測電力負荷,可以經濟的調度發電機組,合理安排機組啟停、機組檢修計劃,降低發電成本,提高經濟效益。負荷預測對電力系統控制、運行和計劃都有著重要的意義。電力系統負荷變化受多方面的影響,包括不確定性因素引起的隨機波動和周期性變化規律。并且,由于受天氣、節假日等特殊情況影響,又使負荷變化出現差異。神經網絡具有較強非線性的映射功能,用神經網絡來預測電力負荷越來越引起人們的關注。

二、BP網絡理論

(一)BP網絡結構

BP神經網絡全稱為Back-Propagation Network,即反向傳播網絡,是一種多層前饋神經網絡,結構圖如圖1所示,根據圖示可以知道BP神經網絡是一種有三層或三層以上的神經網絡,包括輸入層、中間層(隱層)和輸出層。前后層之間實現全連接,各層之間的神經元不進行連接。當學習樣本輸入后,神經元的激活之經由各層從輸入層向輸出層傳遞。之后,根據減少目標輸出與實際輸出誤差的原則,從輸出層反向經過各層至輸入層,逐級修正各連接的權值,該算法成為“誤差方向傳播算法”,即BP算法。由于誤差反向傳播不斷進行,網絡對輸入模式響應的正確率也不斷上升。

BP神經網絡傳遞函數不同于感知器模型傳遞函數,BP神經網絡要求其必須是可微的,所以感知器網絡中所用到的硬閾值傳遞函數在BP神經網絡中并不適應。BP神經網絡中常用的傳遞函數有正切函數、Sigmoid型的對數或線性函數。由于這些函數均是可微的,所以BP神經網絡所劃分的區域是一個非線性的超平面組成的區域,是一個比較平滑的曲面,它比線性劃分更加的精確。另外,網絡才有嚴格的梯度下降法進行學習,權值修正的解析式分非常明確。

(二)BP網絡算法

(1)初始化。給沒給連接權值 、 、閾值 與 賦予區間 內的隨機值

(2)確定輸入P和目標輸出T。選取一組輸入樣本 和目標輸出樣本 提供給網絡。

(3)用輸入樣本 、連接權 和閾值 計算中間層各單元的輸入 ,然后用 通過傳遞函數計算中間層各單元的輸出 。

(4)利用中間層的輸出 、連接權 和閾值 計算輸出層各單元的輸出 ,然后通過傳遞函數計算輸出層各單元的響應 。

(5)利用目標向量 和網絡的實際輸出 ,計算輸出層各單元的一般化誤差 。

(6)利用連接權 、輸出層的一般化誤差 和中間層的輸出 計算中間層各單元的一般化誤差 。

(7)利用輸出層各單元的一般化誤差 與中間呈個單元的輸出 來修正連接權 和閾值 。

(8)利用中間層各單元的一般化誤差 ,和輸入層各單元輸入P來修正連接權 和閾值 ,計算方法同(7)。

(9)達到誤差精度要求或最大訓練步數,輸出結果,否則返回(3)

三、實證研究

(一)神經網絡結構設計

本文以南方某缺電城市的整點有功負荷值,在預測的前一天中,每隔2小時對電力負荷進行一次測量,這樣,可以得到12組負荷數據。此外電力負荷還和環境因素有關,文章選取預測日最高氣溫、最低氣溫和降雨量氣象特征作為網絡輸入變量。所以設計的網絡結構為:15個輸入層節點和12個輸出向量,根據Kolmogorov定理可知,網絡中間層的神經元可以去31個。

(二)輸入數據歸一化處理

獲得輸入變量后,為了防止神經元飽和現象,在BP神經網絡輸入層進行歸一化,文章才有如下公式進行變換。

(三)實證分析

中間層神經元傳遞函數和輸出層傳遞函數分別采用S型正切函數tansig和S型對數函數logsig,因為這連個函數輸出區間為[0,1],滿足網絡設計的需求。

利用以下代碼創建一個滿足上述要求的BP神經網絡。

threshold=[0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1; 0 1];

netbp=newff(threshold,[31,12],{’tansig’,’logsig’},’trainlm’)

其中變量threshold用于規定輸入向量的最大值和最小值,規定了網絡輸入向量的最大值為1,最小值為0,。“trainlm”是為網絡設定的訓練函數,采用的是Levenberg-Marquardt算法進行網絡學習。該方法明顯優于共軛梯度法及變學習效率的BP算法,LM算法可大大提高學習速度,縮短訓練時間。

使用該地區2007年8月11日到20日的負荷和氣象數據作為輸入向量,8月12日至8月21日負荷數據作為目標向量,對網絡進行訓練,再用8月20日負荷數據和21日的氣象特征數據來預測21日用電負荷,檢驗預測誤差是否能帶到要求。

利用MATLAB進行仿真,經過79次訓練后達到誤差要求結果。如圖2

網絡訓練參數的設定見下表

從圖3和圖4中可以看出運用BP神經網絡方法很好的預測了負荷走勢,并且預測誤差較小,負荷工程預測的要求。四、結論

在進行電力負荷預測時,必須考慮氣象因素的影響。在不同的地區氣象因素對電力負荷的影響不同,因此本文在設計神經網絡結構時,結合該地實際情況考慮氣象因素。本文研究了BP神經網絡在電力負荷短期預測中的應用,根據上述的預測結果可以說明BP神經網絡對電力負荷進行短期預測是目前一種比較可行的方法。

參考文獻

[1]蔣平,鞠平.應用人工神經網絡進行中期電力負荷預報[J].電力系統自動化,1995,6(19):15-17

[2]蘇寧.MATLAB軟件在電力負荷預測中的應用[J].華北電力技術,2007(8):16-19

[3]康重慶,夏清,張伯明.電力系統負荷預測研究綜述與發展方向的探討[J].電力系統自動化,2OO4,28(17):1-11

[4]姜勇.電力系統短期負荷預測的模糊神經網絡方法[J].繼電器,2002,36(2):11-13

[5]田景文,高美娟.人工神經網絡算法研究及應用[M].北京:北京理工大學出版社,2006