国产丁香婷婷妞妞基地-国产人人爱-国产人在线成免费视频麻豆-国产人成-91久久国产综合精品-91久久国产精品视频

公務員期刊網 論文中心 正文

地震前兆臺網數據通信技術探析

前言:想要寫出一篇引人入勝的文章?我們特意為您整理了地震前兆臺網數據通信技術探析范文,希望能給你帶來靈感和參考,敬請閱讀。

地震前兆臺網數據通信技術探析

摘要針對地震前兆數據到云端傳輸的可靠、穩定和高效問題,研究了前兆數據通信策略中云端的資源動態分配方式以及基于UDP通信協議的傳輸技術和高效數據壓縮技術,實現將數據以盡快速度可靠的傳輸到云端的數據匯聚平臺,為前兆海量數據信息的存儲、分析、清理、分割提供通信傳輸保障。

關鍵詞云平臺;前兆臺網;傳輸技術;通信策略

引言

云平臺的出現,至今已趨于成熟,數據采集與管理的扁平化是大勢所趨,地震前兆數據的產出、處理、分析、存儲以及管理也必然走上扁平化道路,即將改變目前逐級匯集的管理模式,實現數據的可靠高效傳輸,達到儀器到云端直接對接的要求。地震前兆觀測數據可以利用這種新的基于互聯網的計算方式和資源應用平臺,通過網絡將龐大復雜的數據交由多部服務器組成的巨大系統平臺進行統一計算、分析和存儲。把分布在全國各地的地震前兆觀測儀器接入目前相對成熟的云計算和云存儲平臺,實現分別采用“模擬”、“九五”和“十五”等標準的異構設備統一接入到云架構管理平臺,從而將當前多節點數據存儲[1],多級匯集、分發的組網模式,改為中心存儲、單級采集管理模式。這一數據生產管理模式的實現必須建立在數據通信系統的可靠、穩定和高效的基礎之上。臺網數據源,即儀器數據傳輸到云端的分布式網絡環境,尤其是對跨區域傳輸中如何保證網絡的穩定性、傳輸效率和數據的一致性提出了非常高的要求。本文針對如上問題設計了高性能云傳輸技術方案,克服網絡帶寬有限、狀態不夠穩定等問題,實現對大容量數據高效傳輸,并最大限度地提升網絡帶寬利用率。

1數據傳輸方案設計

把前兆數據采集扁平化,集中于云端管理,確保數據傳輸的一致性、可靠性和高效性是系統實現的關鍵所在,針對該問題本文對數據傳輸部分進行了設計。在該設計中將高性能云傳輸分為數據傳輸引擎、資源索引服務、文件處理組件和用戶應用終端4個組成部分。數據傳輸引擎基于UDP用戶數據報協議,利用數據壓縮技術降低數據傳輸占用帶寬,同時改進UDP傳輸協議,提高數據傳輸效率和可靠性;文件處理組件和資源索引服務基于文件系統,提供數據的校驗、存儲及檢索功能,保持數據的一致性;用戶應用終端針對數據傳輸、索引服務、文件處理等底層功能組件的運行狀態進行監控,完成系統資源的動態分配。從數據通信傳輸系統設計可看出,確保數據傳輸的高效可靠,包含了云端資源動態分配、基于UDP協議的可靠通信和數據壓縮技術等關鍵技術部分。

2資源動態分配模塊設計

從前兆臺網數據傳輸的工作流程來看,首先前兆數據需要通過終端接入網絡,向云端提出數據傳輸需求,然后云端接受請求后分配基礎設施資源,如內存、CPU、網絡帶寬等,最后完成數據通信任務。在數據通信過程中,通過資源動態分配,實現可用資源的最大化利用。。整個云端實際上在一個虛擬系統的管理下,再細分為多個虛擬系統(虛擬機),每個虛擬機作為一個工作節點,虛擬機的系統資源多少是可動態分配的。每個虛擬機占用的核心資源是動態分配的,系統通過監控管理功能模塊對應用層和接口層的資源消耗進行動態監控,當各個前兆節點向中心云端發送數據請求時,虛擬機所要求的物理資源隨之變化。虛擬機根據請求對象的優先級以及當前虛擬機的資源分配情況,重新評估物理資源的可用性,并進行再次分配,達到動態分配的效果,實現分配滿足性能要求的最小資源量,從而提高資源利用率和滿足功能執行需要。中心云端接到數據通信請求后按照任務類型,預先定義任務執行完成所需要的內存(估算),如:采集分鐘值數據需要2MB內存,采集秒數據需要20MB內存等;對當前CPU使用情況進行分析,并對完成通信任務所需資源進行評估,以及對當前帶寬容量進行檢測,根據資源情況,對當前通信請求進行有效資源分配,在分配任務的時候首先將正在運行的任務所需的內存數減掉,然后再分配任務。每分配一個任務都要在可用內存數的基礎上將任務所需內存減掉,如果減掉后的結果大于設計預留內存數,則分配任務運行,否則,等待下一輪分配。

3可靠UDP協議數據通信設計

一般情況下,實現可靠數據傳遞的方法主要采用傳輸控制TCP協議。但是,TCP協議有一個根本的速度瓶頸,這個瓶頸隨著傳輸延遲和網絡丟包率的增加而變得愈發明顯。速度瓶頸的形成和TCP控制數據流量速率的機制密切相關。TCP協議的數據分片和基于分片的確認方式,要占用一些通信帶寬,降低了以太網上的有效荷載;同時TCP是基于點對點連接方式的,不能充分利用以太網絡對突發傳輸的支持[2-3]。用戶數據報協議(UDP)是ISO參考模型中的一種無連接的傳輸層協議,提供面向操作的簡單非可靠信息傳送服務。傳統UDP協議通信效率高、可靠性較差,不適合對可靠性要求較高的應用環境。隨著網絡傳輸的快速發展,一種基于UDP協議的簡單可靠傳輸協議可以在保證高效性的基礎上提高通信雙方傳輸的可靠性。擁塞控制機制將速率控制和流量控制兩者結合起來:前者通過調整包的發送間隔來控制包的發送速率;后者則通過限制可以發送的包的最大序號來調整發送方一次可以發送的數據。我國地震前兆觀測數據通過專有線路網絡傳輸,而專有線路網絡的帶寬和誤碼率等網絡參數都位于可控范圍,且占用網絡帶寬的應用也比較確定,因此,網絡狀況較為簡單,當出現網絡擁塞時,按照特定的算法平緩地降低發送速率,直至擁塞消除,同時能兼顧帶寬利用率。。采用UDP協議完成數據傳輸,但在傳輸端和發送端需要進行傳輸控制信息交互,確認數據的一致性,從而保障數據傳輸的可靠性。同時該設計相對TCP協議從多個方面提高了數據的傳輸效率:①UDP協議無需數據分片,將數據接收和確認分開,無需等待確認,數據接收方定期發送方報告數據包的接收情況,包括接收到的和未接收到的包的序號;②由于確認數據的發送速率保持恒定,從而確保“確認”的開銷為常量,因此,帶寬越大,報文確認的開銷占比越小;③UDP協議的無連接方式,省去了連接維護負擔,可充分利用以太網絡支持突發傳輸。

4通信傳輸壓縮技術設計

數據壓縮是一門通信原理和計算機科學都會涉及到的學科。通過數據壓縮技術縮小傳輸數據的體量,降低帶寬的占用,同時減小硬件輸入輸出的壓力。目前我國地震前兆觀測臺網全網3000多套觀測儀器,分布在全國各地,平均每天每套儀器產出原始數據按1MB計算,每天全臺網產出原始數據量約3GB,而數據采集的時間比較集中,數據傳輸的瞬時流量是當前網絡很難滿足的;同時對數據庫和硬盤讀寫能力也將造成較大的壓力。采用數據壓縮技術可同時降低網絡和輸入輸出壓力。本文針對當前前兆數據的特點,對所需傳輸的數據信息進行二級壓縮,即專業數據壓縮與工具壓縮相結合,。熵編碼是利用數據的統計信息進行壓縮的無語義數據流無損編碼,能實現數據的無損壓縮,因此,能保障數據壓縮的安全與效率[4]。由于地震前兆觀測地電、地磁、重力、形變和地下流體各學科數據具有非常強的日變規律,故采用基于統計的熵編碼是較為理想的選擇,因此,分別采用熵編碼香農-范諾(Shannon-Fano)編碼、哈夫曼(Huffman)編碼、算術編碼(arithmeticcoding)、行程編碼(RLE)和LZW編碼來實現。然后再對壓縮后的數據采用通用壓縮工具ZIP進行二次壓縮。應用測試實驗結果顯示,前兆觀測數據平均實現12:1的壓縮比,扣除壓縮、解壓縮的性能遞減,總體提升傳輸性能3倍左右。

5結束語

本文針對前兆臺網數據上云端的需求,結合當前網絡技術基礎進行了前兆臺網數據傳輸方案設計,并對其實現的關鍵技術,如設計云平臺資源的動態分配實現系統資源的負載均衡管理;針對TCP協議傳輸速率瓶頸設計可靠的UDP傳輸方案,在提高數據傳輸效率的同時保證了可靠性;在分析前兆數據規律的基礎上選擇合適的壓縮算法組合,對數據實現了壓縮比高于12:1的無損壓縮,將有助于降低帶寬要求。這3個關鍵技術問題的解決,為儀器數據與云端的直接對接和地震前兆數據管理的扁平化提供了很好的技術支持,為減少硬件重復投資和精簡技術管理人員提供了條件。

參考文獻

[1]陳俊,劉高川,李罡風,等.基于Web的地震前兆應用數據庫管理系統設計[J].四川地震,2016(4):41-45趙飛,葉震.UDP協議與TCP協議的對比分析與可靠性改進[J].計算機技術與發展,2006,16(9):219-221

[2]王繼剛,顧國昌,徐立峰,等.可靠UDP數據傳輸協議的研究與設計[J].計算機工程與應用,2006(15):113-116

[3]楊敬鋒,張南峰,李勇,等.基于改進Huffman編碼的農機作業數據傳輸壓縮方法[J].農業工程學報,2014,30(13):153-159[4]

作者:王晨 陳俊 劉金城 趙銀剛 裴紅云 謝慶 單位:中國地震局地球物理研究所 安徽省地震局 天津市地震局 安丘地震臺

主站蜘蛛池模板: 韩国精品一区二区三区在线观看 | 免费人成网站在线播放 | 成人在线免费视频播放 | 欧美日韩一级二级三级 | 欧美大片在线观看成人 | 国产在线观看高清精品 | 色综合精品 | 国产欧美一区二区三区在线看 | 91福利精品老师国产自产在线 | 久久99爱视频 | 一级aaa毛片 | 精品久久久久久综合日本 | 一区二区播放 | 欧美成人交tv免费观看 | 日韩欧美一区二区中文字幕 | 免费观看大片毛片 | 亚洲国产日韩欧美一区二区三区 | 国产三级成人 | 亚洲小视频在线 | 免费午夜扒丝袜www在线看 | 精品一区二区三区在线视频 | 久草在线视频网站 | 女在床上被男的插爽叫视频 | 中文字幕在线观看网址 | 亚洲国产一成人久久精品 | 亚洲欧美日本在线 | 欧美日韩国产一区三区 | 中国japanesevideo乱 | 成人毛片在线视频 | 日韩免费一级毛片欧美一级日韩片 | 日韩精品中文字幕一区二区三区 | 67id人成国产在线 | 久久免费久久 | 成人a毛片在线看免费全部播放 | 欧美激情亚洲色图 | 国产精品漂亮美女在线观看 | 69精品免费视频 | 国产欧美日韩视频在线观看 | 美女日韩在线观看视频 | 亚洲免费在线视频播放 | 欧美性久久久久 |