前言：想要寫出一篇引人入勝的文章？我們特意為您整理了經濟運行監測分析中大數據技術的應用范文，希望能給你帶來靈感和參考，敬請閱讀。

摘要:從省級政府部門角度，對大數據技術在經濟運行監測分析工作中的應用場景進行了探討，分析了當前工作應用中存在的缺乏專業人才支撐、涉企政務數據共享有待進一步加強、成熟適用的分析模型及應用場景比較少等問題，提出強化專業人才培養、加快推進政務數據信息共享、深挖經濟運行監測分析業務與大數據技術契合點等建議。

關鍵詞:大數據；數據挖掘；經濟運行；Python

一、引言

全球范圍內，研究發展大數據技術并運用大數據推動經濟發展、完善社會治理、提升政府服務和監管能力正成為趨勢。指出:“要運用大數據提升國家治理現代化水平。要建立健全大數據輔助科學決策和社會治理的機制，推進政府管理和社會治理模式創新，實現政府決策科學化、社會治理精準化、公共服務高效化”;借助大數據推動政府職能轉變，利用大數據提升政府治理能力，構建服務型政府，是本屆政府始終關心并重視的問題。就地方政府及工作部門而言，提高大數據應用水平對更好地貫徹落實國家宏觀調控政策、提升經濟調控能力和決策水平至關重要。在此背景下，本文擬從省級部門工作實際出發，圍繞經濟運行監測分析工作中數據采集、數據分析、數據呈現等業務需求，分析探討網絡爬蟲、文本挖掘、分類預測、可視化分析等大數據技術在實際工作的具體應用，為更好地開展經濟運行監測分析提供新的視角。

二、經濟運行監測分析及大數據簡介

(一)經濟運行監測分析簡介經濟運行監測分析是對經濟運行動態指標進行連續性的觀測及其規律性的揭示，需抓住關系經濟運行的全局性問題進行深入分析，提出政策建議。以工業為核心的實體經濟是國民經濟的基礎，工業與其他產業之間的關聯緊密，是經濟運行監測分析的主要著眼對象。因此，經濟運行監測分析主要是從工業生產、效益、投資、外貿、價格等方面，以及與工業上下關聯、影響并制約發展的其他因素(如與工業生產高度關聯的能源、交通、信貸等主要生產要素情況等)，來描述工業經濟運行的狀態，并結合橫向部門、各地工信部門、行業協會、重點企業等多方面信息，綜合研判分析經濟運行態勢。經濟運行監測分析不同于一般的統計分析，統計分析把數據的準確及時作為主要目標，而經濟運行監測分析除了對數據的嚴格要求外，更加注重于對動態、活情況的把握，重點反映經濟運行中出現的新情況、新問題，并對苗頭性、傾向性問題進行深入分析，準確把握經濟運行的走勢，并把對經濟運行工作進行指導作為主要目標。

(二)大數據及相關分析工具簡介大數據是商業智能化的一個新的發展階段，目前人們對于大數據還缺乏一個權威的說法，不同的機構對其認知各不相同。當前，人們在討論大數據時，更多的是通過其若干基本特征去認識。IBM公司把大數據的特征概括為三個“V”，也就是規模(Volume)、快速(Velocity)、和多樣(Variety)，但是更多的人則將其概括為四個“V”，即規模(Volume)、快速(Velocity)、多樣(Variety)、價值(Value)。大數據技術，是指從各種類型的數據中快速獲得有價值信息的一種技術，其水平反映了提取有用信息的能力，主要包括數據采集、數據清理、數據存儲及管理、數據挖掘、數據可視化等。其中與經濟運行監測分析工作密切相關的大數據技術主要是數據采集、數據挖掘及數據可視化。近年來，以Python為代表的大數據采集、數據分析工具日趨完善，在Python的集成開發環境(IDE)中有大量優秀的開發工具包，其膠水語言的特性能夠將這些工具包無縫銜接，為數據分析人員提供網絡爬蟲、自然語言處理、機器學習、可視化分析等常用工具。

三、大數據技術在經濟運行監測分析工作中的應用場景探索

(一)運用網絡爬蟲技術擴展經濟運行數據采集范圍網絡爬蟲技術又被稱為網絡機器人、網路蜘蛛，是一種按照規則，自動抓取信息的程序或者腳本。如果把互聯網比喻成蜘蛛網，那么網絡爬蟲就是在網上爬來爬去的蜘蛛，根據既定目標選擇性地訪問互聯網上的網頁與相關鏈接，循環讀取網頁內容，獲取相關信息并存儲。經濟運行數據的獲取和開發，是經濟運行監測分析工作的關鍵。在大數據環境下，經濟運行監測分析工作不僅需要了解掌握本部門及相關部門的內部統計數據，也需要并應當從互聯網公開數據中獲取與經濟運行息息相關的更多數據，如:大宗產品價格信息、土地市場供應信息、上市公司企業財務報表和經營狀況數據等。但這些信息大多以網頁等格式存在，難以直接獲取下載，可在遵守相關法律法規的前提下，利用網絡爬蟲工具批量抓取網頁上的有用信息，形成可用于分析的數據集，拓展經濟運行信息采集的廣度和深度。比如:為了解掌握近年來江蘇全省工業企業土地要素保供情況，可設計網絡爬蟲工具抓取江蘇土地市場網中13個設區市及下轄縣(市、區)工業用地成交信息(除了行政區、地塊編號、宗地位置、土地用途、成交時間、面積、金額等字段外，還可進一步抓取地塊編號鏈接詳情頁中的競得單位、出讓年限等信息)，用于監測分析各地工業用地供應量、供應地價變化等。

(二)應用文本挖掘技術分析企業反饋信息主題及情緒變化文本挖掘(TextMining，TM)是指從大規模文本數據庫中提取隱含的、以前未知的、潛在有用的信息和知識的過程，已廣泛應用于網絡輿情分析、商品評價分析、微博熱點分析、學科前沿熱點分析和有關政策文本分析等領域。在相關政府部門履職盡責過程中，以企業為主要用戶或服務對象的相關政府部門業務系統內，積累了大量反映企業生產經營情況以及體現企業有關政策訴求和建議的文本數據。相較于數值型數據，文本數據作為企業反應情況的主要形式，蘊含著更為豐富的信息，但受數據量大、記錄粗糙以及相應信息處理能力不足等多種因素限制，對文本數據系統挖掘相對缺乏，制約了對企業反饋信息的深入研究利用。就經濟運行監測分析工作而言，可將基于LDA主題模型的文本主題抽取、基于樸素貝葉斯算法的文本情感分析等文本挖掘技術引入到對苗頭性、傾向性、潛在性問題以及企業訴求建議的研判分析中來，定期對政府部門企業監測直報系統、問卷調查系統以及工作調研中企業反饋的文本信息進行挖掘分析，精準反映不同類型、不同行業的企業困難及訴求主題變化、情緒傾向，以獲取企業真實準確的看法，為研究提出有關政策建議提供依據。

(三)應用機器學習算法識別預警企業生產經營風險機器學習，也就是計算機從大量數據中學習特定規律的過程，這些規律包括分類、關聯分析、回歸、聚類等，涉及到決策樹、隨機森林、邏輯回歸、支持向量機、樸素貝葉斯、K近鄰算法、K均值算法、AdaBoost、神經網絡、馬爾科夫等十幾種算法。在運用大數據提升政府治理能力的時代背景下，以機器學習算法為代表的數據挖掘技術已經被廣泛應用于各個領域，綜合利用機器學習算法對經濟運行數據進行深入挖掘分析，從中發現歸納有規律、有共性的問題和趨向，提煉出有價值的數據、信息、建議，可以更好地服務于政府決策。比如:在企業生產經營風險監測預警工作中，可綜合應用LM神經網絡算法、CART決策樹算法，對來自市場監管、稅務、人社、供電等部門的企業登記、納稅申報銷售、繳納稅金、職工人數、社保繳費、用電量等企業生產經營指標，以及納稅狀態是否正常、社保費繳費是否正常、電費繳納是否正常等信息，建立對高生產經營風險企業和正常生產經營企業具有較強分類能力的風險識別模型，及時識別生產經營風險較大的企業，為預警和工作處置提供支持。

(四)應用可視化技術呈現數據分析結果數據可視化，是指將相對晦澀的數據通過可視的、交互的方式進行展示，從而形象、直觀地表達數據蘊含的信息和規律。數據可視化是大數據應用的“最后一公里”。一方面，可視化技術可以幫助數據分析人員一眼洞悉數據背后隱藏的信息，不再受制于枯燥晦澀的分析算法;另一方面，可視化技術能夠非常有效地傳達信息中各種經濟指標之間的復雜模式、趨勢和相關性，更好地展現分析發現和結論，從而增進閱讀者的理解。除了使用常用的柱狀圖、折線圖、餅圖、散點圖、雷達圖等圖表呈現經濟運行狀況之外，還可以運用詞云圖呈現大量企業反饋信息文本的分析結論;運用動態圖更加清晰地反映某種特征的變化趨勢;運用GIS地圖呈現產(行)業經濟數據地理空間分布規律等，往往可以起到“一圖勝千言”的效果。比如:應用動態氣泡圖展現近幾年來江蘇13個設區市工業增加值、工業用電量及高耗能行業占比等關聯指標的變化情況，X軸和Y軸分別描繪工業增加值與工業用電量，不同顏色標識不同的設區市，氣泡大小則反映高耗能行業占比情況，近幾年的時間變化由氣泡位置的不斷變化體現，最終形成具有動畫視覺效果的氣泡圖，表達出需要呈現的五維信息。

(五)數據報表自動化處理在日常經濟運行監測分析工作中需要定期分析處理來自相關部門的分行業、分地區工業生產、效益、投資、價格報表，以及幾百家重點監測企業生產經營指標數據，這些報表數據量大、指標多、需要計算分析的維度也多，如果依靠手工計算將占用分析人員大量時間精力。而利用大數據分析工具python開發相應的數據分析腳本，即使數據總量巨大、指標眾多，也可以輕松實現對報表數據的自動化處理。比如:工業企業主要經濟指標表中共有包括企業數、營業收入、營業成本、利潤總額在內的17項指標，可以按照常用的規模大小、行業、所有制類型等分析維度，一鍵計算生成重點分析指標的同比、環比、占比、貢獻拉動等數據，并同步繪制形成反映規模、走勢、結構的柱狀圖、折線圖、餅圖等相關分析圖表，大大提高基礎數據分析處理工作效率。

四、大數據技術在經濟運行監測分析應用中存在的困難問題

(一)缺乏專業人才支撐一直以來政府相關職能部門中承擔經濟運行監測分析的工作人員主要以經濟學、統計學、以及中文等學科背景的人才為主，而數據挖掘需要綜合運用計算機、數學以及統計學等相關知識，目前既懂數據分析和挖掘技術又具備經濟運行業務知識的復合型人才較為匱乏，難以適應新形勢下經濟運行大數據分析和挖掘的要求。

(二)涉企政務數據共享有待進一步加強雖然近年來江蘇出臺了一系列政策文件，并以“不見面”審批服務為牽引，大力推進政務數據資源的整合共享。但受制于多種因素的制約，政務數據資源的整合與共享仍面臨諸多困難。據不完全統計，江蘇省級政務部門無條件共享數據量占部門掌握總數據量的比例不足10%，信息系統數據的共享比例不足50%，政務數據尤其是涉企政務數據共享不足，一定程度上制約了大數據技術在經濟運行監測分析工作上的深化應用。

(三)成熟適用的分析模型及應用場景比較少就現階段經濟運行監測分析工作而言，相關應用場景和分析模型較少，數據挖掘的深度、綜合利用的程度還有待提高。如:在工業生產、效益等主要經濟指標預測方面，如何選用合適的特征指標、應用哪幾種機器學習算法，怎么優化算法模型達到最優預測效果，都需要在工作實踐中進行深入的研究探索。

五、加快利用大數據技術提升經濟運行分析水平的對策建議

(一)強化專業人才培養一是加強對現有人員的技術培訓。積極引導經濟運行分析工作人員樹立大數據分析理念，定期組織業務骨干參加前沿的、專業的技術培訓，提升數據挖掘分析能力，打造經濟運行大數據分析團隊。二是加大對復合型人才招錄力度。在新進人員招考和引進方面，設置相關專業需求，加大對具有統計分析、計算機技術(軟件工程)、經濟管理等多學科知識的復合型人才招錄，引進新生力量，提高分析團隊大數據素養。三是引入外部專業力量。數據分析人才的培養需要一定的條件和較長的周期，因此相關政府部門也可以通過購買服務、與高校院所開展課題合作等方式，借助專業機構技術力量開展經濟運行大數據分析。

(二)加快推進政務數據信息共享進一步深化改革各自為政的數據資源管理模式，明確數據資源采集、存儲、管理、使用等各環節的責任分工，理清權屬關系，廣泛匯聚、整合數據，并通過建設完善省級大數據共享交換平臺，構建全省一體化的共享交換體系，實現全省政務大數據資源的全面匯聚、共享和應用，為包括經濟運行監測分析在內的各項專題應用、基礎應用奠定工作基礎。

(三)深挖經濟運行監測分析業務與大數據技術契合點在應用場景方面，圍繞日常工作需要和業務痛點，探索運行數據快速采集、精準分析、直觀展現等多種應用場景，積極嘗試構建基于大數據基礎的經濟運行監測分析體系。在分析模型方面，加強相關工作研究，找準經濟運行監測分析業務場景和數據挖掘技術的結合點，設計開發固定套路的分析模型，將成熟的、行之有效的數據分析方法、數據挖掘技術以模板的形式固定下來，形成拿來即可用的應用模型，大大降低大數據分析難度。

六、結語

雖然大數據技術在經濟運行監測分析工作中的應用面臨著一些困難和挑戰，但更有廣闊應用前景。如:網絡爬蟲技術可以擴展經濟運行監測分析數據采集來源，文本挖掘技術將經濟運行分析中的結構化數據延伸拓展至無結構化數據，機器學習技術能夠分類識別運行風險，可視化分析技術可以形象便捷地展示經濟運行動態全貌，而基于python的自動化數據處理技術能夠極大提升基礎數據處理效率等。在新時代新形勢下，經濟運行監測分析工作需加強對大數據技術的應用與創新，找準分析技術與分析業務更多的切合點，促進大數據技術與經濟運行工作的深度融合，不斷提升經濟運行監測分析水平，及時、精準分析研判經濟運行態勢，為地方黨委政府當好參謀助手。

參考文獻:

［1］朱宏任.如何做好經濟運行監測分析工作［J］．中國經貿導刊，2002(22)．

［2］大數據的基本概念及相關問題［R］．中國電子商務企業發展報告，2013.

［3］潘巧智，張磊.淺談大數據環境下基于python的網絡爬蟲技術［J］．網絡安全技術與應用，2018(05)．

［4］諶志群，張國煊.文本挖掘與中文文本挖掘模型研究［J］．情報科學，2007(07)．

［5］李蒼舒.基于機器學習理論的中國新金融業態風險預判與防范［J］．學術論壇，2019(04)．

［6］羅東玲，劉瑛.加快推進江蘇數字政府建設的對策研究［J］．江蘇科技信息，2019(26)．

作者：戎天 單位：江蘇省工業和信息化廳