大數據分析在政府內的運用:智慧政務

　　2020疫情期間，中國政府也采用了大數據分析技術，決策分析疫情動態(tài)，幫助全國人民渡過難關。大數據時代，公務員們都得是“數據”高手!大數據分析在中國已經是最熱門的職業(yè)，也是應屆生們的首選職業(yè)之一。

　　大數據不僅僅是數據，更是一種技術。它不僅能挖掘數據的潛在價值，還能實現數據創(chuàng)新，實現海量數據的更多社會價值，可以從中發(fā)現一些影響經濟社會發(fā)展的潛在影響因素，為政府部門管理市場經濟做出科學決策提供了相應的參考依據。
 

　　政府應用大數據的必要性
 

　　在政府行政體制改革、公共服務領域和日常管理中，政府已把大數據作為基礎性戰(zhàn)略資源逐步加以發(fā)展和運用，并充分落實創(chuàng)新發(fā)展的理念，加快政府職能的轉變，提升政府治理能力。2015年4月3日，國務院在政府信息公開工作要點中表示要積極推進政府數據公開，把運用大數據等現代信息技術作為促進政府職能轉變，簡政放權、放管結合和優(yōu)化服務的有效手段。
 

　　大數據風潮席卷全球，為什么人人都要學大數據分析?
 

　　1.為什么要學大數據分析
 

　　大數據號稱新時代的石油，很多行業(yè)都開始用數據驅動業(yè)務，通過對數據的分析和挖掘，從單純的數據報表，到建模分析，深入挖掘，來幫助業(yè)務部分來系統的思考問題。
 

　　同時，大數據分析也相對容易一些，比較好上手。
 

　　Python的應用的領域可以分為爬蟲、web開發(fā)、大數據分析、機器學習等方向。和機器學習相比，大數據分析偏業(yè)務，機器學習偏工程，大數據分析入門對數學功底和算法基礎的要求并不是特別高。
 

　　2.為什么選Python做大數據分析
 

　　可以來做大數據分析的語言和工具比較多，為什么偏偏選Python?
 

　　拿常見的R語言和Excel來說：
 

　　R語言其實是為統計學而生的語言，用來做統計學確實非常厲害。
 

　　但是R語言在語法的美觀和使用的簡潔便利上看，要比Python差很多，小函數一堆，而且語法不好理解，沒有Python這么容易上手和通熟易懂。
 

　　而 Excel只能做一些簡單的處理邏輯處理，適合小規(guī)模的數據集，或者簡單的數據清洗，對于復雜的邏輯處理，數據清洗，還是用Python來的方便。
 

　　3.大數據分析崗位職業(yè)發(fā)展路徑
 

　　在數據科學領域，有三個不同的角色，分別是：商業(yè)分析師，數據工程師和數據科學家，難度依次遞增。
 

　　1.商業(yè)分析師
 

　　商業(yè)分析師的工作主要圍繞報表和指標這兩塊兒，包括：

　　1).定義關鍵績效指標

　　2).設計和實現報表

　　3).從用戶那里收集報表需求

　　4).與數據工程師對接確保數據被正確地收集和存儲

　　5).查詢數據(一般是聚合過的)
 

　　2.數據工程師
 

　　數據工程師的工作主要圍繞架構和收集這兩塊兒，包括：

　　1).通過寫數據傳輸包、設計聚合過程、優(yōu)化存儲，來構建和維護數據傳輸和存儲的基礎設施

　　2).將生產環(huán)境產生的原始數據，轉換為商業(yè)分析師可以用來制作報表的格式化的數據
 

　　3.數據科學家
 

　　數據科學家的工作主要圍繞預測和優(yōu)化這兩塊兒，包括：

　　1).負責構建預測算法，以提升用戶體驗，最終增加參與度、留存率、收益

　　2).負責數據驅動的產品的改進和建議

　　這其實是一個金字塔，商業(yè)分析師位于金字塔的最底層，數據科學家位于金字塔的最頂層。
 

　　4.大數據分析師的薪資如何
 

　　招聘網上大數據分析師基本上在1-2年經驗的平均年薪在20萬左右。

　　再看一下大數據分析師的崗位主要需求城市：

　　主要是在北上廣深和杭州 5個大的城市，其中北京的需求最多，幾乎是第2/3/4位的總和。
 

　　5.大數據分析需求技能
 

　　大數據分析的內容多，而且比較全面，比如我們前面寫了很多關于房地產，拉勾照片，旅游網站的數據，一般來說大數據分析分下面幾個過程：
 

　　第一步：數據的爬取
 

　　大數據分析過程非常像我們平時做飯，第一步要先買菜，如何獲取數據呢，很多時候我們需要爬取數據，爬蟲涉及的知識比較多：
 

　　比如常見的http原理，爬蟲的基本解析庫reuqests，網頁解析庫BS,Pyquery,掌握一些分布式爬蟲的框架，當然還有一些反爬蟲的策略。當然如果我們能有現成的數據集會方便很多。
 

　　第二步：數據格式的處理和清洗
 

　　買好了菜，接著我們需要洗菜，也就是數據清洗!常見的數據集都是csv和json格式，需要熟練的掌握著兩種格式的。Python中大數據分析的神兵利器是Pandas,這個庫非常好用，功能也是非常強大的?？梢詫祿M行各種花色的清洗和切割，幾乎所有用Python玩大數據分析，必須學會pandas庫的用法。
 

　　第三步：數據的存儲
 

　　清洗完成之后數據需要存儲起來，一般用的比較多的 SQL 和 MongoDB。幾乎所有的大數據分析師招聘都會面試SQL的用法，所以掌握一門數據的使用是非常有必要的!基本的增刪改查這樣入門級的操作，一定要熟練掌握。
 

　　第四步：數據的探索
 

　　我拿到一個數據集之后，需要對數據進行探索，分析數據之間的關系，每個特征值，每個變量的之間相關性和相互的影響，比如常見的EDA 探索大數據分析法。
 

　　單變量，雙變量和多變量的探索，可以從很多角度，對數據進行切片分析，非常數據集中的變量之間的關系，找出相關性比較強的數據。
 

　　如果需要對數據進行深入的挖掘，需要了解機器學習的相關算法，大體分監(jiān)督學習和無監(jiān)督學習，比如回歸問題，分類問題。這部分對數據集進行深入挖掘之后，可以找出數據間的規(guī)律，訓練好的之后，可以預測數據，很是牛逼。
 

　　第五步：數據的可視化
 

　　展現數據最好的方法就是數據可視化，數據的可視化有很大的庫，比如 echart，matplotlib，d3 和 Tableau，當然還有excel，一般大數據分析師必須要掌握exce或者Tableau。尤其是Tableau現在越來越多的公司用它來做可視化分析，有一個有趣的必然，同樣一個庫用R語言需要30分鐘才能完成，Tableau只需要5分鐘。
 

　　互聯網大數據時代的到來，已成為人類不可阻擋的趨勢。當下，互聯網大數據正悄悄包圍著我們，不僅給人們帶來便利和機遇，而且也日益影響著經濟社會發(fā)展和政府的治理。它猶如一座“富礦”，蘊藏著巨大的價值。
 

　　1 推動簡政放權

　　行政管理需要實現現代化、科學化、智能化，推進行政體制改革、深化簡政放權就需要建設政務大數據以推進信息，實現數據共享。
 

　　2 促進放管結合

　　在推動簡政放權的基礎上，還要促進放管結合。面對海量的信息市場，政府管理部門可以有效利用大數據的資源建立專屬信息平臺，在推動整合數據資源，部門間數據共享的同時，通過大數據強化監(jiān)管，實現放與管的結合。
 

　　3 實現優(yōu)化服務

　　將推動簡政放權、放管結合和優(yōu)化服務結合起來，加快政府的服務型建設，也是大數據作為促進政府職能轉變的有效手段。
 

　　政府傳統的決策過程是“發(fā)現問題—分析問題—解決問題”，這種決策方式可以一定程度地解決部分問題，但也較容易出現決策失誤從而導致的勞民傷財。于是，在大數據的背景之下，新型的決策方式應該轉變?yōu)?ldquo;搜集數據—量化分析—找出相互關系—提出優(yōu)化解決方案”，并根據大數據實時跟蹤決策的實施過程，在決策實施中根據環(huán)境變化和及時的信息反饋而相應的做出改變，提供更優(yōu)質的、更切實際的高效率的政府服務。
 

　　大數據時代，政府部門的各項決策都不再僅憑過往經驗，而是更多地以數據分析輔助做出決定。大數據能有效提高信息的及時性、全面性和準確性，政府部門將其應用于監(jiān)管企業(yè)信用風險、服務創(chuàng)新創(chuàng)業(yè)等領域，可支撐政策議題謀劃塑造和事中事后監(jiān)管能力的提升。政府部門的日常工作離不開數據，政府開放數據形成的生態(tài)圈，也將有利推動政府的發(fā)展。