大數據分析技術的發(fā)展趨勢

　　我們生活的數字時代正在改變我們的工作，娛樂和學習方式。對于努力實現數字化轉型或通過數據分析提高競爭力的組織而言，成為數據驅動型組織是一個關鍵目標。實現這一目標的進展令人沮喪地緩慢。
 

　　根據2019年New Vantage Partners大數據和AI高管調查，來自接受調查的組織(例如美國運通，福特汽車，通用電氣，通用汽車和強生)的高管中，幾乎有72%認為他們沒有成功建立了數據文化。1只有31%的人表示他們的業(yè)務是數據驅動的，而53%的人表示他們尚未開始將數據視為業(yè)務資產。超過一半(52%)的受訪者承認，他們在數據和分析方面沒有成功競爭。
 

　　隨著可供組織使用的數據量不斷增加，企業(yè)對投資數據科學家的需求變得越來越緊迫。
 

　　數據爆炸
 

　　自數字時代開始以來，數據一直以指數級的速度增長，幾乎沒有放緩的跡象。不斷涌入的數據為現有數據科學模型提供了動力，為改進的數據科學模型以及創(chuàng)新的新用例創(chuàng)造了溫床。
 

　　物聯(lián)網(IoT)的增長。造成這種數據爆炸的主要原因是物聯(lián)網。全世界大約有70億個設備連接了IoT，并且預計在七年內將增長到驚人的215億。預計航空，采礦和汽車行業(yè)將成為物聯(lián)網數據的最大貢獻者，并且隨著設備技術質量的不斷提高，收集的數據類型將變得更加豐富和多樣化。
 

　　社交媒體。僅在2019年3月，Facebook平均每天就有15.6億活躍用戶，到該月底為止，每月活躍用戶總數為23.8億。YouTube報告每天在其平臺上觀看的視頻超過10億小時，每月有超過19億的登錄用戶訪問。8每當用戶登錄以查看其新聞提要或觀看視頻時，都會生成數據-年齡，性別，位置，語言，觀看時間，觀看的視頻類型，喜歡和共享的內容類型，用戶首選項等。這些是全球使用的前兩個社交媒體平臺，但是還有更多:
 

　　隨著對客戶收集更多信息的需求的增長，數據源將繼續(xù)擴大。組織對數據的訪問越多，機器學習模型將變得越精確。這些數據的潛在應用將進一步推動對數據科學的需求。如果沒有數據科學，組織將很難從數據中獲取全部價值。
 

　　機器的興起
 

　　在過去的幾年中，機器學習算法得到了迅速的發(fā)展，并且隨之而來的是專注于機器學習軟件的開發(fā)。該軟件為那些希望成為數據科學家的人們降低了準入門檻。
 

　　數據科學家的需求超出了供應量，彭博社宣布這是2018 年美國最熱門的工作。然而，自動化和教育正在使企業(yè)更容易使用數據科學，研究和分析。為了擴大并加速數據科學和分析在業(yè)務中的采用，數據科學領域的大多數參與者將簡化工具列為重中之重。加上大量的培訓資源，使來自各個背景的專業(yè)人員都可以獲得急需的數據科學技能，這些技能現在對所有行業(yè)都可用。
 

　　這五個因素有助于將這些至關重要的功能交給更多的專業(yè)人士使用，并有可能緩解全球范圍內的人才短缺。
 

　　自動化ML。一些人估計，數據科學家一天中將近80%的時間用于可以完全或部分自動化的重復性任務。自動化任務，例如數據準備，特征工程和選擇以及算法選擇和評估，將幫助數據科學家提高生產力和效率。
 

　　低代碼或無代碼應用程序開發(fā)。各種低碼和無碼軟件開發(fā)平臺可供IT和非技術人員開發(fā)AI應用程序，這要歸功于他們的應用程序，其開發(fā)和交付速度比傳統(tǒng)方法快10倍。圖形用戶界面，拖放模塊和其他用戶友好的結構。
 

　　預訓練的AI模型。開發(fā)和培訓ML模塊是數據科學家關鍵交付成果的一部分?，F在，經過預訓練的AI模型正在有效地培養(yǎng)ML專業(yè)知識，并減少了訓練所需的時間和精力，其中17個甚至可以產生即時的關鍵見解。
 

　　自助數據分析。許多商業(yè)智能和分析供應商正在使商業(yè)或非技術用戶無需使用數據科學家即可訪問基于數據的見解。Salesforce，Adobe Analytics，Microsoft Power BI等提供了自助服務分析工具，以補充數據分析和發(fā)現。進行自然語言查詢和搜索，可視數據發(fā)現以及自然語言生成的能力使業(yè)務用戶可以快速訪問見解，并幫助他們交流數據發(fā)現，例如相關性，異常，聚類，鏈接和預測。
 

　　加速學習。為具有基礎數學和編碼背景的專業(yè)人員提供的有關數據科學，數據科學研究，ML和AI 的短期培訓課程的推出，正在加速企業(yè)學習。這些課程加快了專業(yè)人員學習基本數據科學技能的過程。
 

　　云和神經網絡
 

　　結合ML算法，處理和存儲更多數據的功能越來越強大的計算機的發(fā)展帶來了對訓練神經網絡處理的轉變的需求。從歷史上看，訓練神經網絡是使用中央處理器(CPU)進行的，但是2017年，谷歌發(fā)布了Tensor處理單元(TPU)，其速度和功能均比CPU強大。Google的Cloud TPU使得Google Translate，Photos，Search，Assistant和Gmail背后的ML可供企業(yè)使用，以補充其數據科學家為實現業(yè)務突破所做的努力。
 

　　為了獲得有意義的業(yè)務洞察力，需要有干凈，可靠的數據，這意味著，對于尋求優(yōu)勢的企業(yè)來說，數據科學是一項值得其珍惜的技能。借助機器學習，人工智能和基于云的神經網絡的增強，只要需要以客戶為中心的見識和客戶驅動的數據以產生利潤，就需要數據科學。