系列回顧：

嵐皋ssl適用于網站、小程序/APP、API接口等需要進行數據傳輸應用場景，ssl證書未來市場廣闊！成為成都創新互聯公司的ssl證書銷售渠道，可以享受市場價格4-6折優惠！如果有意向歡迎電話聯系或者加微信：18980820575（備注：SSL證書合作）期待與您的合作！

趨勢：大數據代表未來，投資力度增強

獨家：最新大數據產業現狀和主要子行業介紹

36大數據專稿，拒絕轉載!

一、數據的歸屬權不清晰，數據資產型企業私密占有平臺數據，制約著大數據的融合及發展。

阿里巴巴，這家集B2B、B2C、C2C電商平臺與第三方支付于一身的巨無霸企業，在2009年前后開始低調試水小貸業務，并在之后成立了阿里金融事業部。基于阿里平臺所累積信用和行為數據的全新風險管理模式，快速靈活的放款審批流程，為需求旺盛但供給遠遠不足的小微企業小額信貸業務打開了一條別樣的路。阿里金融從出現開始便受到了廣泛關注和討論。許多機構和個人都向往之，也對其模式了解得清楚明白，但均默默然而無法復制。究其原因，就在于“阿里平臺獨有的沉淀信用及行為數據”——數據，阿里金融的獨門利器。

無論已有的金融交易軟件(如金太陽、大智慧等)，亦或電商平臺、O2O平臺、第三方支付平臺，還是SNS 和其他交互數據源;現狀是——原始數據存儲在平臺后端，被平臺掌握者控制，數據的創造者(平臺用戶們)是否掌握與自己相關的數據取決于平臺的開放性和接口提供。平臺企業們互相獨立地像挖礦一樣在沉淀數據中淘金，各自取得一些不錯的成果，但事實上數據的私密占有也嚴重制約著大數據的廣泛應用和整體發展。

那么，數據到底是誰的?是平臺企業的，還是數據創造者(平臺用戶)的?還是既是平臺企業的，也是平臺用戶的?什么樣的數據是公開的，什么樣的數據是私密的?

一般認為，原始數據沉淀在平臺上，平臺實際占有并可以使用，但在未獲授權的情況下不能提供給第三方，用戶對原始數據的占有獲取權及公開程度基本取決于用戶與平臺達成的協議(多為安裝平臺軟件前的“用戶須知”部分，用戶除用腳投票外并無實際協議制定權);而平臺對原始數據經過統計提煉獲得的其他信息屬于平臺企業。

參考國外立法，數據是屬于個人的，平臺企業可以解除、使用數據不代表個人放棄對數據的所有權。國際立法趨勢上看，信息主體的權利正在強化，如信息主體的遺忘權、轉移權;信息控制主體的責任更加明晰，如明確了負有個人信息保護義務的服務提供商范圍、要求服務提供商設置個人信息保護專職崗位，增加了服務提供商對侵權行為的通知義務，便于用戶采取預防和減損措施。

國內的政策法規方面：2012年12月28日，全國人大常委會出臺《全國人大常委會關于加強網絡信息保護的決定》，對網絡信息保護進行了原則性的規定;2013年7月，工信部出臺《電信和互聯網用戶個人信息保護規定》;除此以外，《信息安全技術、公共及商用服務信息系統個人信息保護指南》作為我國首個個人信息保護的國家標準，雖然不具有法律上的強制約束效力，但具有指南性，亦可作為衡量互聯網企業是否有過失的參考性標準;目前，我國正在起草《電子商務法》，強化對平臺的監管。

二、數據有效性將直接影響到大數據的應用水平。

數據的質量

大數據就像砂金礦，為了開采出金子，人們需要不斷的淘沙，淘出沙金，然后再經過冶煉獲得千足金。而數據質量就相當于砂金礦的含金量和成色，良好的數據質量是挖掘價值的基本保障。

我們認為，數據質量主要涵蓋兩個大方面：一是基本質量，包含準確性、一致性、容量和更新率4個要點;二是可應用性，包含易識別性、易處理性、獲取及時性、遠程訪問性和智能性5個要點;詳情見下表。

洗數據的難度

在大數據應用中，有一項極其重要也極其困難的工作，那就是“洗數據”。洗數據就是把大量包含無效數據、分布雜亂無章的原始數據進行歸并聚合，通過建立數據標準并執行來取得我們需要的分析樣本的過程。

正所謂：Garbage In, Garbage Out! 數據挖掘的領域內有一個觀點：如果數據準確度在60%的時候，你干出來的事，一定會被用戶罵;如果數據準確度在80%左右，那么用戶會說，還不錯;只有數據準確度到了90%的時候，用戶才會覺得真厲害。但是從數據準確度從80%到90%要付出的成本要比60%到80%的付出大得多得多。大多數據的數據挖掘團隊都會止步于70%這個地方，因為再往后，這就是一件相當累的活，絕對少不了大量人力的工作。

我們這里使用用戶地址舉例說明，因為地址是用戶自己填寫的，有很多的坑，這就需要大量的洗數據工作。首先，第一類是假/錯地址，因為有的商家作弊或是用戶做測試，比如直接就輸入“該地址不存在”、“13243234asdfasdi”之類的情況，這類的地址可以通過程序識別出來。然后，很多情況是很難通過程序識別出來，比如“宇宙路地球小區”，但這類地址可以被人識別出來。甚至還有連人腦都無法識別的，比如“北京市東四環中路23號南航大廈5樓540室”，這個地址根本不存在。其次，第二類是真地址，但是因為用戶輸入不標準，所以很難處理，比如將“建國門外大街” 縮寫成 “建外大街”，“中國工商銀行”縮寫成“工行”; 比 如錯別字將“朝陽門”寫成“潮陽門”;比如顛倒，將“東四環中路朝陽公園” 和 “朝陽公園(靠東四環)”;比如別名，將有的寫開發商的小區名“東恒國際”，有的則寫行政的地名“八里莊東里”等等等等。

像上面這樣的例子多得不能再多了，如果希望提高數據可應用的程度，那么必然需要花大量人力通過編寫程序和手動挑選來淘洗數據。而隨著投入的邊際效用遞減，數據有效性的要求越高，則需要投入的成本就成倍甚至指數級增長。

三、適宜海量數據處理的軟硬件成熟度不夠，成本太高，普及率低下。

從某種意義上來說，“大數據”一直存在，只是受限于時代和科技，因為缺乏相應的數據記錄、分析工具而無法實現。

市場上缺乏兼具業務場景普適性和海量數據處理能力的數據庫軟件大數據時代的到來，使得電子商務、公共管理、SNS等領域幾乎每個與用戶相關的業務數據量都在億級別，某些平臺的日系統調用可能達到百億級別，而且歷史數據不能輕易刪除，所以需要能對TB甚至PB級數據進行高速處理的數據庫。傳統的關系型數據庫，如Oracle,mysql, SQL Server等不能很好地滿足用戶需求，而較新的NoSQL數據庫也依然沒有達到適應不同業務場景的需求，目前依然需要根據用戶不同的業務特征來選擇適合的數據庫軟件。

私有云和云服務普及程度太低

所有企業和個人都或多或少有大數據應用的需求。但不同的實體有不同的出發點，更在意安全和自主性的企業希望構建屬于自己的私有云;應用需求少，對成本更敏感的企業則需要在線的即時云服務。但受限于人們對云技術的接納程度、云服務的成本優勢尚不明顯等原因，私有云和云服務普及程度偏低也大大限制了大數據的發展。

四、 數據尚未獲得真正意義上的定價和產業化。

數據的公開性與歸屬權不清晰直接導致了數據融合工作被割裂到一個個的獨立的數據資產型平臺內部。目前的大數據應用更多是針對公開數據和自有數據的價值挖掘，數據尚未獲得真正意義上的定價和產品化。

在數據共享相對成熟的金融體系，以銀行業為例，跨銀行間的數據共享通道是人民銀行與銀監會分別牽頭、管理的征信系統與客戶風險統計系統，均采取“報送數據才能享受共享”及“信貸主體本身可申請及授權查詢”的原則。在未納入眾多信托、小貸、互聯網金融等機構數據的情況下，上述數據池的維護成本已經非常高。那么多新的交易和交互數據源如何進行互相融合，并形成一個個類似于金融投資業的萬得、同花順一樣在細分業務場景下成熟且具有應用價值的產業化數據池?這是一個問題。

數據的產業化，從破除阻礙的角度看并關鍵在于兩點，一是數據的公開性與歸屬權需要在法律及政策層面得到更明確的規范和指引，二是對同類業務場景下不同平臺的數據制定統一的數據標準;從操作層面看，在應用范圍的選擇上，不應尋求一步到位或大而全，最好確定到具體的業務場景和產品形態;從實現路徑看，寄望于行政力量介入模式(類似于銀行間整合)的可行性不高，也許“平臺還數據于用戶，通過第三方機構公證數據真實性，用戶再授權進行跨平臺融合”才是一條可以期待的路。

網頁名稱：無法回避！那些制約大數據行業發展的問題……
文章地址：http://www.2m8n56k.cn/article30/sdijso.html

成都網站建設公司_創新互聯，為您提供App設計、外貿建站、標簽優化、網站維護、網站設計、ChatGPT

廣告

聲明：本網站發布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯系客服。電話：028-86922220；郵箱：[email protected]。內容未經允許不得轉載，或轉載時需注明來源： 創新互聯