過去幾年內,我們見證了互聯(lián)網從“數據”到“大數據”的量的轉變。作為擁有數據生產者和使用者雙重身份的企業(yè),正面臨著時代變革所帶來的各方面的挑戰(zhàn),無論是大公司還是小公司,或所處什么行業(yè)領域,企業(yè)所面臨的困境越來越相似。
企業(yè)對于自己的信息知之多少?
這些數據來自何方?
如何應對爆炸式增長的數據量?
這些數據是否安全可靠?
如何使龐大繁雜的數據變得易于管理?
……
可見隨著 “數字化轉型”進程的推進,企業(yè)對數據的要求也隨之提升,從“量”變逐漸往“質”變的方向發(fā)展。“可信任數據”(Trusted Data)將成為企業(yè)競相爭取的下一座金礦。
其實數據就如原油,只有經過提煉才能發(fā)揮無盡的潛能,“可信任的數據”即經過提煉后的石油,那么究竟何為“可信任數據”?從字面上理解,它主要有兩層意思:
其一,數據完整、準確。大數據并非只是指其數據量之大,更體現(xiàn)在其所蘊含的價值之大。通過保證數據的完整和準確,使數據的價值得到體現(xiàn),數據完整、準確是“可信任”的根基。
其二,可值得信賴。數據質量是確定決策所使用的數據是否可靠的一個基本考量因素。“可信任的數據”整合來自任何來源的可信數據,將其組合成有意義、有價值的信息,這樣的數據是值得依賴的。
高質量的數據是大數據發(fā)揮效能的前提和基礎,企業(yè)獲取“可信任數據”,勢如奪金。而通過強大的大數據分析技術是獲取“可信任數據”發(fā)揮大數據價值的重要手段。想必這時候你就會問,如何獲得“可信賴數據”呢?作為數據管理和分析領域的強手,IBM給出了數據收集,集成到管理整個生命周期的解決方案,幫助企業(yè)從海量數據中獲得洞察,助力科學決策。
數據提質必經站——Information Analyzer
企業(yè)經常碰到幾個數據質量問題,如:數據不完整,數據不一致,數據邏輯錯誤,數據有錯誤等。要想獲得高質量的“可信任數據”,則必須規(guī)避這些問題。IBM Information Analyzer就很好的解決了這些問題,它就像是一個提質站,提供了數據質量評估、數據質量監(jiān)控和數據規(guī)則設計與分析功能,幫助企業(yè)降低錯誤信息所帶來的風險,保證“可信任數據”順利交付。
通過 IBM InfoSphere InformationAnalyzer 軟件工具實現(xiàn)對數據進行全面分析,包括技術層面和業(yè)務層面,體現(xiàn)如下:
標準評估:為企業(yè)數據源的結構、內容和質量建立一個全面、整體的認知。
數據規(guī)則:通過定制并不斷地調整自定義數據質量規(guī)則來對數據進行更深入的質量驗證,趨勢預測和模式分析。
報告指標:通過對分析結果的鑒別、評估以及異常管理來限制數據質量的惡化,從而降低風險。
數據集成利器——DataStage +CDC
相信很多企業(yè)都有這么一個感覺,雖然大數據為企業(yè)機構在做商業(yè)決策等方面提供了強大的支持,但與此同時,錯綜復雜的數據本身對企業(yè)來講就是一個挑戰(zhàn)。如何將大量的結構化和非結構化數據轉化成“可信任數據”是企業(yè)所急需的,IBM擁有DataStage和ChangeDataCapture(CDC)等多種數據集成解決方案正是為解決這些問題而生。通過將不同來源的數據組合成有意義、有價值的信息,幫助企業(yè)理解、清理、監(jiān)視、轉換和提供數據,確保信息的可信度和一致性,并對數據進行實時監(jiān)管。
作為數據集成的兩大利器,DataStage和CDC相輔相成,卻又各有所長。IBM CDC是一種準確而高效的數據復制工具,可以幫助企業(yè)輕松地獲取業(yè)務生產系統(tǒng)的增量數據;而DataStage 則是企業(yè)數據集成領域另一個專業(yè)而強大的ETL工具,擁有多處理器硬件平臺的并行處理能力和可擴展的功能,可以高效批量處理海量數據。當CDC與DataStage“雙劍合璧”時,就能實現(xiàn)快速地把業(yè)務增量數據,實時地按業(yè)務規(guī)則進行數據轉換和集成處理,把最終處理結果更新到目標的分析系統(tǒng)中。
IBM DataStage 和CDC等數據集成方案適用于各個領域,尤其是銀行、保險、大型制造業(yè)等行業(yè)領域。例如,華為借助DataStage ETL解決方案打通了各個業(yè)務之間的“信息孤島”的問題;中國建設銀行在建設海外開發(fā)中心的過程中,通過CDC使海外分行和北京中心建立了實時雙向數據同步功能。
我的數據我做主——InfoSphere MDM
科學的決策一定是基于準確可靠的數據得出的,而想要獲得“可信賴數據”,企業(yè)就需要擁有一套適合自己的數據監(jiān)管方案。無論是銀行、制造業(yè)、零售商或政府機構,都擁有自己的核心數據,即我們常說的主數據,一套強大的主數據管理可幫助企業(yè)創(chuàng)造出巨大的商業(yè)價值。IBM MDM為企業(yè)提供基于SOA 開放標準的主數據管理,可擴展的功能架構,和靈活地進行客戶化定制主數據的管理方案,為所有業(yè)務部門提供及時、準確的主數據業(yè)務視圖。MDM主要有三種部署方式:協(xié)作型、操作型和關聯(lián)數據管理,企業(yè)可根據自身屬性選擇使用。
由于缺乏全局意識,很多企業(yè)所采用的應用程序只是為支持某個業(yè)務領域的運營過程而設計的,它們擁有自己的信息技術設施,包括與應用相關的數據存儲和定義,其結果就是導致同步數據變得十分復雜,維護難度不減反增,數據質量很難確保。通過集信息集成、管理和共享于一身的IBM MDM,可很好的解決這些問題,5個步驟就能達到簡化結構,降低成本,改進數據監(jiān)管等目標:
1. 建模:用靈活的數據模型定義任意類型的主數據
2. 識別:快速匹配和準確識別重復項目
3. 解決:合并以創(chuàng)建可靠、唯一的真實來源
4. 聯(lián)系:揭示各類主數據之間的關系
5. 治理:創(chuàng)建、使用、管理和監(jiān)控主數據
大數據時代,企業(yè)的戰(zhàn)略一定是從“業(yè)務驅動”轉向“數據驅動”。未來有價值的公司,一定是數據驅動的公司。在這樣的時代背景下,參差不齊的數據時刻困擾著企業(yè)業(yè)務發(fā)展之路,唯有從數據的源頭到管理全過程確保數據的準確可靠,才能保障企業(yè)有效地挖掘隱藏在大數據中的信息,為“我”所用。
大數據處理信息服務商金盛網聚WJFabric認為,大企業(yè)對于新興領域的布局往往是超前的,但鑒于其體量及需求等原因,布局的方向更多在于對新興行業(yè)基礎設施的搭建,因此,對于行業(yè)細分領域的研究仍然是創(chuàng)業(yè)的重要方向。以大數據為例,IBM的布局意在為行業(yè)提供發(fā)展基礎,即數據的獲得及精準性的提升,本質上是一種工具式的研發(fā),而在大數據的應用方面,如何更好地將新技術與傳統(tǒng)行業(yè)相結合,創(chuàng)造出更多的價值,這是留給創(chuàng)業(yè)公司的發(fā)展機會。
金盛網聚(北京)科技有限公司成立于2012年,是一家數據處理與信息咨詢服務商,公司擁有自主核心技術與服務咨詢的團隊, 公司“WJFbaric-互聯(lián)網大數據信息監(jiān)測SaaS平臺”目前注冊使用客戶將近上萬個,為企業(yè)、政府、學術機構、成功人士等提供在線信息收集、展示、閱讀、存儲的免費平臺,公司遠景致力于通過數據+計算形成可視化的人工智能決策平臺。