藍(lán)盟IT小貼士，來！

IT 員工和數(shù)據(jù)專業(yè)人員需要構(gòu)建物理基礎(chǔ)架構(gòu)，以便在不同來源和多個(gè)應(yīng)用程序之間移動(dòng)數(shù)據(jù)。它還必須滿足性能、可擴(kuò)展性、及時(shí)性、安全性和數(shù)據(jù)治理要求。此外，業(yè)務(wù)可能會(huì)迅速失控，因此必須提前考慮部署成本。

也許最重要的是，企業(yè)首先需要弄清楚大數(shù)據(jù)如何以及為什么對(duì)他們的業(yè)務(wù)很重要。

“大數(shù)據(jù)項(xiàng)目面臨的最大挑戰(zhàn)之一是如何更好地應(yīng)用所獲得的知識(shí)，”ERP 軟件提供商 VAI 的商業(yè)智能經(jīng)理比爾說。

雖然許多應(yīng)用程序和系統(tǒng)都在捕獲數(shù)據(jù)，但企業(yè)往往難以理解有價(jià)值的數(shù)據(jù)，并且未能以一種有影響力的方式應(yīng)用這種觀點(diǎn)。

從更廣泛的角度來看，以下建議可幫助組織了解這 10 大數(shù)據(jù)挑戰(zhàn)以及如何應(yīng)對(duì)這些挑戰(zhàn)。

1.管理大量數(shù)據(jù)

在這個(gè)定義中，大數(shù)據(jù)通常包括存儲(chǔ)在各種系統(tǒng)和平臺(tái)上的大量數(shù)據(jù)。企業(yè)面臨的第一個(gè)挑戰(zhàn)是將來自 CRM、ERP 系統(tǒng)和其他數(shù)據(jù)源的大型數(shù)據(jù)集集成到一個(gè)集成的、可管理的大數(shù)據(jù)架構(gòu)中。

他說，當(dāng)他知道正在收集的數(shù)據(jù)時(shí)，通過進(jìn)行較小的調(diào)整來縮小洞察范圍會(huì)更容易。要實(shí)現(xiàn)這一點(diǎn)，請(qǐng)構(gòu)建一個(gè)允許增量更改的基礎(chǔ)架構(gòu)。如果您嘗試進(jìn)行重大更改，最終可能會(huì)遇到新問題。

2. 查找并修復(fù)數(shù)據(jù)質(zhì)量問題

如果數(shù)據(jù)質(zhì)量問題蔓延到大數(shù)據(jù)系統(tǒng)，基于大數(shù)據(jù)構(gòu)建的分析算法和人工智能APP應(yīng)用可能會(huì)導(dǎo)致不良后果。如果數(shù)據(jù)管理和分析團(tuán)隊(duì)嘗試部署更多不同類型的數(shù)據(jù)，這些問題可能會(huì)變得更加嚴(yán)重且難以審核。在在線市場中尋找在線購物助手，以幫助人們購買產(chǎn)品并安排運(yùn)輸。在擴(kuò)展到 500,000 個(gè)客戶時(shí)遇到此問題。該公司的主要增長動(dòng)力是利用大數(shù)據(jù)來提供高度定制的體驗(yàn)、識(shí)別追加銷售機(jī)會(huì)并監(jiān)控新趨勢(shì)。有效的數(shù)據(jù)質(zhì)量管理是一個(gè)重要問題。

“我們需要不斷監(jiān)控和修復(fù)數(shù)據(jù)質(zhì)量問題，”Pavel 說。他說重復(fù)條目和拼寫錯(cuò)誤很常見，特別是如果數(shù)據(jù)來自不同的來源。為了確保他們收集的數(shù)據(jù)的質(zhì)量，該團(tuán)隊(duì)創(chuàng)建了智能數(shù)據(jù)分類器。此分類器匹配具有較小數(shù)據(jù)差異的重復(fù)數(shù)據(jù)，并報(bào)告拼寫錯(cuò)誤的可能性。這有助于提高通過分析數(shù)據(jù)生成的集團(tuán)業(yè)務(wù)洞察力的準(zhǔn)確性。3. 應(yīng)對(duì)數(shù)據(jù)集成和準(zhǔn)備的復(fù)雜性

開源分析平臺(tái)提供商 Knime 的首席數(shù)據(jù)科學(xué)家表示，大數(shù)據(jù)平臺(tái)可以解決收集和存儲(chǔ)大量不同類型數(shù)據(jù)的問題，并快速獲取分析所需的數(shù)據(jù)。但是it技術(shù)，數(shù)據(jù)收集過程仍然非常困難。

企業(yè)收集的數(shù)據(jù)存儲(chǔ)的完整性取決于持續(xù)更新。這需要保持對(duì)各種數(shù)據(jù)源的訪問并擁有專門的大數(shù)據(jù)集成策略。

一些公司使用數(shù)據(jù)湖作為綜合存儲(chǔ)庫來存儲(chǔ)從不同來源收集的大型數(shù)據(jù)集，而不管各種數(shù)據(jù)將如何集成。例如，不同的業(yè)務(wù)領(lǐng)域生成的數(shù)據(jù)對(duì)于聯(lián)合分析很重要，但往往具有不同的潛在含義，公司需要消除歧義。警告我們暫時(shí)不要集成項(xiàng)目。這可能包括大量的返工。為了優(yōu)化大數(shù)據(jù)項(xiàng)的投資回報(bào)，通常建議制定支持?jǐn)?shù)據(jù)集成的戰(zhàn)略方法。

4. 大數(shù)據(jù)系統(tǒng)的高效和經(jīng)濟(jì)擴(kuò)展

如果企業(yè)沒有使用大數(shù)據(jù)的策略，那么存儲(chǔ)大數(shù)據(jù)可能會(huì)浪費(fèi)大量資金。根據(jù)技術(shù)和服務(wù)提供商 ZL Tech 企業(yè)解決方案負(fù)責(zé)人的說法，企業(yè)需要了解大數(shù)據(jù)分析始于數(shù)據(jù)捕獲階段。管理企業(yè)數(shù)據(jù)存儲(chǔ)還需要一致的保留策略來回收舊信息。尤其是現(xiàn)在，COVID-19 之前的數(shù)據(jù)在當(dāng)今市場上往往不準(zhǔn)確。

云管理平臺(tái)供應(yīng)商產(chǎn)品副總裁 Rehl 表示，數(shù)據(jù)管理團(tuán)隊(duì)必須在部署大數(shù)據(jù)系統(tǒng)之前規(guī)劃數(shù)據(jù)類型、模型和用途。然而，這并不容易。

“我們通常從數(shù)據(jù)模型開始進(jìn)行擴(kuò)展，但很快意識(shí)到該模型不適合新的數(shù)據(jù)點(diǎn)，并且突然需要解決技術(shù)債務(wù)問題，”他說。

具有適當(dāng)數(shù)據(jù)結(jié)構(gòu)的公共數(shù)據(jù)湖可以更輕松、更高效、更經(jīng)濟(jì)地重用數(shù)據(jù)。例如，文件通常比數(shù)據(jù)湖 CSV 轉(zhuǎn)儲(chǔ)提供更好的性能成本比。

5、大數(shù)據(jù)技術(shù)評(píng)價(jià)與選擇

數(shù)據(jù)管理團(tuán)隊(duì)擁有多種大數(shù)據(jù)技術(shù)，而且各種工具的功能通常會(huì)重疊。

NoSQL 數(shù)據(jù)庫公司的首席戰(zhàn)略官表示，來自流和批處理源的當(dāng)前和未來數(shù)據(jù)，包括大型機(jī)、云應(yīng)用程序和第三方數(shù)據(jù)服務(wù)，例如 Kafka、、AWS 和 pub 等企業(yè)流平臺(tái)。/sub ) 可以是云、本地和混合。然后，團(tuán)隊(duì)需要評(píng)估復(fù)雜的數(shù)據(jù)準(zhǔn)備能力，并將數(shù)據(jù)提供給人工智能、機(jī)器學(xué)習(xí)和其他高級(jí)分析系統(tǒng)。計(jì)劃處理數(shù)據(jù)的位置也很重要。如果延遲是一個(gè)問題，團(tuán)隊(duì)?wèi)?yīng)該考慮如何在邊緣服務(wù)器上運(yùn)行分析和 AI 模型it技術(shù)，以及如何輕松更新模型。企業(yè)必須在這些功能與部署和管理在本地、云端或邊緣運(yùn)行的設(shè)備和應(yīng)用程序的成本之間取得平衡。

6. 產(chǎn)生商業(yè)洞察力

數(shù)據(jù)團(tuán)隊(duì)傾向于關(guān)注大數(shù)據(jù)技術(shù)而不是結(jié)果。經(jīng)常發(fā)現(xiàn)他們不太關(guān)心如何處理數(shù)據(jù)。

從企業(yè)中的大數(shù)據(jù)應(yīng)用程序中生成有價(jià)值的業(yè)務(wù)洞察需要考慮多種場景，包括基于 KPI 的報(bào)告、識(shí)別有用的預(yù)測以及提出不同類型的建議。

這需要具有機(jī)器學(xué)習(xí)專業(yè)知識(shí)的業(yè)務(wù)分析師、統(tǒng)計(jì)學(xué)家和數(shù)據(jù)科學(xué)家的協(xié)助。她說，這些團(tuán)隊(duì)與大數(shù)據(jù)工程團(tuán)隊(duì)合作，可以提高構(gòu)建大數(shù)據(jù)環(huán)境的投資回報(bào)率。

文/上海藍(lán)盟IT外包專家