據(jù)估計(jì)，大約在2005年左右，Hadoop的誕生，標(biāo)志著人類正式進(jìn)入大數(shù)據(jù)時(shí)代。事實(shí)上，“大數(shù)據(jù)”這一概念最早出現(xiàn)于1998年，一位來自美國高性能計(jì)算公司的科學(xué)家，在一次國際會(huì)議的報(bào)告中使用了“大數(shù)據(jù)”來描述不斷增長的數(shù)據(jù)量所帶來的挑戰(zhàn)。

到2013年，越來越多的企業(yè)開始看到大數(shù)據(jù)的價(jià)值，發(fā)現(xiàn)大數(shù)據(jù)可以賦予企業(yè)業(yè)務(wù)權(quán)力。透過對海量數(shù)據(jù)的有效儲(chǔ)存、管理和分析，他們能夠獲得更多的實(shí)時(shí)市場信息。而且，我們也發(fā)現(xiàn)，大數(shù)據(jù)并非一項(xiàng)技術(shù)，而是一系列數(shù)據(jù)管理技術(shù)的集合，它給整個(gè)社會(huì)和人類帶來的影響，將與以往任何技術(shù)上的變化不同。

那么，十幾年過去了，今天的大數(shù)據(jù)發(fā)展到什么狀態(tài)呢？為了使大數(shù)據(jù)應(yīng)用更成熟，我們需要做些什么？

通過多種應(yīng)用分析和調(diào)查，發(fā)現(xiàn)盡管企業(yè)的數(shù)據(jù)量呈爆炸式增長趨勢，也更加注重信息的來源和使用價(jià)值，但對實(shí)際商業(yè)價(jià)值的推動(dòng)力并未產(chǎn)生顯著效果。盡管大數(shù)據(jù)概念風(fēng)靡全球，但是它的應(yīng)用仍然停留在如何把正確的信息在適當(dāng)?shù)臅r(shí)候發(fā)送給合適的人。

數(shù)據(jù)倉庫vs數(shù)據(jù)湖vs數(shù)據(jù)管理架構(gòu)

為了收集和獲取大量的數(shù)據(jù)，各種數(shù)據(jù)存儲(chǔ)和管理系統(tǒng)如雨后春筍般涌現(xiàn)，包括數(shù)據(jù)倉庫、數(shù)據(jù)湖和數(shù)據(jù)管理架構(gòu)，并開始加企業(yè)應(yīng)用場景的發(fā)展。

然而，當(dāng)企業(yè)的大數(shù)據(jù)解決方案和平臺架構(gòu)開始增加時(shí)，業(yè)務(wù)的復(fù)雜性也增加了。企業(yè)需要一個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)管理架構(gòu)來整合所有數(shù)據(jù)和各種應(yīng)用工具，包括跨環(huán)境和混合應(yīng)用管理。過去，集中架構(gòu)已不能滿足企業(yè)的業(yè)務(wù)需求?；蛘哒f，企業(yè)需要更強(qiáng)的數(shù)據(jù)分析能力來訪問不同的數(shù)據(jù)源。這也是以DataFabric為核心的數(shù)據(jù)管理架構(gòu)越來越受歡迎的最根本原因。

從理論上講，企業(yè)需要一個(gè)能夠保證所有數(shù)據(jù)都是最新、易于管理、且干凈的；但是在以前的數(shù)據(jù)架構(gòu)模式無法實(shí)現(xiàn)，DataFabric可以幫助企業(yè)管理不同的數(shù)據(jù)，同時(shí)，也可以將不同類型數(shù)據(jù)間的關(guān)系聯(lián)系在一起，而不必將所有數(shù)據(jù)都倒進(jìn)數(shù)據(jù)湖。

因此，所有相關(guān)應(yīng)用程序都必須貫穿于數(shù)據(jù)的管理過程。例如：我們可以通過數(shù)據(jù)倉庫實(shí)現(xiàn)高性能、可重復(fù)性分析；數(shù)據(jù)湖可以存儲(chǔ)數(shù)據(jù)以供開發(fā)和測試使用；DataMesh這種基于領(lǐng)域驅(qū)動(dòng)和自服務(wù)的數(shù)據(jù)架構(gòu)設(shè)計(jì)模式，可以用于管理分布式數(shù)據(jù)，由于服務(wù)本身采用了微服務(wù)的概念，并采用ServiceMesh分布式架構(gòu)。說到DataMesh，可能有人會(huì)問DataMesh和DataFabric有什么關(guān)系？實(shí)際上，DataMesh和DataFabric是一個(gè)新的數(shù)據(jù)管理架構(gòu)，它們都致力于使數(shù)據(jù)相互連接。

一站式大數(shù)據(jù)平臺構(gòu)建

當(dāng)企業(yè)業(yè)務(wù)上升到一定量，構(gòu)建大數(shù)據(jù)平臺成為必須品。問題是，大數(shù)據(jù)平臺如何構(gòu)建？不同企業(yè)有不同選擇！

有專家建議，最好采用兩種策略構(gòu)建企業(yè)大數(shù)據(jù)平臺，即一個(gè)用于生產(chǎn)，另一個(gè)用于分析。但筆者認(rèn)為，基于一個(gè)標(biāo)準(zhǔn)的數(shù)據(jù)架構(gòu)構(gòu)建大數(shù)據(jù)平臺，更有利于數(shù)據(jù)管理。如果每個(gè)業(yè)務(wù)部門都建自己的平臺，需要支持多個(gè)數(shù)據(jù)庫，還得需要一個(gè)ETL平臺完成數(shù)據(jù)之間的轉(zhuǎn)換。這時(shí)，數(shù)據(jù)的真實(shí)性、實(shí)時(shí)性都會(huì)出現(xiàn)挑戰(zhàn)。構(gòu)建大數(shù)據(jù)平臺，最終的目標(biāo)是為了整合數(shù)據(jù)，讓所有的數(shù)據(jù)實(shí)現(xiàn)可視化管理，并且無論數(shù)據(jù)在企業(yè)內(nèi)部還是云端，都能實(shí)現(xiàn)統(tǒng)一管理。多一個(gè)數(shù)據(jù)平臺，就意味著企業(yè)在進(jìn)行數(shù)據(jù)整合時(shí)，會(huì)增加額外的成本，并且容易出現(xiàn)數(shù)據(jù)安全隱患。

當(dāng)然，構(gòu)建一個(gè)能覆蓋所有環(huán)境的大數(shù)據(jù)平臺，也不是一件容易的事。大多數(shù)時(shí)候，一個(gè)供應(yīng)商的解決方案也沒那么全面，比如：有的提供了查詢功能，但治理方面差了一些；有的雖然解決了大數(shù)據(jù)的規(guī)?；幚?，但后期的數(shù)據(jù)遷移成為一大挑戰(zhàn)。所以，企業(yè)擁有多個(gè)企業(yè)提供的數(shù)據(jù)管理解決方案，可能是一種常態(tài)。

如果企業(yè)選型選對，基于標(biāo)準(zhǔn)的數(shù)據(jù)架構(gòu)來打造打造大數(shù)據(jù)平臺，那意味企業(yè)擁有了先天的一站式大數(shù)據(jù)平臺管理能力，后期可以通過各種工具和手段進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化管理。

比如：基于DataFabric，企業(yè)從設(shè)計(jì)之初開始，就擁有了一個(gè)可靈活擴(kuò)展、多次復(fù)用和持續(xù)優(yōu)化的數(shù)據(jù)管道，技術(shù)開發(fā)人員可以根據(jù)服務(wù)和語義，支持復(fù)雜環(huán)境部署，通過資源的靈活調(diào)度，交付各種應(yīng)用。

以上內(nèi)容就是大數(shù)據(jù)未來發(fā)展前景，希望對大家有所幫助，如需了解更多網(wǎng)絡(luò)工程方案的，可在線客服或者來電咨詢，廣州軒轅宏邁為您提供一站式弱電工程/安防監(jiān)控/綜合布線/網(wǎng)絡(luò)工程解決方案，包括，計(jì)算機(jī)網(wǎng)絡(luò)工程、弱電機(jī)房、無線網(wǎng)絡(luò)、云平臺工程方案、人工智能化方案等，期待與您的合作！