文/大數(shù)網(wǎng) 于澤

      關(guān)于華為，每個人都有自己的觀察角度，聚焦企業(yè)級IT市場，本文講講最近一段時間我看到的華為實力。我的切入點是鯤鵬，更進一步說是華為云最新發(fā)布的業(yè)界首個鯤鵬大數(shù)據(jù)解決方案——BigData Pro。

　　先說說鯤鵬，這個最近一段時間華為最頻繁提及的詞匯之一。明白了鯤鵬，對于鯤鵬大數(shù)據(jù)解決方案也就理解了一大半。

　　“鯤鵬”是什么?

　　可能你已經(jīng)看到了，華為近期密集地發(fā)布了各種帶著鯤鵬字樣的產(chǎn)品、解決方案，包括鯤鵬處理器、鯤鵬云服務，其中就包括本文將重點展開的華為云鯤鵬大數(shù)據(jù)解決方案——BigData Pro。

　　鯤鵬究竟是什么?

　　簡單理解，鯤鵬是一套基礎(chǔ)架構(gòu)體系，不僅僅局限于鯤鵬系列服務器芯片，還包含了兼容的服務器軟件，以及建立在新計算架構(gòu)上的完整軟硬件生態(tài)和云計算生態(tài)。最初， 鯤鵬指華為在今年1月初發(fā)布的一款基于ARM指令集的通用計算芯片鯤鵬920。

　　為什么華為在大力發(fā)展鯤鵬?原因有很多，最直接的因素就是必須擁有自己的核心技術(shù)。

　　本質(zhì)原因則是摩爾定律正在失效，計算體系進入百花齊放的時代，鯤鵬的發(fā)布，給客戶帶來了更多元的選擇。

　　華為云鯤鵬大數(shù)據(jù)解決方案(BigData Pro)第一個值得關(guān)注的點，正如華為云云存儲服務總經(jīng)理林超所說，不管是存儲還是計算，都是基于鯤鵬架構(gòu)實現(xiàn)的。這在業(yè)內(nèi)目前也是獨一份。

　　了解過鯤鵬后，接下來認識一下鯤鵬大數(shù)據(jù)解決方案的第二個關(guān)鍵詞Pro。在消費級產(chǎn)品領(lǐng)域，Pro被用的很多了，字面意思專業(yè)版，更直觀的認識，Pro的功能會更強大。

　　那么，華為云鯤鵬大數(shù)據(jù)的Pro體現(xiàn)在哪些方面?我覺得可以總結(jié)為三個維度：

　　“存算分離”——提升資源利用率

　　華為云對傳統(tǒng)的大數(shù)據(jù)架構(gòu)進行了升級，推出了基于云服務的存算分離架構(gòu)。存儲和計算資源可以根據(jù)業(yè)務需要各自獨立進行彈性擴展，靈活配置，從而使資源匹配更精準、更合理，讓大數(shù)據(jù)集群資源利用率大幅提升。據(jù)介紹，經(jīng)此創(chuàng)新，綜合分析成本最高可降低50%。

　　至于為什么要這樣做?還得從大數(shù)據(jù)架構(gòu)的限制說起。目前，業(yè)界使用最多的大數(shù)據(jù)架構(gòu)是Hadoop，而當初設計的時候，它基于計算和數(shù)據(jù)就近處理的原則，采用計算和存儲融合的架構(gòu)，通俗的理解就是“一體機”。按照一體機的設計，計算和存儲的比例是固定的，這顯然不符合實際業(yè)務需求，無形中造成很多浪費。

　　有一組數(shù)據(jù)供參考，在原有存算一體方案中，計算資源的利用率一般不到50%，存儲空間的利用率一般不到33%。換句話說，大量的計算、存儲資源都被浪費了。

　　而華為云BigData Pro鯤鵬大數(shù)據(jù)方案能將大數(shù)據(jù)集群的資源利用率提升75%，成本最高可降低50%。

　　多協(xié)議互通數(shù)據(jù)分析效率大增

　　在鯤鵬大數(shù)據(jù)解決方案中，華為云使用OBS對象存儲來管理企業(yè)海量數(shù)據(jù)。OBS具備業(yè)界領(lǐng)先的性能，支持千萬TPS超高并發(fā)，單流2.4Gb/s單流帶寬，超業(yè)界3倍，小對象10ms穩(wěn)定低時延。在此基礎(chǔ)之上，華為云還做了很多創(chuàng)新。

　　比如，OBS對象存儲服務的多協(xié)議互通。什么意思?沒有這個能力之前，企業(yè)不同格式的數(shù)據(jù)是存儲在不同存儲系統(tǒng)中的，在進行數(shù)據(jù)分析時，需要進行協(xié)議轉(zhuǎn)換，影響效率不說，轉(zhuǎn)換完成后還要另存一份，又造成存儲空間浪費。有了多協(xié)議互通，數(shù)據(jù)可以通過計算、存儲的接口，或者HDFS的接口寫進來，然后再通過另外的協(xié)議，包括POSIX等讀出去，相當于一個數(shù)據(jù)可以用多種語義解讀，省去了轉(zhuǎn)換過程，效率大增。據(jù)測算，單此一項創(chuàng)新就能幫助數(shù)據(jù)訪問效率提升25%。這是華為云對象存儲服務的一個獨特優(yōu)勢。

　　再比如，基于對象存儲華為云創(chuàng)新了修改寫和追加寫。原來的修改寫和追加寫，按照傳統(tǒng)廠商們的做法，修改寫相當于先新增一個數(shù)據(jù)，然后把老數(shù)據(jù)刪掉，需要兩個步驟�，F(xiàn)在華為云可以做到直接修改，對于處理大文件，這項能力尤其有用。

　　其三，華為云在OBS對象存儲上實現(xiàn)了HDFS原生接口。

　　量變產(chǎn)生質(zhì)變，一點點小的創(chuàng)新積累，使存儲不再是大數(shù)據(jù)分析過程中的性能瓶頸。所以，同樣是存算分離，可以說華為云比友商多走了半步，能帶給用戶更高的效率，更優(yōu)的成本。

　　這還不夠，別忘了鯤鵬大數(shù)據(jù)解決方案還有一個Pro，它與鯤鵬的特性緊密相關(guān)，這也是為什么開篇會說，明白了鯤鵬也就了解了鯤鵬大數(shù)據(jù)解決方案的一大半。究竟是什么?

　　鯤鵬多核從容應對數(shù)據(jù)高并發(fā)

　　首先，就鯤鵬本身而言，多核優(yōu)勢再加上華為云在任務調(diào)度上的算法優(yōu)化，使得CPU的并發(fā)能力很強。另外，CPU內(nèi)存通道更多，從6個提升到8個，支持的內(nèi)存速度更高，從2666MHz提升到2933MHz，內(nèi)存帶寬提升46%，而眾所周知，內(nèi)存帶寬的提升對于大數(shù)據(jù)的場景優(yōu)勢非常明顯。

　　其次，華為云鯤鵬大數(shù)據(jù)解決方案率先采用鯤鵬云容器技術(shù)，并做了很多獨有的創(chuàng)新。比如：

　　華為云對開源k8s進行了深度優(yōu)化，能夠達到1秒1000個容器發(fā)放的彈性能力，特別有利于實時大數(shù)據(jù)分析對業(yè)務浪涌的彈性響應，并且引入Volcano隊列批量調(diào)度技術(shù)，支持容器的智能拉起等，讓企業(yè)大數(shù)據(jù)分析業(yè)務編排更加靈活。

　　更多細節(jié)不再一一展開。據(jù)悉，華為云鯤鵬容器服務在大數(shù)據(jù)應用場景下，端到端的性能提升達到40%。也就是說，在存算分離的大框架下，華為云不僅是面向存儲，針對計算同樣也做了很多技術(shù)創(chuàng)新。

　　截至當前，BigData Pro大數(shù)據(jù)解決方案已經(jīng)在部分頂級互聯(lián)網(wǎng)客戶的業(yè)務場景得以應用，包括用戶畫像、實時數(shù)據(jù)分析等，能有效降低35%的大數(shù)據(jù)分析用時，反饋良好。

　　大數(shù)據(jù)體系升級，滿足企業(yè)多樣化場景需求

　　有了鯤鵬大數(shù)據(jù)解決方案，華為云也成為業(yè)界能提供大數(shù)據(jù)解決方案最豐富的服務商，從x86到鯤鵬，從容器、云主機到裸金屬，從云計算到云存儲，往上再到EI大數(shù)據(jù)服務，各種各樣的大數(shù)據(jù)應用場景需求，華為云都能滿足。

　　事實上，這也正是當前大數(shù)據(jù)領(lǐng)域的發(fā)展趨勢。業(yè)界都看到了海量數(shù)據(jù)帶來的挑戰(zhàn)，特別是隨著5G、IoT、VR/AR、自動駕駛等技術(shù)的發(fā)展，數(shù)據(jù)的爆發(fā)速度會越來越快。華為曾在GIV 2025報告中指出：“預計到2025年，全球每年新增數(shù)據(jù)存儲量為180ZB，企業(yè)的數(shù)據(jù)利用率將會達到86%。”如此大的壓力之下，現(xiàn)有大數(shù)據(jù)分析系統(tǒng)已經(jīng)難以滿足其增長需求，數(shù)據(jù)增長和現(xiàn)有IT架構(gòu)處理能力之間的不平衡只會越來越明顯。業(yè)界知名分析機構(gòu)IDC在最新的報告中就明確指出：企業(yè)上云已成必然趨勢。因此，在公有云上部署更靈活高效的大數(shù)據(jù)分析平臺，將成為企業(yè)應對大數(shù)據(jù)時代的必然選擇。

　　于是，我們也看到所有云服務商都在朝這個方向努力，正在推出更多的產(chǎn)品與解決方案。華為云也是其中的一份子。但有所不同的是，華為云基于華為過去的積累有很多獨有的優(yōu)勢，包括存儲、計算領(lǐng)域的，而這也將成為其未來重要的競爭力。

　　總結(jié)全文，透過華為云鯤鵬大數(shù)據(jù)解決方案BigData Pro觀察華為云。他們要做的不僅僅是給用戶多一種選擇(鯤鵬)，更是給出一種匹配企業(yè)業(yè)務需求的最佳方案，這也符合華為以客戶為中心的企業(yè)文化。相信華為云未來會有更多基于鯤鵬算力的解決方案問世，為企業(yè)客戶的數(shù)字化智能轉(zhuǎn)型帶來切實的效益。