來源:中國電商物流網(wǎng) 發(fā)布時間:2020-1-2 9:15
隨著我國人民生活水平的提高,人們對醫(yī)療保健的需求也在不斷增長,這也為技術創(chuàng)新、跨界融合以及商業(yè)模式創(chuàng)新提供了源源不斷的新動力。基因行業(yè)在這種時代的大背景下應運而生,并且已經(jīng)在產(chǎn)前檢測、腫瘤檢測、藥物研發(fā)等精準醫(yī)療領域發(fā)揮著重大的作用。
基因技術被認為是改變未來的技術之一,也是開啟生命數(shù)字化的基石。正是基于這一點,具有前瞻性的公司在探索生命數(shù)字化,用個體化的基因數(shù)據(jù)去精準掌握個體健康狀況,制定干預措施,指導個體保持良好的健康狀態(tài)。
華大基因就是這樣的公司。華大集團成立于1999年,是全球領先的生命科學前沿機構。秉承“基因科技造福人類”的使命,懷抱“健康美麗,做生命時代的引領者”的愿景,華大集團以“產(chǎn)學研”一體化的發(fā)展模式引領基因組學的創(chuàng)新發(fā)展。
基因測序是測序儀將不可視化的生物信息轉換為可視化的文本信息,依托計算、存儲和網(wǎng)絡等IT資源,利用生物信息算法對文本信息進行分析和研究。這時一個強有力的IT基礎設施必不可少。華大基因與華為云展開積極合作,順利實現(xiàn)上云,實現(xiàn)了自動化測序分析能力。
云端基因測序
隨著生命科學技術的發(fā)展,基因測序也呈現(xiàn)了新的發(fā)展特征。比如標準化,基因測序需要確保其結果的嚴謹和可重復;行業(yè)規(guī);,基因測序技術已廣泛應用于醫(yī)療、農(nóng)業(yè)、食品等多個領域,未來將呈現(xiàn)井噴式增長;平臺化,測序公司除了面向科研單位、制藥公司和醫(yī)療機構提供服務外,還可為保險、農(nóng)業(yè)、IT等多個行業(yè)提供增值服務;親民化,測序技術不斷更迭,成本呈現(xiàn)超摩爾定律的下降,從“天價”下降至千美元,普通消費者均可享受技術紅利。不過這些變化也給基因公司的IT建設帶來了極大的挑戰(zhàn)。
比如如何在高峰快速響應最終客戶?測序業(yè)務一般為項目型,有明顯淡季和旺季之分,旺季業(yè)務量可能是淡季的10倍以上,本地資源不足以支撐峰值資源需求。
如何輕資產(chǎn)運營?按全年均值/峰值配置IT資源,一次性投入大、固定資產(chǎn)投入高、總成本高、建設周期長且出現(xiàn)資源閑置,容易出現(xiàn)資金鏈斷鏈影響公司整體運營,且3-5年后老舊設備需更新?lián)Q代。
如何提升解讀效率?大部分業(yè)務軟件開源,軟件運行過程中未匹配合適的IT資源,導致相同業(yè)務流的資源負載不均衡,最終導致IT資源浪費、有效利用率低下,從而影響總體成本競爭力,如30X的WGS測序耗時從6小時到40小時不等,測序分析耗時長。
如何快速共享、可靠存儲和挖掘數(shù)據(jù)潛在價值?基因測序部分業(yè)務依賴大量樣本數(shù)據(jù),數(shù)據(jù)積累過程中需存儲設備高可靠,且一定時間內(nèi)無數(shù)據(jù)訪問需求,因此數(shù)據(jù)的存儲成本和管理成本日益凸顯,數(shù)據(jù)存儲的投入產(chǎn)出比較低。
從以上挑戰(zhàn),我們可以看到采用云的IT資源交付形式對于基因公司而言可謂是“雪中送炭”;驕y序分為數(shù)據(jù)收集、測序分析(基因轉換、基因拼接、基因比對、基因注釋)、數(shù)據(jù)交付(數(shù)據(jù)歸檔/分發(fā))等階段對于IT資源規(guī)格的需求也是多樣化,有的階段注重算力分析,有的階段注重可靠存儲。
此外,基因公司的不同發(fā)展階段也對IT架構有著不同的需求,起步階段是單點服務器,企業(yè)成長期是集群部署,市場業(yè)務擴張期則是本地集群與云的混合部署。作為一個新的行業(yè),基因測序的IT人員匱乏,專業(yè)的人做專業(yè)的事,IT建設應該交給專業(yè)的人負責。
在基因測序的流程中,需要龐大的算力支持。從某種意義上說,生命科學的研究競賽,很多時候已經(jīng)變成了一場算力的比拼。基因測序?qū)λ懔Φ男枨蠖际遣▌拥,同時對于不同生物的基因組,需要的算力也不同,這就會牽扯到計算集群的擴縮容,但傳統(tǒng)的線下計算集群無法實現(xiàn)快速擴縮容,這也凸顯了云計算的便利性?傊,業(yè)務上云已經(jīng)成為當下基因公司的必然選擇。
具體到華大基因,過去計算資源比較緊張,在使用峰值時,任務經(jīng)常需要排隊等候;同時科技服務有很多復雜基因組,客戶需要借助不同規(guī)格的計算資源,所以云計算提供的靈活性是最好的選擇。經(jīng)過選型,華大基因最終選了華為云。
華大基因牽手華為云
2018年,華為云全球首家推出了以Kubernetes為基礎的基因容器服務GCS,基于輕量級的容器技術,結合大數(shù)據(jù)、深度學習算法,為測序廠商提供了靈活可定制的測序流程、秒級可伸縮的高可靠資源和便捷一站式用戶體驗,讓基因測序數(shù)據(jù)的計算更省、更快、更輕松。
借助GCS,華大基因打通了上云流程。目前華為云與華大基因完成超過300萬核時計算,平穩(wěn)運行超過100天,實現(xiàn)了環(huán)境快速部署;按需使用,應對業(yè)務波動;高并發(fā),2萬核資源池;彈性釋放,節(jié)約30%成本;保留用戶習慣,兼容SGE命令行。
GCS服務為華大基因提供了全自動化測序分析能力,通過生物信息流設計器,再復雜的業(yè)務也可以編排到一個流程中,一鍵搞定測序任務;針對國內(nèi)生信人設計的流程控制語法,結構簡練、易懂,既滿足了流程編寫的易用性,同時也保證了流程遷移的方便性;流程熱力圖提供非常直觀的方式,隨時了解測序進展,精確掌握資源消耗走勢,指導優(yōu)化方向;支持條件判斷,可根據(jù)判斷條件,選擇執(zhí)行分支,滿足企業(yè)復雜流程的管理的需要。
華為云基因測序解決方案提供完整的測序流程細粒度管理能力,同時提供云上云能力,便于用戶定制領域云平臺。此外,還提供業(yè)界主流第三方引擎編排能力,如Cromwell、SGE等。
華為云基因測序解決方案架構/來源:華為云官網(wǎng)
具體到基因測序,在數(shù)據(jù)收集階段,華為云基因測序解決方案提供多通道完成本地-云和云-云間的數(shù)據(jù)交互,實現(xiàn)低成本、高可靠、一站式傳輸、多級防護、訪問隔離。華為云提供云專線(DC)、數(shù)據(jù)快遞服務(DES)、對象存儲遷移服務(OMS)和云遷移服務(CDM)等多種傳輸服務,可實現(xiàn)本地機房-公有云和公有云-公有云的數(shù)據(jù)交互,同時提供API、SDK和第三方工具等幫助業(yè)務人員設置存儲空間訪問策略、MD5一致性校驗和賬戶管理等,保證交互過程安全可靠、簡單易用和數(shù)據(jù)一致。
在測序分析階段,華為云基因測序解決方案公有云HPC可無縫移植本地IDC架構,提供高性能計算實例、簡化存儲流程。華為云提供了提供C3(通用計算增強型)、M2(內(nèi)存優(yōu)化型)、H1(高計算型Ⅰ代采用10GE網(wǎng)絡)、H2(超高計算型Ⅱ代采用100G InfiniBand網(wǎng)絡)高計算型等規(guī)格的ECS計算實例,匹配不同的測序分析流程對計算和存儲的配比需求;按照專屬物理服務器方式提供卓越的計算性能,無虛擬化損耗,具備良好的性能優(yōu)勢,用戶可通過管理控制臺實現(xiàn)裸金屬服務器的自動化發(fā)放,滿足組裝/拼接業(yè)務對大內(nèi)存節(jié)點的需求。
此外,GCS(基因容器服務)提供一鍵式生信分析平臺,支持多資源混合調(diào)度、簡單易用、精細化控制資源利用率。云容器引擎(CCE)和云容器實例(CCI)支持多種資源(計算、存儲和第三方軟件)混合調(diào)度,幫助業(yè)務全流程容器化改造,同時可精細化控制資源利用率和一鍵重現(xiàn)歷史分析流程
GCS還提供私有云版本,線下實現(xiàn)全部線上功能,線上線下功能和環(huán)境一致,用戶使用習慣一致;天然打通線上線下形成容器混合云,容器鏡像自動同步,資源、應用統(tǒng)一管理運維;單集群超大規(guī)模,滿足客戶超大規(guī)模數(shù)據(jù)中心訴求;獨立解耦,不綁定底層基礎設施,廣泛支持各類虛擬化方案:VMware、OpenS tack、FusionSphere等;支持獨立的租戶系統(tǒng),并可與客戶租戶系統(tǒng)對接;3種容器網(wǎng)絡方案:Overlay L2,Underlay OVS,Underlay IPVLan,同時兼容Calico,全面覆蓋各類容器網(wǎng)絡場景;全面的運維體系,監(jiān)控、日志持久化存儲,告警對接用戶告警系統(tǒng)(SMTP、SMS),7乘24小時專業(yè)運維支持。
在數(shù)據(jù)交付階段,華為云基因測序解決方案提供快速交付高速通道,簡化操作,安全可靠。華為云提供云硬盤(EVS)、彈性文件服務(SFS)和對象存儲服務(OBS)等多種類型的云存儲服務,通過多級可靠性架構,保障數(shù)據(jù)持久性高達99.9999999999%(12個9),業(yè)務連續(xù)性高達99.995%,其中對象存儲提供標準、低頻和歸檔類型,存儲成本最低可達0.033元/GB/月。
持續(xù)賦能行業(yè)
如上所述,華為云基因測序解決方案提供了標準架構與持續(xù)創(chuàng)新,提供標準的高性能計算架構,滿足本地機房與公有云無縫對接的需求,同時推出一鍵式生信分析平臺幫助快速部署生信流程,提升測序分析效率和降低綜合成本
不斷賦能生信企業(yè)拓展高附加值業(yè)務。其中大數(shù)據(jù)能力,通過計算存儲分離、內(nèi)存及分布式緩存、智能調(diào)度,大數(shù)據(jù)性能提升40%,成本降低50%;人工智能能力,通過作業(yè)群組管理、拓撲感知的親和性調(diào)度,GPU線性加速比提升35%,降低人工智能50%訓練時間;鯤鵬算力,整型計算+多核契合測序分析,Minimap2軟件在鯤鵬920下性價比領先同代x86處理器20%。
正是這樣的實力,華為云不斷賦能行業(yè)。例如武漢希望組&未來組聯(lián)手華為,提升基因測序效率。武漢未來組采用Kunlun超大內(nèi)存裸金屬服務器,承載重樓百合150G基因組裝;打通線下數(shù)據(jù)生產(chǎn)平臺與云端高性能計算平臺之間的網(wǎng)絡鏈路,使得線下產(chǎn)生的數(shù)據(jù)可以快速上傳到云端,從而進行后續(xù)的分析。數(shù)據(jù)達到云端后,根據(jù)項目需求,在控制臺申請足夠規(guī)模的彈性云計算資源,快速完成項目。
在醫(yī)療健康行業(yè)升級的大背景下,基因測序需要融合更多的技術手段來達到更高的精準度和科學性,華為云基因測序解決方案釋放云+AI+5G的強大動能,幫助生信企業(yè)降本增效,實現(xiàn)行業(yè)的智能化升級。
特別提醒:本網(wǎng)內(nèi)容轉載自其他媒體,目的在于傳遞更多信息,并不代表本網(wǎng)贊同其觀點。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實,對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾,并請自行核實相關內(nèi)容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網(wǎng)有任何內(nèi)容侵犯您的權益,請及時聯(lián)系我們,本站將會在24小時內(nèi)處理完畢。