來源:中國電商物流網 發布時間:2020-1-2 9:15
隨著我國人民生活水平的提高,人們對醫療保健的需求也在不斷增長,這也為技術創新、跨界融合以及商業模式創新提供了源源不斷的新動力;蛐袠I在這種時代的大背景下應運而生,并且已經在產前檢測、腫瘤檢測、藥物研發等精準醫療領域發揮著重大的作用。
基因技術被認為是改變未來的技術之一,也是開啟生命數字化的基石。正是基于這一點,具有前瞻性的公司在探索生命數字化,用個體化的基因數據去精準掌握個體健康狀況,制定干預措施,指導個體保持良好的健康狀態。
華大基因就是這樣的公司。華大集團成立于1999年,是全球領先的生命科學前沿機構。秉承“基因科技造福人類”的使命,懷抱“健康美麗,做生命時代的引領者”的愿景,華大集團以“產學研”一體化的發展模式引領基因組學的創新發展。
基因測序是測序儀將不可視化的生物信息轉換為可視化的文本信息,依托計算、存儲和網絡等IT資源,利用生物信息算法對文本信息進行分析和研究。這時一個強有力的IT基礎設施必不可少。華大基因與華為云展開積極合作,順利實現上云,實現了自動化測序分析能力。
云端基因測序
隨著生命科學技術的發展,基因測序也呈現了新的發展特征。比如標準化,基因測序需要確保其結果的嚴謹和可重復;行業規模化,基因測序技術已廣泛應用于醫療、農業、食品等多個領域,未來將呈現井噴式增長;平臺化,測序公司除了面向科研單位、制藥公司和醫療機構提供服務外,還可為保險、農業、IT等多個行業提供增值服務;親民化,測序技術不斷更迭,成本呈現超摩爾定律的下降,從“天價”下降至千美元,普通消費者均可享受技術紅利。不過這些變化也給基因公司的IT建設帶來了極大的挑戰。
比如如何在高峰快速響應最終客戶?測序業務一般為項目型,有明顯淡季和旺季之分,旺季業務量可能是淡季的10倍以上,本地資源不足以支撐峰值資源需求。
如何輕資產運營?按全年均值/峰值配置IT資源,一次性投入大、固定資產投入高、總成本高、建設周期長且出現資源閑置,容易出現資金鏈斷鏈影響公司整體運營,且3-5年后老舊設備需更新換代。
如何提升解讀效率?大部分業務軟件開源,軟件運行過程中未匹配合適的IT資源,導致相同業務流的資源負載不均衡,最終導致IT資源浪費、有效利用率低下,從而影響總體成本競爭力,如30X的WGS測序耗時從6小時到40小時不等,測序分析耗時長。
如何快速共享、可靠存儲和挖掘數據潛在價值?基因測序部分業務依賴大量樣本數據,數據積累過程中需存儲設備高可靠,且一定時間內無數據訪問需求,因此數據的存儲成本和管理成本日益凸顯,數據存儲的投入產出比較低。
從以上挑戰,我們可以看到采用云的IT資源交付形式對于基因公司而言可謂是“雪中送炭”。基因測序分為數據收集、測序分析(基因轉換、基因拼接、基因比對、基因注釋)、數據交付(數據歸檔/分發)等階段對于IT資源規格的需求也是多樣化,有的階段注重算力分析,有的階段注重可靠存儲。
此外,基因公司的不同發展階段也對IT架構有著不同的需求,起步階段是單點服務器,企業成長期是集群部署,市場業務擴張期則是本地集群與云的混合部署。作為一個新的行業,基因測序的IT人員匱乏,專業的人做專業的事,IT建設應該交給專業的人負責。
在基因測序的流程中,需要龐大的算力支持。從某種意義上說,生命科學的研究競賽,很多時候已經變成了一場算力的比拼。基因測序對算力的需求都是波動的,同時對于不同生物的基因組,需要的算力也不同,這就會牽扯到計算集群的擴縮容,但傳統的線下計算集群無法實現快速擴縮容,這也凸顯了云計算的便利性。總之,業務上云已經成為當下基因公司的必然選擇。
具體到華大基因,過去計算資源比較緊張,在使用峰值時,任務經常需要排隊等候;同時科技服務有很多復雜基因組,客戶需要借助不同規格的計算資源,所以云計算提供的靈活性是最好的選擇。經過選型,華大基因最終選了華為云。
華大基因牽手華為云
2018年,華為云全球首家推出了以Kubernetes為基礎的基因容器服務GCS,基于輕量級的容器技術,結合大數據、深度學習算法,為測序廠商提供了靈活可定制的測序流程、秒級可伸縮的高可靠資源和便捷一站式用戶體驗,讓基因測序數據的計算更省、更快、更輕松。
借助GCS,華大基因打通了上云流程。目前華為云與華大基因完成超過300萬核時計算,平穩運行超過100天,實現了環境快速部署;按需使用,應對業務波動;高并發,2萬核資源池;彈性釋放,節約30%成本;保留用戶習慣,兼容SGE命令行。
GCS服務為華大基因提供了全自動化測序分析能力,通過生物信息流設計器,再復雜的業務也可以編排到一個流程中,一鍵搞定測序任務;針對國內生信人設計的流程控制語法,結構簡練、易懂,既滿足了流程編寫的易用性,同時也保證了流程遷移的方便性;流程熱力圖提供非常直觀的方式,隨時了解測序進展,精確掌握資源消耗走勢,指導優化方向;支持條件判斷,可根據判斷條件,選擇執行分支,滿足企業復雜流程的管理的需要。
華為云基因測序解決方案提供完整的測序流程細粒度管理能力,同時提供云上云能力,便于用戶定制領域云平臺。此外,還提供業界主流第三方引擎編排能力,如Cromwell、SGE等。
華為云基因測序解決方案架構/來源:華為云官網
具體到基因測序,在數據收集階段,華為云基因測序解決方案提供多通道完成本地-云和云-云間的數據交互,實現低成本、高可靠、一站式傳輸、多級防護、訪問隔離。華為云提供云專線(DC)、數據快遞服務(DES)、對象存儲遷移服務(OMS)和云遷移服務(CDM)等多種傳輸服務,可實現本地機房-公有云和公有云-公有云的數據交互,同時提供API、SDK和第三方工具等幫助業務人員設置存儲空間訪問策略、MD5一致性校驗和賬戶管理等,保證交互過程安全可靠、簡單易用和數據一致。
在測序分析階段,華為云基因測序解決方案公有云HPC可無縫移植本地IDC架構,提供高性能計算實例、簡化存儲流程。華為云提供了提供C3(通用計算增強型)、M2(內存優化型)、H1(高計算型Ⅰ代采用10GE網絡)、H2(超高計算型Ⅱ代采用100G InfiniBand網絡)高計算型等規格的ECS計算實例,匹配不同的測序分析流程對計算和存儲的配比需求;按照專屬物理服務器方式提供卓越的計算性能,無虛擬化損耗,具備良好的性能優勢,用戶可通過管理控制臺實現裸金屬服務器的自動化發放,滿足組裝/拼接業務對大內存節點的需求。
此外,GCS(基因容器服務)提供一鍵式生信分析平臺,支持多資源混合調度、簡單易用、精細化控制資源利用率。云容器引擎(CCE)和云容器實例(CCI)支持多種資源(計算、存儲和第三方軟件)混合調度,幫助業務全流程容器化改造,同時可精細化控制資源利用率和一鍵重現歷史分析流程
GCS還提供私有云版本,線下實現全部線上功能,線上線下功能和環境一致,用戶使用習慣一致;天然打通線上線下形成容器混合云,容器鏡像自動同步,資源、應用統一管理運維;單集群超大規模,滿足客戶超大規模數據中心訴求;獨立解耦,不綁定底層基礎設施,廣泛支持各類虛擬化方案:VMware、OpenS tack、FusionSphere等;支持獨立的租戶系統,并可與客戶租戶系統對接;3種容器網絡方案:Overlay L2,Underlay OVS,Underlay IPVLan,同時兼容Calico,全面覆蓋各類容器網絡場景;全面的運維體系,監控、日志持久化存儲,告警對接用戶告警系統(SMTP、SMS),7乘24小時專業運維支持。
在數據交付階段,華為云基因測序解決方案提供快速交付高速通道,簡化操作,安全可靠。華為云提供云硬盤(EVS)、彈性文件服務(SFS)和對象存儲服務(OBS)等多種類型的云存儲服務,通過多級可靠性架構,保障數據持久性高達99.9999999999%(12個9),業務連續性高達99.995%,其中對象存儲提供標準、低頻和歸檔類型,存儲成本最低可達0.033元/GB/月。
持續賦能行業
如上所述,華為云基因測序解決方案提供了標準架構與持續創新,提供標準的高性能計算架構,滿足本地機房與公有云無縫對接的需求,同時推出一鍵式生信分析平臺幫助快速部署生信流程,提升測序分析效率和降低綜合成本
不斷賦能生信企業拓展高附加值業務。其中大數據能力,通過計算存儲分離、內存及分布式緩存、智能調度,大數據性能提升40%,成本降低50%;人工智能能力,通過作業群組管理、拓撲感知的親和性調度,GPU線性加速比提升35%,降低人工智能50%訓練時間;鯤鵬算力,整型計算+多核契合測序分析,Minimap2軟件在鯤鵬920下性價比領先同代x86處理器20%。
正是這樣的實力,華為云不斷賦能行業。例如武漢希望組&未來組聯手華為,提升基因測序效率。武漢未來組采用Kunlun超大內存裸金屬服務器,承載重樓百合150G基因組裝;打通線下數據生產平臺與云端高性能計算平臺之間的網絡鏈路,使得線下產生的數據可以快速上傳到云端,從而進行后續的分析。數據達到云端后,根據項目需求,在控制臺申請足夠規模的彈性云計算資源,快速完成項目。
在醫療健康行業升級的大背景下,基因測序需要融合更多的技術手段來達到更高的精準度和科學性,華為云基因測序解決方案釋放云+AI+5G的強大動能,幫助生信企業降本增效,實現行業的智能化升級。
特別提醒:本網內容轉載自其他媒體,目的在于傳遞更多信息,并不代表本網贊同其觀點。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,并請自行核實相關內容。本站不承擔此類作品侵權行為的直接責任及連帶責任。如若本網有任何內容侵犯您的權益,請及時聯系我們,本站將會在24小時內處理完畢。