日本一区二区视频免费_中文无码日韩欧_国产成年片_久久国产综合视频_www.久久亚洲_亚洲AV无码专区色爱天堂老鸭

騰訊云織了張AI大模型的“網”


眼下AIGC激蕩著各個行業,隨著產品落地、應用增加,如何提升算力成為了整個行業的迫切需求,不過算力的提升并非只靠購買大量的GPU就能實現,網絡基礎設施起著至關重要的作用。


由于GPU集群之間的數據交換與通信都要依靠網絡承接,如果網絡帶寬不夠大、延時長,不僅會讓算力邊際遞減,而且還增加了大模型訓練的時間成本。因此大帶寬、高利用率并且信息無損的高性能網絡對于當下算力的提升尤為重要。


日前,騰訊云在北京舉辦了一場面向AI大模型的高性能網絡溝通會,向外界首次完整披露了其自研的星脈高性能網絡。



騰訊云副總裁王亞晨提到,星脈網絡為大模型而生,提供大帶寬、高利用率、零丟包率的高性能網絡服務,從而突破算力瓶頸。騰訊數據中心網絡總監李翔在介紹星脈的演進過程時,用了一個通俗的比喻:如今業務和客戶對我們算力網絡有了更高要求,過去前兩個階段我們是“村村通”,解決大規模部署和廣覆蓋的問題,到了第三個階段的星脈網絡,我們要做的是全自動化、無擁塞的高速公路。


溝通會上,騰訊云展示了在交換機、通信協議、通信庫以及運營系統等軟硬件方面的升級,推出了自研的大模型專屬高性能網絡“星脈”。


在硬件方面,在硬件方面,星脈網絡自研白盒交換機,這是一種軟硬件解耦的開放網絡設備,采用四層解耦體系,包括接入、轉發、路由、管控系統。在自研設備的基礎之上,騰訊云還構建了自研網絡操作系統,包括網絡OS與網管平臺,構建了互聯底座,實現自動化部署和配置。


在軟件方面,騰訊云自研的TiTa網絡協議,能夠實時監測并調整網絡擁塞,TiTa網絡協議能夠提升40%的帶寬負載,還能提供低延時無損網絡,實現高負載下的0丟包,使集群通信效率達90%以上。


此外,騰訊云還為星脈網絡設計了高性能集合通信庫TCCL,為星脈網絡提供定制化的高性能節點間數據通信解決方案。結合動態調度機制合理分配通信通道,可以避免因網絡問題導致的訓練中斷等問題,讓通信時延降低40%。


騰訊云方面稱,星脈網絡集成了騰訊自研技術積累,以極致高性能實現了AI大模型通信性能的10倍提升,GPU利用率40%提升,通信時延降低40%,支持10萬級 GPU 集群組網。基于全自研網絡硬件平臺網絡建設成本降低30%,模型訓練成本節省30%~60%。


王亞晨與李翔在會上回應了諸多外界關注的問題。


提問:騰訊高性能網絡的主要優勢在哪里?技術關鍵點集中在哪些地方?


王亞晨:騰訊在以太網上的優化從去年年初就開始了。從國內來看,我們是以太網里針對GPU優化比較有優勢的,為什么我們會和其他廠商做那么多全調度以太網的合作?因為我們做了很多優化,尤其是在協議自研這塊。


另一個優勢在于我們的架構。我們是把存儲跟計算做了分離,保證兩邊的性能更優。


無論是1.6T還是3.2T的GPU,我們可能用了8張GPU,一個CPU,加上8張網卡,但騰訊做了一些優化,8個網卡,一個網卡兩個端口。好處是一旦有一個端口故障,另一個端口能夠快速切上來,流量之間不受任何影響,也涉及到和交換機、和軟件的配合,這種技術是我們的特色。


提問:做大模型對網絡技術的核心要求,解決零丟包、低延時最大的技術困難是哪些呢?


王亞晨:當時我們遇到的最大困難是“擁塞控制”。去年年中,騰訊已經建了2K-4K的GPU集群用于模型訓練,那時候我們用一級,最多兩級交換機就OK了。


但大模型出來后,GPU規模建設需求已經是萬卡規模,這時候整個交換機組網規模必須要到三級了,因為我們交換的芯片容量是主流的25.6T,128個網口,它決定了組網的規模兩級最優是4K,這決定了我們要做更大規模時交換機一定要做三級,便會遇到擁塞控制的問題,到今年年底擴容到51.2T時會好一點。


雖然之前裝了TiTa已經一定程度上解決了擁塞。但到三級之后,因為擁塞不可控,之前的機制不完全能達到很好的效果,所以我們得做新的擁塞控制機制,這也是現在業界講到的主動擁塞控制。


在GPU發包時要先了解網絡的狀況,有點類似于我出門前,先看看是否擁堵,如果擁堵,系統主動告訴我先不做。以前以太網都是被動擁塞控制,擁塞了才調度,但主動擁塞控制機制一定要在網卡發包時和交換機配合。


為什么現在我們要自研新的算力網卡,其實它解決的是在多級組網情況下更好的擁塞控制,這是當時我們面臨的挑戰,也和我們現在的一些能力相關。


另一個是帶寬利用率的提升。現在我們做到95%左右的帶寬利用率,實際上到新的3.2T服務器接入與三級架構時,我們發現這個帶寬利用率會遇到巨大挑戰。帶寬利用率要消除網絡不均勻的問題,之前我們用哈希(Hash)的方式。


現在以太網是基于流調度,流有長有短,類似于路上跑的車有的大馬力有的小馬力,即使哈希到不同路徑,你卻不知道每個流的長短是什么樣,很難完全消除不均勻。


怎么做?現在以太網里有幾個做法,一個是定長包,網卡側發包時是定長的包,等于你看到的車都是標準化大小,這時候我再去哈希到不同路徑,一定是相對均勻。這就是為什么我們要把端側發包時變成定長的包,交換機要支持定長包的處理,同時定長包很容易出現亂序的問題,所以我們還要和端側配合,保證不同的包雖然都是定長的,傳過來可能有快有慢,還要把亂序的問題解決,這也要靠端側解決。


總而言之,擁塞控制與帶寬利用率是我們當下遇到最大的兩個挑戰。


提問:在網絡管理和硬件設計上,我們傾向于采用集中式還是分布式?


李翔:分布和集中都是設計網絡的工具手段,我們會根據的場景需求來選擇。在網絡技術上,集中和分布一直是亙古不變的議題,網絡中SDN2008年提出來到現在二十年了,集中后,下面被管理的網源會比較簡單。集中管理、集中部署,下面的網元會非常簡單,成本比較低。但現在分布式是現在網絡比較認可的生態形式,分布式管理能夠復用我們之前的運營積累,確保運營質量。


王亞晨:滿足可擴展性和運營安全性,這也是很關鍵的考量。騰訊基礎設施最主要的生命線是網絡質量,大系統肯定有大系統的好處,性能肯定更高,一旦出現故障,我們的分布式化可以減小故障率,這是最大的好處。我們把路由器拆成很多小的路由模塊,可以跑到容器里,讓我們整個網絡更可靠。


類似于最早的網絡都是集中化的大盒子設備,無論是交換機、路由器還是運營商的基站、核心網,都是集中化的。但云廠商不一樣,我們基本是全自研,都是一套自研系統,自主控制,不用引入太多異廠家的交互性。所以一定要在自研情況下做分布式更好,如果不是自研能力,靠各種廠家做分布式,本質上來講一個廠家自己分布沒問題,一旦引入另一個廠家混合搞,可能就復雜很多了。


提問:之前說到白盒交換機的問題,可以多介紹一下嗎?



李翔:首先我們為什么要做白盒?剛才提到,交換機從最早的幾臺一直到現在幾十萬臺在網,每年可能有幾萬臺的采購量。面對大量級的需求,我們遇到了一些比較現實的問題。廠商會賣給你非常完善的解決方案,有幾千個共同特性,所以迭代周期很慢。


我們從兩個維度考慮問題,第一個維度從質量考慮,我們希望對軟件做減法。比如90%我是不是可以裁掉,自己用非常少的人維護起來,可以快迭代、快修復,從實際部署來說軟件自主研發之后,顯著提升了質量。


第二就是在硬件角度,我們是“海底撈”模式,商業交換機賣的是滿漢全席,是粵菜,但比較貴,我們只需要一款交換機,做減法。我們直接跟上游芯片商合作可以更快享受技術能力,過程更加透明,供應商利潤也比較合理。


所以我們做白盒有兩個維度,第一個維度在軟件上,更多是質量和迭代效率的考慮,硬件上是從成本上考慮,能夠把它變得更加透明化。


提問:如果將來你們接入其它模型,很多用戶在上面訓練,網絡安全可能就比以前更重要了,以前只有你們自己在用,這方面不知道你們有什么設計或者已經做的事情?


李翔:數據安全的問題在公有云時代是特別重要的。騰訊有七大安全實驗室,都是做網絡安全,我們整個技術網絡有非常完善的虛擬化技術,還有做租戶隔離、存儲隔離,這些都是比較扎實的技術底座,同時內部還會有各種各樣高級別的科學家帶領團隊做各種模擬攻擊,保證不會被攻破。安全問題一直是云客戶最重要的事情。


回到GPU,一方面我們復用了它的能力,比如存儲,直接復用云大盤的能力,對于基座的物理服務器可能更復雜,因為它比較追求性能,云上做隔離。但是容器、虛擬化對GPU服務器有嚴格的性能要求,需要一個物理機,這時候我們就只能把隔離監控全部放到網絡上做。


王亞晨:星脈除了支持騰訊自己的大模型以外,在騰訊云上也支持很多其它客戶的模型做訓練,有些客戶對于性能覺得虛機也OK,我們就以大盤的能力來保證整個網絡的安全。另外剛才說的信息安全,防攻擊那些,都是騰訊云上面比較完善的體系。


提問:針對騰訊之外的廠商,我們主要提供技術支持,還是也提供大模型相關的解決方案?


王亞晨:我們整個技術底座除了騰訊自身以外也在支持騰訊云的算力集群,在騰訊云上也可以給客戶售賣,今天沒有專門講這個解決方案。我們除了提供GPU的IaaS服務以外也會配合上面的訓練框架、加速框架這些PaaS的可選服務,根據團隊訓練的模型和你的需求定制選購。基本上一些大的公司還是選擇以IaaS服務為主,這也是騰訊云以標準產品給到客戶。


主站蜘蛛池模板: 色播在线播放_婷婷成人五月天开心激情_国产一区日韩精品_日本人做爰大片免费网站_青青草手机视频在线观看_色xx综合网_色婷婷综合成人av_国产一级毛片国语一级 | 91超碰刺激偷拍_国内精彩免费自拍视频在线观看网址_欧美内射深插日本少妇_97zyz成人免费视频_麻豆成人在线_欧美日韩精品久久免费_免费看黄色一级视频_91视频麻豆视频 | 免费一级a毛片免费观看欧美大片_久久人妻熟女一区二区_xxxxhd裸体video_久久久久久久国产精品视频_国产村偷农村妇女免费视频_欧美激情黄色片_永久免费一区二区三区_国产日产欧洲无码视频 | av免费在线一区二区三区_一本毛片_av伊人网_丁香五精品蜜臀久久久久99网站_人妻少妇乱子伦精品_91日韩中文字幕_欧美疯狂做受BBBBBB_波多野结衣一区在线观看 | 黄网动漫久久久_人人揉人人捏人人添_午夜男女爽爽爽在线视频_精品久久1_天堂资源av在线_日韩精品1区_波多野无码黑人在线播放_日韩大片高清播放器 | 国产高清精品亚洲一区二区三区_国产12孩岁A片被A午夜_九九精品无码专区免费_免费观看爱爱视频_亚洲日本va中文字幕在线_一级毛片小说_色偷偷av亚洲男人的天堂_欧美在线国产精品 | 无遮挡粉嫩小泬久久久久久久_www.超碰97_色插图午夜影院_深夜视频在线观看免费_国产日本在线观看_欧美xxxx69hd_免费a级黄毛片_国产精品综合AV一区二区 | 久久亚洲色WWW成人不卡_超碰在线观看99_鲁一鲁一鲁一鲁一av卡三_极品无码AV国模在线观看_国产第56页_蜜桃传媒视频麻豆第一区免费观看_51成人看片_欧洲无码一区二区三区在线观看 | 91色中文_日韩中文一区_无码人妻久久一区二区三区免费_日本中文在线视频_av手机在线免费播放_欧美激情国产日韩精品一区18_亚洲一级特黄视频_free性欧美69巨大 | 国产精品久久久久影院嫩草_91免费小视频在线观看_jj视频在线播放_97人摸人人澡人人人超一碰_久久精品无码专区免费_黄色av网址大全_亚洲乱色伦图片区小说_97免费人妻无码视频 | 中文一区一区三区免费在线观看_日本伊人色综合网_最近更新中文字幕在线2018二_黄色片免费在线_色婷婷香蕉在线一区二区_国产女性无套免费网站_边啃奶头边躁高h裴钰莫捷_国产一级淫片s片sss毛片s级 | 视频免费一区二区_久久国产极品_米奇影院7777_成人黄视频在线观看_日本熟妇五十路重生七零甜婚似火_交换国产精品视频一区_亚洲污视频在线观看_久久国产系列 | 最新午夜_国产片av在线永久免费观看_九一在线视频_91精品国产综合久久久久久_免费无遮挡禁18污污网站_全黄一级毛片_999久久久精品国产消防器材_奇米四色777久久爱 | 99国内精品久久久久久久软件_午夜精品久久久久_一级黄色录像视频_国产又黄又爽又色的免费视频_99视频精品全部国产_久久久久久久久久91_羞羞网站入口_亚洲视频在线免费看 | 成人99一区二区激情免费看_中文字幕乱老妇女一视频_久久网站视频_天天摸夜夜添久久精品_日本深夜福利视频_亚洲日本精品一区二区三区_高h视频在线免费观看_88av导航 | 福利片免费在线观看_久久久久久九九九九九九_欧美性xxxx69_亚洲精品aaa_亚州国产精品久久久_亚洲乱码无码永久不卡在线_成人毛毛片_久久精品一区二区免费播放 | 日本乱码一区二区_成人精品视频免费在线观看_在线观看日本亚洲一区_日韩欧美MV在线观看免费_久久久亚洲国产美女国产盗摄_www.日本黄_老少配XX丰满老熟妇_欧美奶涨边摸边做爰视频 | 精品性影院一区二区三区内射_又大又湿又紧又爽a视频_亚洲日本一线产区和二线产区_92在线_穿靴子的猫在线观看_国产在线h_农村妇女野外牲交一级毛片_亚洲欧洲国产综合aⅴ无码 | 国产美女自拍视频_欧美熟妇另类久久久久久多毛_波多野结衣免费一区视频_日韩国产高清在线观看_制服丝袜人妻中文字幕在线_日本成人一二三区_火之迷恋三级无删减视频_69视频污 | 99久久精品国产导航_黄色毛片视频免费观看中文_精品熟女少妇AV免费观看_caoporn超碰91_国产老肥熟_亚洲欧美中文字幕日韩一区二区_国产人妻大战黑人第1集_人妻熟妇AV水蜜桃一区二区三区 | 伊人亚洲视频_完美世界在线观看免费完整_黑人黄色一级片_久久天天躁夜夜躁狠狠ds005_操女人视频网站_51嘿嘿嘿国产精品伦理_高清av免费_多人乱p欧美在线观看 | 国产一级91_日本亚洲视_超碰美女_美女的烦恼_欧美乱子伦_91丨porny丨对白_中文字幕咪咪网_国产资源av | 亚洲精品国产精品国自产观看浪潮_成年人在线观看视频_欧美一级片毛片_国产又黄又猛又粗又爽的A片漫_日韩精品一区av_成人无码h真人在线网站_日本毛茸茸的丰满熟妇_国产精品黑丝 | 99国内精品久久久久久久软件_午夜精品久久久久_一级黄色录像视频_国产又黄又爽又色的免费视频_99视频精品全部国产_久久久久久久久久91_羞羞网站入口_亚洲视频在线免费看 | 亚洲Aⅴ无码专区在线观看春色_免费成人_国内三级在线_综合久久久久久久_妞干网福利视频_日韩高清影视_日本超乳排名100位_成年黄色片 | 久久天天东北熟女毛茸茸_久久久久久免费_久久国产午夜精品理论片最新版本_亚洲无马在线观看_一个人看的免费高清视频www_亚洲精品国产suv一区88_特及毛片_日本成人午夜 | 男人专区_国产精品免费视频一区二区三区_黄页网站大全免费在线观看_亚洲午夜成人片在线_久久久久久久女人_一级爱爱_俺来也俺去啦久久综合网_AV无码免费永久在线观看 | h精品在线_中国少妇毛茸茸高潮_亚洲中字幕女_蜜桃精品免费久久久久影院_在线免费观看av不卡_最新看片_呻吟求饶的办公室人妻_亚洲狠狠入 | 国产精品影音_国产一级做a爰片在线看免费_老头把我添高潮了A片_午夜神器成在线人成在线人_亚洲精品中文字幕日本久久久_天天操天天谢_九色视频人porny_91久久久久久久国产欧美日韩- | 久热这里只有精品12_麻豆国产在线视频_国产日韩欧美精品一区_成年片色大黄全免费网无需安装_久久伊人少妇熟女大香线蕉_在线不卡中文字幕一区_欧美大胆丰满熟妇XXBB_国产精品久久中文 | 亚洲av网站_人人干日日_44444kk在线观看三免费_亚洲啪啪av_专干老熟女视频在线观看_国产孕妇a片全部精品_99热爱久久99热爱九九热爱_三级黄在线观看 亚洲精品久久久蜜桃网尤妮丝_日日日日日_亚洲一区h_国产网站在线免费观看_精品999日本久久久影院_女教师在办公室被强在线播放_在线视频久_夜夜骑天天射 | 久久久久亚洲AV成人网_日本三级成本人网站_成人久18秘免费观看视频_在线观看不卡一区_狠狠色丁香婷婷久久综合蜜芽_天天夜摸夜夜添夜夜无码_国产a免费一级视频_91社区国产在线观看 | 国产91色在线_老司机在线网站_日韩精品无_初高中生免费视频毛片_青青青国产依人免费视频_99pao在线视频国产好吊色_中文字幕av日韩_日日摸夜夜添夜夜添人人老牛 | 久久99精品久久_66亚洲丁香婷婷综合久久_日本精品久久久久中文字幕乱中年_少妇无码AV无码专区_男女啪啪永久免费观看网站_国产精品久久久久野外_欧美国产韩a在线视频_天海翼一区二区三区高清在线 | 日韩成人在线网_精品国产自线午夜福利_午夜免费啪在线观看视频_开心成人激情_ab免费在线观看_美女黄网站18禁免费看胸罩_午夜成年人_大地资源网中文在线观看免费版高清 | 亚洲欧洲久久av_极品美女国产精品免费一区_老司机网站免费_免费视频入口_人妻网站成熟人妻VA网站_福利视频网站_亚洲天堂第一区_男人粗大一进一出视频 | 亚洲第一淫片_色网站免费视频_亚洲欧美aⅴ..._a黄色片网站_少妇被躁爽到高潮无码人狍大战_青青青视频免费_在线看片免费人成视频大全_亚洲人成色7777在线观看不卡 | 一本大道香蕉大在线中文_国产精品久久久久久妇_天天干天天爱天天_18禁美女黄网站色大片在线_98超碰人人_国产丝袜av一区二区三区性色_av毛片无码中文字幕不卡_一区二区三区产品免费精品久久75 | 久涩涩福利视频在线观看_国产福利高清_yw193国产成人精品_久久丝袜视频_欧美成年黄网站色视频_日日摸夜夜添欧美一区_亚洲一区二区免费看_免费永久看黄神器 | 一级毛片在线看_国产精品毛片无码_国产99久久_91精品国产91久久久久久丝袜_国产精品成人一区二区三区_亚洲国产一区二区三区四区四季_99精品人妻无码专区在线视频区_欧美屁股xxxxx | 亚洲精品一页_欧美日韩精品在线一区_蜜桃视频久久_国产色女人_亚洲精品欧美_国产精选91_中文字幕乱偷无码AV先锋蜜桃_www.国产精彩视频 |