AI芯片歷經(jīng)了一年多的熱潮，現(xiàn)在市場(chǎng)對(duì)于AI模型和芯片算力之間的關(guān)聯(lián)有更多的理解，，有兩個(gè)新市場(chǎng)被視為是云端生成式AI的關(guān)鍵瓶頸，近期正吸引更多廠商加速開(kāi)發(fā)新產(chǎn)品并推進(jìn)到市場(chǎng)，其一是HBM，其二則是高速傳輸技術(shù)。

       這兩項(xiàng)技術(shù)被視為是讓AI芯片及云端運(yùn)算系統(tǒng)達(dá)到更高運(yùn)作效率的關(guān)鍵，值得注意的是即將開(kāi)展的2024年國(guó)際半導(dǎo)體展（SEMICON 2024）各類(lèi)論壇的講者當(dāng)中，不像往年都是NVIDIA、AMD等運(yùn)算芯片大廠掛帥，2024年探討的話(huà)題更多圍繞在存儲(chǔ)器和高速傳輸技術(shù)上，可以看出業(yè)界關(guān)注的焦點(diǎn)愈來(lái)愈多元化。

      HBM的重要性對(duì)于云端AI的討論來(lái)說(shuō)不算陌生，多數(shù)人都知道大型語(yǔ)言模型的AI運(yùn)算，最缺的其實(shí)不是算力，而是存儲(chǔ)器的容量。

      存儲(chǔ)器不足，GPU或AI加速芯片的算力再?gòu)?qiáng)，也沒(méi)辦法在模型訓(xùn)練的過(guò)程中發(fā)揮出最強(qiáng)效能。

      三星電子、SK海力士和美光都急忙調(diào)配產(chǎn)能，加速量產(chǎn)HBM來(lái)滿(mǎn)足市場(chǎng)需求，可是存儲(chǔ)器并不是唯一提升算力效率的關(guān)鍵技術(shù)，各種高速傳輸介面的升級(jí)，最近也掀起討論與重視。