在大模型繼續(xù)上新的這個(gè)年底，12月18日，字節(jié)跳動(dòng)火山引擎的豆包系列大模型也迎來(lái)了再次更新，一口氣上新了15款大模型產(chǎn)品。

這其中，尤以豆包視覺理解模型最為亮眼，不僅擁有內(nèi)容識(shí)別、理解推理、視覺描述等能力，還將價(jià)格再次打到了每千tokens 0.003元。

視覺大模型由此也或?qū)⒂瓉?lái)又一次大范圍的普及應(yīng)用。

就接下來(lái)的大模型產(chǎn)業(yè)落地來(lái)看，模型推理正在被提升到一個(gè)新高度，這對(duì)異構(gòu)算力提出了更高要求。

在豆包系列大模型冬季發(fā)布會(huì)上，火山引擎聯(lián)合英特爾展示了雙方的合作成果，我們看到了基于AI PC的“扣子”，看到了企業(yè)級(jí)的AI方案。

我們也看到了，火山引擎聯(lián)合英特爾對(duì)外發(fā)布了基于英特爾至強(qiáng)6性能核處理器的火山引擎第四代通用計(jì)算型實(shí)例g4il。

在英特爾至強(qiáng)6性能核處理器加持下，火山引擎的g4il云實(shí)例，也將再次降低大模型的應(yīng)用門檻，為AI時(shí)代下的云服務(wù)提供了一個(gè)新選擇。

01 火山引擎g4il實(shí)例，要降低大模型使用門檻

中國(guó)信通院《2024全球數(shù)字經(jīng)濟(jì)白皮書》統(tǒng)計(jì)數(shù)據(jù)顯示，截至今年一季度，全球人工智能核心企業(yè)約有3萬(wàn)家，全球AI獨(dú)角獸達(dá)到了234家，其中，中國(guó)則涌現(xiàn)出了71家AI獨(dú)角獸企業(yè)。

就大模型而言，全球人工智能大模型數(shù)量為1328個(gè)，中國(guó)占比高達(dá)36%。

作為國(guó)內(nèi)大模型領(lǐng)域的核心玩家，字節(jié)跳動(dòng)先是在2023年8月上線了云雀大模型，后又在2024年5月正式推出了多模態(tài)大模型豆包，而如今的豆包已經(jīng)成了日均調(diào)用量高達(dá)4萬(wàn)億次的主流模型。

大模型的發(fā)展，進(jìn)一步催生了對(duì)算力的高需求，尤其是在當(dāng)下大模型進(jìn)入產(chǎn)業(yè)落地階段時(shí)，對(duì)于高性能異構(gòu)算力也提出了更高的需求。

英特爾公司市場(chǎng)營(yíng)銷集團(tuán)副總裁、中國(guó)區(qū)云與行業(yè)解決方案和數(shù)據(jù)中心銷售部總經(jīng)理梁雅莉指出，“英特爾至強(qiáng)6處理器正是為了適配數(shù)據(jù)中心異構(gòu)多元算力需求而生。”

在大模型進(jìn)入到應(yīng)用落地階段后，越來(lái)越多企業(yè)有了嘗鮮大模型的想法和需求，為了滿足這樣的大模型測(cè)試、預(yù)研和輕量級(jí)大模型應(yīng)用開發(fā)需求，火山引擎的g4il實(shí)例應(yīng)運(yùn)而生。

g4il實(shí)際上已經(jīng)是火山引擎第四代通用計(jì)算型實(shí)例。

據(jù)火山引擎計(jì)算產(chǎn)品負(fù)責(zé)人王睿介紹，“g4il搭載了最新的英特爾至強(qiáng)6性能核處理器和火山引擎自研的DPU，實(shí)現(xiàn)了計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)性能的全面升級(jí)，相比上一代產(chǎn)品，g4il在視頻轉(zhuǎn)碼、Web應(yīng)用、和數(shù)據(jù)庫(kù)應(yīng)用方面分別實(shí)現(xiàn)了17%、19%和20%的性能提升。”

此外，g4il還在以下幾個(gè)方面得到了進(jìn)一步提升：

首先，得益于英特爾至強(qiáng)6性能核處理器在CPU核數(shù)上的突破，g4il的單機(jī)CPU核密度相比上一代產(chǎn)品有了翻倍的提升，在算力的性價(jià)比上也有了很大的提升;

其次，通過采用火山引擎雙單路創(chuàng)新服務(wù)器架構(gòu)，g4il再次降低了整體的爆炸半徑，有力地保障了產(chǎn)品穩(wěn)定性;

第三，通過新增大包傳輸能力(Jumbo Frame)、機(jī)密計(jì)算能力(TDX)，以及支撐最新云盤吞吐類型SSD，火山引擎進(jìn)一步豐富了g4il實(shí)例的功能。

王睿指出，“英特爾在英特爾至強(qiáng)6性能核處理器上引入了MRDIMM技術(shù)，并新增支持AMX FP16指令集，更大的內(nèi)存帶寬和更強(qiáng)的矩陣運(yùn)算能力，為AI推理加速提供了更優(yōu)的底層基礎(chǔ)環(huán)境。”

火山引擎的實(shí)測(cè)數(shù)據(jù)顯示，相較于英特爾EMR CPU+DDR5內(nèi)存，基于英特爾至強(qiáng)6性能核的g4il吞吐性能最高提升了80%，相較于單卡的A10和L20 GPU也有不小的優(yōu)勢(shì)。

在火山引擎FORCE原動(dòng)力大會(huì)現(xiàn)場(chǎng)，我們?cè)谟⑻貭栒箙^(qū)也看到了基于g4il實(shí)例的文生文的大模型演示，在現(xiàn)場(chǎng)演示過程中，當(dāng)向PC上的大模型提問“什么是AMX時(shí)”，它可以在用戶界面流暢地生成對(duì)應(yīng)的答案。

據(jù)現(xiàn)場(chǎng)工作人員介紹，“這其實(shí)是在g4il實(shí)例上基于16個(gè)虛擬CPU核做7B模型的推理效果，這樣的配置已經(jīng)基本可以滿足用戶量較小、請(qǐng)求并發(fā)度較低的使用場(chǎng)景。”

在大模型成為全球焦點(diǎn)時(shí)，GPU開始被視為大模型的標(biāo)配產(chǎn)品，實(shí)際上，作為通用算力的CPU依然可以滿足不少大模型使用場(chǎng)景的需求。

據(jù)現(xiàn)場(chǎng)工作人員介紹，“基于g4il實(shí)例，企業(yè)用戶只需要16個(gè)虛擬CPU核就可以做7B左右模型的推理驗(yàn)證工作，而當(dāng)企業(yè)最終將這樣的產(chǎn)品轉(zhuǎn)化為真實(shí)落地產(chǎn)品時(shí)，可以再基于這一模型最終的用戶數(shù)、并發(fā)量選配更高配的硬件規(guī)格，由此就可以降低用戶使用門檻。”

對(duì)于一個(gè)百人規(guī)模的中小型公司，當(dāng)需要在公司內(nèi)部自研一個(gè)知識(shí)庫(kù)問答系統(tǒng)時(shí)，甚至完全可以基于CPU、在g4il實(shí)例上來(lái)實(shí)現(xiàn)，這也將極大降低企業(yè)的大模型使用門檻。

而在生成式AI成為云時(shí)代標(biāo)配，越來(lái)越多企業(yè)結(jié)合內(nèi)部數(shù)據(jù)嘗試使用大模型時(shí)，數(shù)據(jù)安全性也變得越來(lái)越重要。

對(duì)此，作為算力供應(yīng)商的英特爾和火山引擎也深有體會(huì)。

02 如何消除大模型的數(shù)據(jù)安全隱憂?

2024年6月，在今年的WWDC2024上，蘋果終于發(fā)布了他們的Apple Intelligence，高度重視隱私安全的蘋果在WWDC2024上多次強(qiáng)調(diào)了用戶隱私安全的重要性，并采用端云結(jié)合模式打造了Apple Intelligence。

數(shù)據(jù)安全問題并非只是大模型遇到的問題，相應(yīng)的隱私計(jì)算技術(shù)也已經(jīng)在近些年逐漸成熟。

如今成熟的隱私計(jì)算技術(shù)大致可以分為兩個(gè)流派：

第一個(gè)流派是基于密碼學(xué)的同態(tài)加密、多方安全計(jì)算、差分隱私、零知識(shí)證明等技術(shù)，這些技術(shù)完全依賴密碼學(xué)方式實(shí)現(xiàn)數(shù)據(jù)可用不可見的保護(hù)。

不過，基于密碼學(xué)的技術(shù)如今存在一個(gè)普遍問題，那就是會(huì)為企業(yè)帶來(lái)較高的計(jì)算和通訊開銷。

第二個(gè)流派是基于硬件、芯片構(gòu)建數(shù)據(jù)安全處理的可信執(zhí)行環(huán)境，此類技術(shù)又被稱為機(jī)密計(jì)算。

據(jù)英特爾技術(shù)專家介紹，“機(jī)密計(jì)算得益于更低的損耗、更高的性能，更符合如今云計(jì)算時(shí)代的部署要求，正在成為云計(jì)算中構(gòu)建數(shù)據(jù)可用而不可見的保護(hù)策略的主流技術(shù)方式。”

2019年，Linux基金會(huì)成立了機(jī)密計(jì)算聯(lián)盟，該聯(lián)盟的目標(biāo)旨在定義機(jī)密計(jì)算標(biāo)準(zhǔn)，支持和推廣開源機(jī)密計(jì)算工具和框架的開發(fā)，聯(lián)盟創(chuàng)始成員包括英特爾、AMD、Arm、谷歌、紅帽、阿里、華為、騰訊等來(lái)自全球的科技公司。

面對(duì)當(dāng)下數(shù)據(jù)應(yīng)用環(huán)境，機(jī)密計(jì)算主要致力于解決三大問題：

第一，數(shù)據(jù)機(jī)密性，確保用戶數(shù)據(jù)在處理和使用過程中不外泄;

第二，數(shù)據(jù)完整性，確保待處理數(shù)據(jù)安全可靠、未發(fā)生篡改，確保計(jì)算結(jié)果的安全性和可信性;

第三，代碼完整性，確保用戶數(shù)據(jù)的程序代碼安全可靠，未被植入惡意代碼。

作為機(jī)密計(jì)算的創(chuàng)始成員之一，英特爾在機(jī)密計(jì)算領(lǐng)域一直都在進(jìn)行著技術(shù)研發(fā)，并在將這些技術(shù)應(yīng)用到至強(qiáng)處理器中。

英特爾最早是在第三代英特爾至強(qiáng)可擴(kuò)展處理器中應(yīng)用了SGX技術(shù)，后又在第四代和第五代英特爾至強(qiáng)可擴(kuò)展處理器中應(yīng)用了TDX技術(shù)。

英特爾技術(shù)專家指出，“TDX技術(shù)構(gòu)建的可信執(zhí)行環(huán)境可以承載完整的用戶虛擬化實(shí)例，只要用戶的程序能跑在虛擬化環(huán)境里，都可以直接遷移到機(jī)密計(jì)算解決方案。”

而隨著機(jī)器學(xué)習(xí)、大模型應(yīng)用等高算力場(chǎng)景的不斷涌現(xiàn)，用戶數(shù)據(jù)有了在通用處理器和異構(gòu)加速器之間進(jìn)行協(xié)同計(jì)算的需求，英特爾又進(jìn)一步推出了TDX Connect技術(shù)，這項(xiàng)技術(shù)可以使用戶數(shù)據(jù)在異構(gòu)加速場(chǎng)景中的計(jì)算得到機(jī)密性保護(hù)。

以大模型核心應(yīng)用場(chǎng)景之一RAG為例。

RAG是檢索增強(qiáng)生成模型，本質(zhì)上是基于知識(shí)庫(kù)、數(shù)據(jù)庫(kù)的內(nèi)容檢索，大模型在生成內(nèi)容時(shí)，參照數(shù)據(jù)庫(kù)有針對(duì)性地增強(qiáng)生成結(jié)果，從而提升生成結(jié)果質(zhì)量和準(zhǔn)確性。

在這一應(yīng)用場(chǎng)景中，由于行業(yè)知識(shí)庫(kù)或企業(yè)知識(shí)庫(kù)一定含有企業(yè)敏感信息，例如行業(yè)流程、企業(yè)流程，乃至技術(shù)文檔。

用戶在部署RAG服務(wù)時(shí)，對(duì)其是否會(huì)被竊取會(huì)存有疑慮，基于英特爾TDX構(gòu)建的機(jī)密虛擬化實(shí)例，無(wú)論是RAG應(yīng)用中的信息提取、數(shù)據(jù)庫(kù)應(yīng)用，還是模型生成流程，都可以在不改變應(yīng)用程序中間框架前提下直接訪問機(jī)密虛擬機(jī)，從而實(shí)現(xiàn)在云中隔離和保護(hù)用戶在使用RAG部署過程中的數(shù)據(jù)安全。

實(shí)際上，火山引擎最近就基于英特爾TDX技術(shù)，推出了g3ilt TDX機(jī)密計(jì)算實(shí)例，這一云實(shí)例可以為云上AI場(chǎng)景構(gòu)建端到端的機(jī)密計(jì)算方案。

我們?cè)诖髸?huì)現(xiàn)場(chǎng)，也看到了g3ilt TDX機(jī)密計(jì)算實(shí)例的現(xiàn)場(chǎng)展示。

當(dāng)然，基于英特爾至強(qiáng)6性能核處理器的火山引擎第四代通用計(jì)算型實(shí)例g4il同樣支持TDX機(jī)密虛擬機(jī)，與此同時(shí)，針對(duì)云上AI場(chǎng)景，火山引擎打造了端到端安全解決方案。

王睿在大會(huì)上介紹稱，“基于CPU和GPU硬件機(jī)密計(jì)算能力，火山引擎在固件、內(nèi)核、虛擬化以及操作系統(tǒng)等方面做了深度調(diào)優(yōu)，在機(jī)密計(jì)算云服務(wù)器上，火山引擎提供了機(jī)密容器、密鑰管理、基線管理、遠(yuǎn)程證明和安全RAG等豐富的安全能力和服務(wù)，為AI應(yīng)用當(dāng)中的訓(xùn)練推理，前后端數(shù)據(jù)處理全場(chǎng)景提供安全保障。”