DeepSeek 推理型AI盡顯高效訓練的小模型之威

    2025-02-12 09:56 來源:美通社 作者:電源網

    ——IBM 院士 Kush Varshney 看來,全球AI競賽中的地緣政治差異,可能沒有人們想象的那么重要,他說:"一旦模型開源,它源自何處在很多方面就不再重要了。"

    作者:Aili McConnon,IBM

    2025127 日發表與IBM官網Think頻道,點擊閱讀英文原文

    北京2025年2月10日 /美通社/ -- DeepSeek-R1 是中國初創公司 DeepSeek 推出的人工智能模型,不久前,在人工智能開源平臺 Hugging Face 上發布數小時,便躍居下載量和活躍度最高模型的榜首;同時因其促使投資者重新考慮英偉達(NVIDIA)等芯片制造商的估值,以及AI巨頭為擴大其AI業務規模而進行的巨額投資,從而給金融市場也帶來了震蕩

    DeepSeek 推理型AI盡顯高效訓練的小模型之威
    DeepSeek 推理型AI盡顯高效訓練的小模型之威

    為何掀起如此大的波瀾?DeepSeek-R1 是一款所謂 "推理模型 "的數字助理,在某些數學和編碼任務的人工智能基準測試中,它的表現與 OpenAI 的 o1 不相上下;而據該公司稱,訓練該系統所使用的芯片數量卻要少得多,使用成本低約 96%

    IBM AI 硬件部門的一位首席研究科學家兼經理 Kaoutar El Maghraoui 說:"DeepSeek 無疑正在重塑人工智能的格局,它以開源的雄心和最先進的創新技術向巨頭們發起挑戰。"

    與此同時,TikTok 母公司、中國科技巨頭字節跳動最近發布了自己的推理型代理(智能體)UI-TARS,并聲稱該智能體在某些基準測試中優于 OpenAI 的 GPT-4o、Anthropic 的 Claude 和谷歌的 Gemini。字節跳動的智能體可以讀取圖形界面,進行推理,并采取自主和一步接一步的行動。

    從初創公司到成熟巨頭,中國的人工智能公司似乎正在縮小與美國競爭對手的差距,這在很大程度上要歸功于它們愿意開源或與其他企業和軟件開發商共享底層軟件代碼。IBM花崗巖(Granite)模型高級技術產品經理Abraham Daniels說:"DeepSeek已經能夠在整個社區推廣一些相當強大的模型。DeepSeek真的有可能加速人工智能的民主化。"DeepSeek-R1在 Hugging Face 上提供,根據MIT 許可證,允許不受限制地用于商業用途。

    去年夏天,中國公司快手Kuaishou)發布了一款視頻生成工具,它與 OpenAI 的索拉(Sora)類似,但公眾可以直接使用。Sora 于去年 2 月亮相,但直到 12 月才正式發布,即便如此,也只有訂閱了 ChatGPT Pro 的用戶才能使用其全部功能。Hugging Face 上的開發者還搶購了中國科技巨頭騰訊和阿里巴巴的新開源模式。雖然 Meta 已將其 Llama 模型開源,但 OpenAI 和谷歌在模型開發方面都主要采用閉源方式。

    除了開源帶來的好處外,DeepSeek 工程師在訓練系統時使用的英偉達(NVIDIA)高度專業化芯片也僅為美國競爭對手的一小部分。例如,DeepSeek 工程師在發布 DeepSeek-V3 模型時發表的研究論文稱,他們只需要 2000 個 GPU(圖形處理單元)或芯片就能訓練出他們的模型。

    推理模型

    IBM 院士(IBM Fellow Kush Varshney說:"真正令人印象深刻的是DeepSeek模型的推理能力。"推理模型本質上是自我驗證或檢查,代表了一種 "元認知"或 "關于思考的思考"。 "我們正開始將智慧融入到這些模型中,這是巨大的進步," Varshney 說。

    去年 9 月,當 OpenAI 預覽其 o1 推理模型時,推理模型成為熱門話題。與以往只給出答案而不解釋推理過程的人工智能模型不同,它通過將復雜問題分成幾個步驟來解決。推理模型可能需要多花幾秒或幾分鐘來回答問題,因為它們會一步一步或以 "思維鏈"的方式來反思自己的分析。

    強化學習

    DeepSeek-R1將思維鏈推理與強化學習相結合,在強化學習中,自主智能體在沒有人類用戶任何指令的情況下,通過反復試錯學會執行任務。強化學習有別于更常用的學習形式,如監督學習無監督學習,前者使用人工標注的數據進行預測或分類,后者旨在從無標注的數據中發現和學習隱藏的模式。

    DeepSeek-R1 質疑了這樣一種假設,即通過對正確或錯誤行為的標記示例進行訓練,或者從隱藏模式中提取信息,模型的推理能力就會得到提高。密歇根州立大學博士生張逸驊撰寫了數十篇機器學習方面的論文,他說:"它的核心假設很簡約,卻不那么簡單:我們能否只通過獎勵信號來教會模型正確回答,從而讓它自己摸索出最優的思考方式"

    張逸驊說,對于他和像他一樣習慣了傳統監督微調的專家而言,"眼見DeepSeek這樣的大型語言模型僅靠強化學習獎勵就能學會‘更好地思考',著實令人驚艷",尤其是看到"模型出現真正的‘aha(頓悟)時刻',它能后退一步,發現錯誤并自我糾正"。

    成本計算

    DeepSeek 引發的熱議部分源于其低廉的價格。根據該公司發布的技術報告,在圣誕節當天發布的 DeepSeek-V3 的訓練成本為 550 萬美元,而對于希望試用它的開發人員來說,價格要便宜得多。 IBM杰出工程師Chris Hay說:"他們在模型成本方面所做的工作,以及他們訓練模型所花費的時間,確實令人印象深刻。"

    然而,IBM研究院Granite技術產品管理總監Kate Soule表示,低廉的價格標簽可能并不是故事的全部。她說,550 萬美元的成本 "只代表了所需計算量的一小部分"。她說,這還不包括公司即使采用開源模型也要保持專有的成本細節,比如 "強化學習、數據消減和超參數搜索的計算成本"。

    無可置疑的是,DeepSeek 通過使用專家混合(MoE)架構實現了更高的成本效益,而這種架構大大降低了訓練所需的資源。MoE 架構將人工智能模型劃分為不同的子網絡(或 "專家"),每個子網絡專門處理輸入數據的一個子集。模型只激活特定任務所需的特定專家,而不是激活整個神經網絡。因此,MoE 架構大大降低了預訓練期間的計算成本,并在推理期間實現了更快的性能。在過去一年中,包括法國領先的人工智能公司 Mistral 和 IBM 在內的全球多家公司著力推廣了MoE 架構,并通過將 MoE 與開源相結合實現了更高的效率。(例如,IBM在2024年Think大會宣布與紅帽一起推出 InstructLab,一個推動大模型開源創新的革命性大模型對齊方法。)

    就 IBM 的一系列開源 Granite 模型(采用 MoE 架構開發)而言,企業能夠以極低的成本實現前沿模型的性能,因為他們可以針對特定應用或用例調整大型預訓練模型,從而有效創建更小的適用模型。將強大的功能集成到更小的稠密模型上,意味著這些模型可用于智能手機和其他在邊緣運行的移動設備,如汽車計算機或工廠車間的智能傳感器。

    這種采用較大模型并將其蒸餾成資源密集度較低的較小模型的過程也為 DeepSeek 的成功做出了貢獻。在發布其標志性的 R1 模型的同時,這家中國初創公司還發布了一系列更小的適合不同用途的模型。有趣的是,他們用實踐證明,與一開始就對小型模型進行強化學習相比,將大型模型蒸餾成小型模型的推理效果更好。

    全球性的人工智能洗牌?

    隨著這些新模型在某些基準測試中與老一代競爭對手相抗衡或超越它們時,它們將如何影響全球人工智能格局?El Maghraoui 說:"全球人工智能格局不只關乎基準測試的原始性能,更關系到是否能以安全和道德的方式對這些模型進行端到端的整合。" 因此,El Maghraoui 表示,現在判斷 DeepSeek-R1 及其他產品是否會 "改變人類互動、技術和企業應用 ",還為時尚早。

    最終,"開發人員的采用率將決定 DeepSeek 模型的受歡迎程度," Daniels說。他表示期待"看到他們為模型發掘出的各種用例"。

    IBM 院士 Kush Varshney 看來,全球AI競賽中的地緣政治差異,可能沒有人們想象的那么重要,他說:"一旦模型開源,它源自何處在很多方面就不再重要了。"

    即刻開始在 IBM watsonx.ai 上使用 DeepSeek——通過本教程,了解如何使用 watsonx.ai 以安全的方式部署 DeepSeek-R1 的精餾變體進行推理。

    關于IBM
    IBM 是全球領先的混合云、人工智能及企業服務提供商,幫助超過 175 個國家和地區的客戶,從其擁有的數據中獲取商業洞察,簡化業務流程,降低成本,并獲得行業競爭優勢。金融服務、電信和醫療健康等關鍵基礎設施領域的超過 4000 家政府和企業實體依靠 IBM 混合云平臺和紅帽 OpenShift 快速、高效、安全地實現數字化轉型。IBM 在人工智能、量子計算、行業云解決方案和企業服務方面的突破性創新為我們的客戶提供了開放和靈活的選擇。對企業誠信、透明治理、社會責任、包容文化和服務精神的長期承諾是 IBM 業務發展的基石。了解更多信息,請訪問:https://www.ibm.com/cn-zh 

    DeepSeek 推理型AI 小模型

    一周熱門

    亚洲天堂在线视频| gogo全球高清大胆亚洲| 亚洲精品乱码久久久久久不卡| 亚洲熟女综合一区二区三区| 亚洲精品不卡视频| 精品无码一区二区三区亚洲桃色| 亚洲av无码国产精品夜色午夜| 国产亚洲精久久久久久无码AV| 亚洲国产a级视频| 亚洲A∨精品一区二区三区| 精品久久亚洲一级α| 亚洲成在人线在线播放无码| 亚洲欧洲专线一区| 亚洲人av高清无码| 亚洲丁香婷婷综合久久| 久久亚洲精品无码网站| 337P日本欧洲亚洲大胆精品| 亚洲成在人线aⅴ免费毛片| 中文字幕在线观看亚洲日韩| 亚洲1234区乱码| 国产精品亚洲自在线播放页码| 91丁香亚洲综合社区| 中国亚洲呦女专区| 亚洲精品无码高潮喷水A片软| 亚洲avav天堂av在线网毛片| 色天使色婷婷在线影院亚洲| 亚洲成年看片在线观看| 亚洲成av人片在线观看天堂无码| 亚洲AV无码专区日韩| 亚洲精品无码你懂的网站| 91麻豆精品国产自产在线观看亚洲| 亚洲偷自拍拍综合网| 亚洲毛片αv无线播放一区| 亚洲大尺度无码无码专区| 亚洲自偷自偷精品| 亚洲成aⅴ人片在线观| 国产亚洲玖玖玖在线观看| 亚洲精华国产精华精华液网站| 精品亚洲福利一区二区| 久久精品国产亚洲AV不卡| 国产亚洲一区二区手机在线观看|