網誌
標籤
#self-hosted-llm
標籤為 self-hosted-llm 的 Whatever Works 文章。
AMD Threadripper Halo：當你的資料必須留在本地，前沿 AI 也能在本地跑
AMD 的 Threadripper Halo 把 96 核 CPU 配上最多 576GB 的 HBM3e——第一台能在桌上級機箱裡裝下一萬億級參數模型、不需要數據中心的機器。這篇說明這塊記憶體真正買到了甚麼、要多少錢、又該由誰認真考慮。
閱讀文章 →
GPT-6 Astra 到底多貴？中小企業想省帳單，關鍵不在模型，而在架構
第三方追蹤器把 GPT-6 Astra 的定價報在每百萬 token 約 $10（輸入）/ $50（輸出），上下文窗口約 1M——旗艦級的花費。這篇把各家報價逐一拆開，再用一筆實際的算式說明：真正決定帳單厚薄的，是你的架構，不是模型本身。
閱讀文章 →