2023/10/09

Apple MacBook 及iMac AI 運算(機器學習)需求規格建議

  最近個人一直在學習及探索AI的應用,也一直想將一堆Open Source 的AI model 落地執竹,但又不想要買桌機插上一張到多張NVidia GPU。上網找資料及評估的結果是,Apple Silicon M2 系列的MacBook 或 iMac 是非常合適的選擇。許多model 打包好可以本地執行的多半支援Apple Silicon M2 晶片。

      問題來了,要買什麼樣的配置規格呢?自己總結了一下,分兩個建議如下:

  • RAM : 24 GB以上,SSD : 1TB 以上
    • 這是給MacBook Air 或 Mac mini / MacBook Pro 最低的建議
    • 7B, 13B 的LLM都可以執行
  • RAM : 64 GB以上,SSD  :  1TB 以上
    • MacBook Pro 取建議這個配置起跳,推上96GB 頂規 13.4萬台幣
    • 7B, 13B 的LLM都可以執行,也比較不吃力
    • Stable Diffusion 可以出圖比較快
  • Mac Studio : RAM 128 GB以上, SSD 2 TB
    • 7B, 13B, 30B, 65B 的LLM都可以執行
    • RAM 192 GB 就可以任何模型都落地,頂規 20.8萬
    • Stable Diffusion 可以快速出圖,也可以同時多出幾張圖
    大家可以試算一下,一張 nVidia RTX 4090 也只有24GB 的RAM。一次給它買三張串接,RAM 也只有 72GB。Windows 主機+三張 RTX 4090也差不多是一台 Mac Studio 192GB RAM 的價錢了,但是耗電量及產生的電費帳單真的會夠你受的。

    至於SSD 空間為何 1T 起跳?因為,不管是LLM或Stable Diffusion 相關的model 每個都是3GB 以上,自己的MacBook Air M2 512GB SSD 空間目前雖然夠用,但長期下去也是很緊。

   如果,你仍堅持使用Windows 筆電,以下微星筆電競筆電可以參考,至於重量及攜帶性就真的無法另人接受了。

MSI微星 Titan GT77 12UHS-012TW
i9-12900HX ∥ 64G ∥ RTX3080 Ti ∥ 8T SSD

     這款筆電配的 RTX 3080Ti 是 16GB,也是可以做中小型LLM運算。

    所以,個人觀點仍是建議,如果有移動需求,直接MacBook Pro 到頂。因為,CPU 和 GPU 共用記憶體。沒有的話,M2 Mac Studio Ultra 192GB配置,這一台可抵8張 RTX 4090,C/P 值破表。不信的話你可以參考以下YouTube。



《M2 Ultra:干翻英伟达!决战AI之巅》


我目前使用的是一台MacBook Air M2 13吋輕薄筆電,這台筆電具備了16GB的RAM和512GB的SSD儲存空間。令人驚訝的是,即使在不插電的情況下,它也能流暢地執行llama 7B和13B這種大型機器學習模型。相較之下,大多數配置了nVidia顯卡的Windows筆電在沒有插電的情況下,往往無法達到這樣的性能表現。

然而,我有一點後悔,那就是當初購買時沒有選擇將RAM加滿到24GB。網上有很多文章和評測都說MacBook Air的16GB RAM已經“非常足夠”,但隨著AI和機器學習日益普及,我認為在Mac上的RAM是“有多少就加多少,多多益善”的。特別是在進行大規模數據處理或模型訓練時,更多的RAM絕對會有所幫助。

不過,我還是要提醒大家,儘管MacBook Air能勉強運行一些較大的模型,但因為它沒有內建風扇,所以在進行高度運算負荷的生成式AI計算時,可能會遇到散熱問題。當溫度達到一定程度,系統會自動降低CPU和GPU的頻率,以避免因過熱而導致硬件損壞或系統當機。因此,如果您是專門從事AI或機器學習的工作,我會更推薦您購買配有風扇的MacBook Pro。

如果您不打算使用筆電,那麼Mac Studio M2會是一個更好的選擇。對於影音創作者來說,其效能已經非常出色,甚至可以說是“過剩”。但對於AI學習和模型微調,它仍然有一些局限性。我個人非常期待下一代的Apple Silicon M3處理器,尤其是如果它能支持192GB或更多的RAM,那麼將會是功耗和性價比非常高的選擇。

最後,我最近去了Studio A體驗了一下不同的Mac機型。令我印象深刻的是,除了硬件規格和價格外,標價牌上還會特別加上一句“機器學習”字樣。這顯然表明,Apple自己也非常清楚,他們的產品不僅僅適用於影音創作,同時也非常適合機器學習和AI開發。