問題來了,要買什麼樣的配置規格呢?自己總結了一下,分兩個建議如下:
- RAM : 24 GB以上,SSD : 1TB 以上
- 這是給MacBook Air 或 Mac mini / MacBook Pro 最低的建議
- 7B, 13B 的LLM都可以執行
- RAM : 64 GB以上,SSD : 1TB 以上
- MacBook Pro 取建議這個配置起跳,推上96GB 頂規 13.4萬台幣
- 7B, 13B 的LLM都可以執行,也比較不吃力
- Stable Diffusion 可以出圖比較快
- Mac Studio : RAM 128 GB以上, SSD 2 TB
- 7B, 13B, 30B, 65B 的LLM都可以執行
- RAM 192 GB 就可以任何模型都落地,頂規 20.8萬
- Stable Diffusion 可以快速出圖,也可以同時多出幾張圖
大家可以試算一下,一張 nVidia RTX 4090 也只有24GB 的RAM。一次給它買三張串接,RAM 也只有 72GB。Windows 主機+三張 RTX 4090也差不多是一台 Mac Studio 192GB RAM 的價錢了,但是耗電量及產生的電費帳單真的會夠你受的。
至於SSD 空間為何 1T 起跳?因為,不管是LLM或Stable Diffusion 相關的model 每個都是3GB 以上,自己的MacBook Air M2 512GB SSD 空間目前雖然夠用,但長期下去也是很緊。
如果,你仍堅持使用Windows 筆電,以下微星筆電競筆電可以參考,至於重量及攜帶性就真的無法另人接受了。
MSI微星 Titan GT77 12UHS-012TW
i9-12900HX ∥ 64G ∥ RTX3080 Ti ∥ 8T SSD
這款筆電配的 RTX 3080Ti 是 16GB,也是可以做中小型LLM運算。
所以,個人觀點仍是建議,如果有移動需求,直接MacBook Pro 到頂。因為,CPU 和 GPU 共用記憶體。沒有的話,M2 Mac Studio Ultra 192GB配置,這一台可抵8張 RTX 4090,C/P 值破表。不信的話你可以參考以下YouTube。
《M2 Ultra:干翻英伟达!决战AI之巅》
我目前使用的是一台MacBook Air M2 13吋輕薄筆電,這台筆電具備了16GB的RAM和512GB的SSD儲存空間。令人驚訝的是,即使在不插電的情況下,它也能流暢地執行llama 7B和13B這種大型機器學習模型。相較之下,大多數配置了nVidia顯卡的Windows筆電在沒有插電的情況下,往往無法達到這樣的性能表現。
然而,我有一點後悔,那就是當初購買時沒有選擇將RAM加滿到24GB。網上有很多文章和評測都說MacBook Air的16GB RAM已經“非常足夠”,但隨著AI和機器學習日益普及,我認為在Mac上的RAM是“有多少就加多少,多多益善”的。特別是在進行大規模數據處理或模型訓練時,更多的RAM絕對會有所幫助。
不過,我還是要提醒大家,儘管MacBook Air能勉強運行一些較大的模型,但因為它沒有內建風扇,所以在進行高度運算負荷的生成式AI計算時,可能會遇到散熱問題。當溫度達到一定程度,系統會自動降低CPU和GPU的頻率,以避免因過熱而導致硬件損壞或系統當機。因此,如果您是專門從事AI或機器學習的工作,我會更推薦您購買配有風扇的MacBook Pro。
如果您不打算使用筆電,那麼Mac Studio M2會是一個更好的選擇。對於影音創作者來說,其效能已經非常出色,甚至可以說是“過剩”。但對於AI學習和模型微調,它仍然有一些局限性。我個人非常期待下一代的Apple Silicon M3處理器,尤其是如果它能支持192GB或更多的RAM,那麼將會是功耗和性價比非常高的選擇。
最後,我最近去了Studio A體驗了一下不同的Mac機型。令我印象深刻的是,除了硬件規格和價格外,標價牌上還會特別加上一句“機器學習”字樣。這顯然表明,Apple自己也非常清楚,他們的產品不僅僅適用於影音創作,同時也非常適合機器學習和AI開發。