奇幻風格，Cheese Cake城堡
柴犬自拍，使用101大樓當背景
天竺鼠載墨鏡，海邊日光浴
Leonardo.ai 每天有150點的免費額度，很夠用了。介面也比較直覺友善。
直接點Launch APP 就可以使用
作品欣賞：AI 生圖結果是沒有版權
2023/10/15
Midjournery 訂閱使用心得及與Leonardo.ai的比較
最近一個月訂閱了Midjourney ，使用它玩了AI生成圖片。確實有些樂趣在裡面。也去免費使用 Leonardo.ai 試玩了一陣子，兩個AI 生成式出圖工具各有優缺，要先學習給出提示詞(prompt)，就可以讓一些沒有繪圖能力的小白，憑著想像力及提示詞還有網路上一些已經訓練好分享出來的AI模型，自由自在發揮。
Midjourney 個人覺得要先學會使用Discord及下指令。自己以前也沒用過Discord ，為了使用Midjourney才下載及申請帳號使用。Midjourney現在已經沒有免費使用，最低每月訂閱也要10美金左右。功能強大，較不適合初學者。
2023/10/09
Apple MacBook 及iMac AI 運算(機器學習)需求規格建議
最近個人一直在學習及探索AI的應用，也一直想將一堆Open Source 的AI model 落地執竹，但又不想要買桌機插上一張到多張NVidia GPU。上網找資料及評估的結果是，Apple Silicon M2 系列的MacBook 或 iMac 是非常合適的選擇。許多model 打包好可以本地執行的多半支援Apple Silicon M2 晶片。
問題來了，要買什麼樣的配置規格呢？自己總結了一下，分兩個建議如下：
- RAM : 24 GB以上，SSD ： 1TB 以上
- 這是給MacBook Air 或 Mac mini / MacBook Pro 最低的建議
- 7B, 13B 的LLM都可以執行
- RAM : 64 GB以上，SSD : 1TB 以上
- MacBook Pro 取建議這個配置起跳，推上96GB 頂規 13.4萬台幣
- 7B, 13B 的LLM都可以執行，也比較不吃力
- Stable Diffusion 可以出圖比較快
- Mac Studio : RAM 128 GB以上， SSD 2 TB
- 7B, 13B, 30B, 65B 的LLM都可以執行
- RAM 192 GB 就可以任何模型都落地，頂規 20.8萬
- Stable Diffusion 可以快速出圖，也可以同時多出幾張圖
大家可以試算一下，一張 nVidia RTX 4090 也只有24GB 的RAM。一次給它買三張串接，RAM 也只有 72GB。Windows 主機＋三張 RTX 4090也差不多是一台 Mac Studio 192GB RAM 的價錢了，但是耗電量及產生的電費帳單真的會夠你受的。
至於SSD 空間為何 1T 起跳？因為，不管是LLM或Stable Diffusion 相關的model 每個都是3GB 以上，自己的MacBook Air M2 512GB SSD 空間目前雖然夠用，但長期下去也是很緊。
如果，你仍堅持使用Windows 筆電，以下微星筆電競筆電可以參考，至於重量及攜帶性就真的無法另人接受了。
MSI微星 Titan GT77 12UHS-012TW
i9-12900HX ∥ 64G ∥ RTX3080 Ti ∥ 8T SSD
這款筆電配的 RTX 3080Ti 是 16GB，也是可以做中小型LLM運算。
所以，個人觀點仍是建議，如果有移動需求，直接MacBook Pro 到頂。因為，CPU 和 GPU 共用記憶體。沒有的話，M2 Mac Studio Ultra 192GB配置，這一台可抵8張 RTX 4090，C/P 值破表。不信的話你可以參考以下YouTube。
《M2 Ultra：干翻英伟达！决战AI之巅》
我目前使用的是一台MacBook Air M2 13吋輕薄筆電，這台筆電具備了16GB的RAM和512GB的SSD儲存空間。令人驚訝的是，即使在不插電的情況下，它也能流暢地執行llama 7B和13B這種大型機器學習模型。相較之下，大多數配置了nVidia顯卡的Windows筆電在沒有插電的情況下，往往無法達到這樣的性能表現。
然而，我有一點後悔，那就是當初購買時沒有選擇將RAM加滿到24GB。網上有很多文章和評測都說MacBook Air的16GB RAM已經“非常足夠”，但隨著AI和機器學習日益普及，我認為在Mac上的RAM是“有多少就加多少，多多益善”的。特別是在進行大規模數據處理或模型訓練時，更多的RAM絕對會有所幫助。
不過，我還是要提醒大家，儘管MacBook Air能勉強運行一些較大的模型，但因為它沒有內建風扇，所以在進行高度運算負荷的生成式AI計算時，可能會遇到散熱問題。當溫度達到一定程度，系統會自動降低CPU和GPU的頻率，以避免因過熱而導致硬件損壞或系統當機。因此，如果您是專門從事AI或機器學習的工作，我會更推薦您購買配有風扇的MacBook Pro。
如果您不打算使用筆電，那麼Mac Studio M2會是一個更好的選擇。對於影音創作者來說，其效能已經非常出色，甚至可以說是“過剩”。但對於AI學習和模型微調，它仍然有一些局限性。我個人非常期待下一代的Apple Silicon M3處理器，尤其是如果它能支持192GB或更多的RAM，那麼將會是功耗和性價比非常高的選擇。
最後，我最近去了Studio A體驗了一下不同的Mac機型。令我印象深刻的是，除了硬件規格和價格外，標價牌上還會特別加上一句“機器學習”字樣。這顯然表明，Apple自己也非常清楚，他們的產品不僅僅適用於影音創作，同時也非常適合機器學習和AI開發。
2023/10/04
Bard 新功能圖片及語音辨識都很棒!
Bard 一直是我拿來和OpenAI ChatGPT 比較的大型語言模型應用。現在它也能辨識圖片，不再只能用文字對話。所以，第一個測試，先來一個Midjourney 生成的天竺鼠圖片。它能正確辨試出來，也知道它戴著太陽眼鏡，坐在沙灘上，體色是棕色。也長的很可愛，背景有山，還有藍色的海水。不錯哦！
接下來，測試輸入文字框中右邊的麥克風，它用來做語音輸入。按下後，說了句"告訴我這圖片中有什麼動物"，也是能正確辨識出。
再測一句： "告訴我明天颱風到底會不會來"。也是完全正確，速度也很快！
除了語音辨識沒問題外，它把我問的颱風會不會來的問題，也善用Google 搜尋引擎的優勢，把“2023/10/04" 小犬颱風對台灣的影響新聞資料整理出來，真的是很強！完全不讓 Bing 專美於前，人家可是Google 呢！論搜尋能力，Bing 還是得尊敬一點才是。
2023/10/03
LM Studio 在MacBook Air M2 上執行 LLama 大語言模型
一般人在現階段想要不在雲端服務下使用大語言AI模型，第一個想到的就是買台PC或筆電，上面裝有nVidia 顯示卡，記憶體還不能太小。現在可以在MacBook Air M2上執行，且不用裝一堆Python 相關套件。
7B model 跑起來就比較順，可是這model 用中文問，只會用英文回答。看來是載錯了，改用 chinese 7B 關鍵字找到中文相關模型。
改動 Context Length 會自動重新載入模型。接下來，就可以好好對話了！
你只要下載 LM Studio。它有 Windows 和Mac 版本。為了測試我的MacBook Air M2 (16GB RAM) 上是否可以善用GPU，當然是載MacOS 版。 官網： https://lmstudio.ai
下載安裝成功後，啟動畫面：
一開始沒有 AI model ，請先輸入 taiwan llama 來找出台大博士生有特地用中文資料訓練過的，你可以找 13B 的 Taiwan-LLaMa-13b-1.0.Q4_K_M.gguf , 請準備 10 GB 以上硬碟空間，因為光是模型就快 8GB。如果怕跑不動，或跑很慢可以找 7B 這種較小的。
載完就可載入模型，然後開始問它問題，這時你會發現 CPU, GPU 都處於高負載的狀態。在MacBook Air M2 上問問題的 速度還可以接受，比ChatGPT回應再慢一點點。主要是確定可以善用 GPU，也確實跑得動。
但是，問題來了！這只能做簡單的測試及練習。要當Server 運用這個模型是有點力不從心，跑沒幾句對話，就發現筆電底部份發熱了，這台我都用了快十個月了，還沒遇到過。
所以，很認份的再去下載一個7B的 model 。看來13B的模式要用MacBook Pro 64GB 以上的機種來跑。
執行前，先到右邊去將 Context Length 加大成2倍以上，不然對話沒幾句就出現錯誤了。如下畫面：紅字部份
有時還會亂亂答。看來想要落地，還選llama 2 13B的模型比較OK。差的就只是硬體的算力了，不！應該是鈔能力！
才使用 LM Studio 試用 llama 2 7B 模型沒幾天，台灣中研院就釋出以此為基礎的 CKIP-Llama-2-7b-chat model ，這是針對繁體中文再優化，可以參考以下網址：
https://huggingface.co/ckiplab/CKIP-Llama-2-7b-chat
如果不喜歡 LM Studio 可以建議試試 Text Generation WebUI 。
2023/10/02
ChatGPT 和Bard 推理能力比較-買菜篇
針對ChatGPT 3.5, GPT-4 和 Bard 比較一些推理計算能力，題目如下：
小明去幫媽媽買菜，媽媽給他150元, 他買了 30 元的蘿蔔，25元的䓤，又買75元的雞腿，賣雞肉的老板送了價值5元的一支雞腳。請問他花了多少錢？
GPT3.5 回：
小明去幫媽媽買菜，他總共收到150元，然後花了以下的費用：
蘿蔔：30元
䓤：25元
雞腿：75元
賣雞肉的老板送了一支價值5元的雞腳。
總花費 = 30元 + 25元 + 75元 - 5元 = 125元。
所以，小明花了125元。
GPT-4 回答：
小明購買的物品分別是：
30元的蘿蔔
25元的蔥
75元的雞腿
他一共花了
30+25+75=130
30+25+75=130 元。
雖然賣雞肉的老板送了價值5元的一支雞腳，但這不影響小明實際花費的金額，所以他一共花了 130 元。
Bard 回答：
小明買蘿蔔花了30元，買䓤花了25元，買雞腿花了75元，總共花了30+25+75=130元。
賣雞肉的老闆送了一支價值5元的雞腳，因此小明實際花了130-5=125元。
答案是125元。
解析：
小明買蘿蔔、䓤、雞腿的總價為130元。
賣雞肉的老闆送了一支價值5元的雞腳，因此小明實際花了130-5=125元。
因此，小明花了125元。
看來 GPT3.5/Bard 都回答錯誤，GPT-4 是正確，也主動說明5元送的雞腳不算錢。
訂閱：
文章 (Atom)