AI 發展與養龍蝦

　　AI 在ChatGPT 出現之後明顯迎來暴發式成長，OpenClaw 開源之後 AI Agent 進入成長階段。軟體及硬體同時成長，代表新的時代來臨。第一個直覺是使用量會變大，也就是Token使用量會明顯增加，且是無感之下增加，因為單存的文字聊天及提問，你使用的次數及頻率是有感的。透過AI 代理工具自動進行的行為較無感，直是帳單來了或是你自己到後台查看使用量。

      從投資的角度來看，AI 從 2022年ChatGPT 投出以來，到2026年的 AI代理，多模態模型的發展，造就美國各大巨頭投入機房建置，就算短期股市漲幅太高，但是長期來看AI 的需求及技術發展會比網際網路發展更猛。

生成式 AI（Generative AI）應用所衍生的各項發展方向

　　目前生成式 AI（Generative AI）應用的發展快速，對未來幾年 AI 算力、電力需求與半導體先進製程發展的可能影響，個人提供一個整體的展望。

一、生成式 AI 對算力需求的推動

1. 模型規模持續增長

• 近年來生成式 AI（如 GPT 系列、PaLM、Llama 等）不斷擴張模型參數規模，從過去數億參數成長到數千億、甚至兆級參數。

• 大模型對硬體資源的需求極其龐大，包含 GPU/TPU 等專業加速器、超高頻寬記憶體以及高速網路互連。

• 在研發與推廣過程中，模型不只在訓練時需要大量算力，在推論（Inference）階段，如 ChatGPT 這類應用需要持續提供大量的線上推論服務，也對算力形成大規模且常態性的需求。

2. 資料中心（Data Center）升級與擴建

• 由於生成式 AI 的應用極度依賴雲端資料中心，未來幾年各大超大型雲服務業者（Hyperscalers）如 Amazon、Google、Microsoft、Meta 以及其他專門供應 AI 基礎設施的業者都將持續擴建 GPU/TPU 叢集。

• 相較於傳統 CPU 為主的伺服器，GPU/TPU 伺服器在機架內密度更高，功耗也相對更大；同時還需要冷卻、配電及網路互連的大幅升級。

3. AI 專用晶片與客製化解決方案

• 除了通用 GPU（如 Nvidia、AMD）外，各大企業也積極開發或採用客製化 AI 加速晶片（ASIC、FPGA 甚至 RISC-V 方案），以應對大規模推論的延遲與成本問題。

• 這些客製化解決方案亦仰賴先進製程來降低功耗並提高運算效率。

二、電力需求與能源挑戰

1. 資料中心能耗快速提升

• AI 伺服器高密度部署會造成資料中心整體能耗飆升，未來幾年隨著生成式 AI 普及度提高，對全球資料中心電力需求將持續攀升。

• 目前已有多家機構預測，隨著 AI 工作負載增加，資料中心能耗在短期內（3-5年）將翻倍，部分關鍵數據中心甚至會出現電力供應瓶頸。

2. 冷卻與散熱方案的重要性

• 為應對高功耗晶片及機櫃密度的上升，液冷、浸沒式冷卻等更有效率的散熱技術獲得關注。

• 資料中心選址逐漸考量水資源可近性、電力基礎建設穩定度，以及當地電價與環境法規。未來將出現更多位於高緯度或鄰近再生能源基地的超大規模數據中心。

3. 再生能源與綠色供電壓力

• 全球各地政府與大型科技企業紛紛承諾達成碳中和（Net Zero），對資料中心的能源使用提出更嚴苛的綠電採購與節能要求。

• 由於 AI 推廣需要巨量電力，如何確保綠電供應以支撐算力成長，將是未來幾年重要議題。

三、半導體先進製程的發展

1. 摩爾定律仍在進展，但難度遞增

• 從 7nm、5nm、3nm，再到規劃中的 2nm、1.Xnm，半導體製程每往前推進一代，其研發與製造成本皆大幅上揚，曝光、蝕刻、量測等每個步驟都需要最尖端的設備與技術。

• TSMC（台積電）、三星、英特爾皆在競逐先進製程領先地位，尤其為滿足 HPC（High Performance Computing）與 AI 晶片需求，3nm 及 2nm 製程會被優先分配給高附加價值的客戶（例如蘋果、Nvidia、AMD 及超大型雲服務商的客製晶片等）。

2. Chiplet 與先進封裝技術

• 當單一硅晶圓上繼續微縮變得越來越困難與昂貴，透過 Chiplet（小晶片模組化）與先進封裝技術，將不同功能（CPU、GPU、NPU、IO Die）整合在同一封裝中成為趨勢。

• TSMC CoWoS、Intel EMIB、三星 X-Cube 等先進封裝方案，能在減少整體尺寸的同時，改善延遲與功耗，滿足 AI 需要的大規模運算與高速資料傳輸。

3. 先進製程與運算效率

• AI 晶片對運算效率（TOPS/W, FLOPS/W）非常敏感，先進製程可有效降低功耗並提升時脈、封裝整合度，對大模型訓練與推論極具吸引力。

• 後摩爾時代，除了微縮以外，也將更多著眼於晶體管結構創新（GAA、Forksheet、CFET 等）以及材料突破（如新型絕緣材料、低介電常數介面等），以維持性能增長。

四、綜合展望與趨勢

1. AI 算力需求持續高速成長

• 生成式 AI 將成為企業數位轉型與雲端運算的關鍵驅動力，預計在接下來的 3-5 年，AI 訓練與推論工作負載在整體資料中心比重中顯著提高。

• 結合多領域應用（醫療、製造、語音影像、文本生成等），更會推升 AI 所需的晶片銷量與雲端運算規模。

2. 電力與節能挑戰日益嚴峻

• 數據中心能耗上升帶來的問題，將倒逼各大廠持續研發更高效率的硬體（先進製程 + 先進封裝 + 硬體加速器）與更有效率的冷卻技術，同時也增加對綠電的需求。

• 政府面臨電力基礎建設規劃與碳排放政策的挑戰，企業亦需在高效能運算與環保節能之間取得平衡。

3. 半導體先進製程高度集中化

• 由於先進製程門檻超高，未來頂尖的先進製程將持續集中在少數廠商手上（台積電、三星、英特爾），且市場需求多半來自 HPC、AI、手機旗艦 SoC。

• 半導體供應鏈仍存在地緣政治風險，主要先進製程廠積極在多地布局（美國、歐洲、日本等）以降低風險，也會推升整體製造成本。

4. 軟硬體協同設計與新架構興起

• 生成式 AI 驅動下，硬體廠商與雲服務業者將更緊密合作，共同優化軟硬體體系架構（例如 AI 專用指令集、分散式訓練架構、混合精度運算等）。

• 量子運算、光子運算、記憶體計算（In-Memory Computing）等新型態技術，也在測試階段嘗試解決傳統架構瓶頸。這些技術能否在 5-10 年內商業化，仍需關注技術成熟度與成本效益。

結論

•生成式 AI 的爆發 帶動大模型訓練與推論需求，使 AI 算力需求在未來數年持續快速增長，進而推升資料中心的電力需求與冷卻難度。

•半導體先進製程 在硬體性能與能耗比的提升上扮演關鍵角色；然而，隨製程演進，投資成本、技術門檻與地緣政治風險同步升高，將使先進製程高度集中化與全球供應鏈緊張並存。

•面對龐大的用電量與環保節能挑戰，各大科技廠、雲服務商與政府必須在 高效能運算、綠電供應 與 技術創新 之間取得平衡。預料未來幾年，圍繞著 AI 晶片研發、先進封裝技術以及資料中心能源效率提升的投資與技術突破仍將持續加速。

AI 產業無疑是未來全球經濟與科技發展的核心驅動力之一，從硬體晶片到軟體服務、再到各垂直應用，皆蘊藏著豐富的成長機會。但投資人應同時認知到該產業的快速變革與競爭風險，並配合全球經濟、產業週期、公司財報表現進行綜合判斷。最終，能否在 AI 股市題材中獲得長期且穩健的報酬，關鍵在於對公司基本面、技術與估值的深度分析，以及合宜的投資組合與風險控管。

2024 年對AI 應用的期待

　　硬體廠商今年在Edge Computing 邊緣運算加大力度，PC及筆電廠商也推出各種新產品。個人認為這只是個開始，這產業趨勢會對人類產生各種層面的影響。最看好的還是Apple，它在硬體上有優勢，軟體上只要整合好AI ，它還是大有可為。身為一個iPhone , Mac 用戶仍然期待Apple 在今年推出令人亮眼的產品或服務。例如：AI 修圖，改善文字朗讀(Text To Speech: TTS)

Hardware manufacturers are doubling down on Edge Computing this year, with PC and laptop makers also launching various new products. Personally, I believe this is just the beginning; this industry trend will have various impacts on humanity at multiple levels. I am most optimistic about Apple, which has an advantage in hardware. As long as it integrates AI well in its software, there is still much it can achieve. As an iPhone and Mac user, I still look forward to Apple launching eye-catching products or services this year.

     AI model 在進入2024年後也是各大巨頭各顯神通，Meta/Google/OpenAI/... 。對一個新 model 可能都還沒導入，且還在評估或測試階段，model 就有有新的進步，新版本又推出了。至於算力，那更是大家都拚了命在追加，但永遠不夠用，OpenAI 的 Sora (文字生成影片）一出，算力的需求又要再加大，之前在使用文字生成圖片時就感到算力吃緊。

現在在生成影片的需求下，看來永遠不夠用了。

As we entered 2024, major tech giants like Meta, Google, OpenAI, and others have been showcasing their prowess with AI models. When a new model is still not fully implemented, being in the evaluation or testing phase, it often happens that the model sees new improvements, and a new version is released. As for computing power, everyone is desperately trying to increase it, but it's never enough. With the launch of OpenAI's Sora (text-to-video), the demand for computing power has escalated even further. Previously, when using text-to-image generation, the strain on computing resources was already felt. Now, with the demand for video generation, it seems like it will never be sufficient.

     AI model 在記憶體使用的優化及model 本身優化也是有些進展，這也是今年值得期待的事。

There have been some advancements in optimizing memory usage and improving the models themselves, which are also something worth looking forward to this year.

   生成式AI 的提示工程是未來使用AI 很重要的技能之一，未來AI 普及後，世界上可能只有兩種人，一種是會使用AI，另一種是不會使用AI的人。

One of the crucial skills for future AI usage is prompt engineering for generative AI. With the proliferation of AI in the future, there may only be two types of people in the world: those who can effectively use AI and those who cannot.

ChatGPT 再次訂閱心得

　　2024年又是AI持續發光發熱的一年，各大巨頭持續在AI model 上有進展。OpenAI 也終於迎來的 GPT4，台灣春節前一直要再訂閱都無法成功，以為是自己已經落入wait list。結果，春節後就訂閱成功了，原來是有新功能要推出，閉鎖了一段時間。也該再多花點時間來深入GPT4有那些能耐了。

      自己平時最常用的還是中文翻英文的功能，今天2024/02/19發現它已經整合Bing 搜尋引擎功能，看來我可以不用再去用copilot 了。

      生成圖片：還是要用專業的Midjourney，Leonardo.ai 。單純使用文字下指令的介面沒有很好用，也不直覺。產生的圖片效果也不佳，主因是訓練資料不足，我請它生成一位女劍客在草地上練劍。結果都是手持的彎曲武士刀，或是長度太長，劍柄一直都是以武士刀刀柄改不過來。最後結果是以下搞笑樣子。

以圖生圖：上傳一張自己的自拍照，請GPT4依據該照片的臉型提供適合的眼鏡及帽子的建議，這個用法有點意思，可以用自己的照片試試。

資料分析： 上傳一份知識問答題庫Excel ，分析Excel 中的資料。它能給出以下回答：

上傳的Excel檔案包含了一個表格，這個表格有五列和五個欄位。欄位分別為「No」、「類別」、「問題」、「知識編號」以及「答案」。這看起來像是一個知識問答資料庫，列出了不同類型（如信用卡和銀行）的常見問題，以及對應的解答和知識庫編號。

數學題：小明自備款400 萬自備款，要買 2000 萬房子, 貸1600 萬，還款年利率 3% , 每月本金及利息要還多少才能在20年還完？ 請詳細說明計算過程。

   回答：當然，我們可以使用等額本息還款法來計算小明每月需要支付的金額。等額本息還款法是指每月還款金額固定，包含本金和利息兩部分，隨著時間推移，每月還款中本金比例逐漸增加，利息比例逐漸減少。

以下是計算過程：

1. 首先，確定貸款的基本信息：

   - 本金（Principal）：1600萬台幣

   - 年利率（Annual Interest Rate）：3%

   - 還款年數（Years）：20年

2. 計算月利率（Monthly Interest Rate）：

   由於年利率是按年計算的，而還款是每月進行，因此我們需要將年利率轉換為月利率。這可以通過將年利率除以12個月來實現。

   \( 月利率 = \frac{年利率}{12} \)

   \( 月利率 = \frac{3\%}{12} = 0.0025 \)（即0.25%）

3. 計算總還款期數（Total Number of Payments）：

   因為小明要在20年內還完貸款，所以我們將還款年數乘以12（一年的月份数）來獲得總還款期數。

   \( 總還款期數 = 20年 \times 12個月/年 = 240期 \)

4. 使用等額本息還款公式計算每月還款金額（Monthly Payment）：

   \( P = \frac{r \times PV}{1 - (1 + r)^{-n}} \)

   其中：

   \( P \) 是每月還款金額

   \( r \) 是月利率

   \( PV \) 是本金

   \( n \) 是總還款期數

5. 將已知數值代入公式：

   \( P = \frac{0.0025 \times 16,000,000}{1 - (1 + 0.0025)^{-240}} \)

   計算得到每月還款金額 \( P \)。

6. 計算總還款金額（Total Amount Paid）：

   總還款金額是每月還款金額乘以總還款期數。

   \( 總還款金額 = P \times 總還款期數 \)

   \( 總還款金額 = P \times 240 \)

根據這些步驟，我們計算出小明每月需支付約88,735.62台幣，總共需要支付的本金及利息約為21,296,547.76台幣。

AI Model最終會變成軟體元件？

　　AI 模型快速演進，每幾個月就有重大進展。對於應用AI的人來說，應用面的規劃都還在路上，模型又變了，那就得將它變成類似軟體元件的方式來運用。或者說是API，不用管API底層使用那一個模型，因為模型是可以更換的。讓研發模型的人專注去研發，有新模型再抽換即可。

人工智慧AI與半導體產業的思考

　　AI 的進展與受重視在Google 的AlphaGo 之後讓全世界都不得不重視。當然，AI不只是軟體的發展，它需要數據加上演算法及運算能力三方面的投入，運算能力就得用GPU, TPU等半導體的加持，以目前晶圓製程來看仍無法滿足將AI運算普及的能力。目前七奈米製程已推出，接下來是五/三/二/一奈米等製程，個人認為只有一奈米以下才較有普及運算可能或是由量子電腦搭配網路來完成。若是如此，運算力仍只掌握在少數大企業手中，一般民眾只能由網路來取得運算能力。以台灣中小企業居多再加上大公司對數據及人工智慧投入的資源及人才不足，最多只能以小型特定領域運用先行導入試水溫。試想國內有那幾家公司有專責組織編制在這方面再搭配軟硬體方面的投入？我看過一些人都屬個人技術研究及學習，他們能配置的硬體頂多是一台主機加兩張GPU就很了不起了，以這樣的資源面對大型需要深度學習的運算顯然是不足的。

　　所以，半導體製程要再快速前進，讓硬體普及一般人才能負担起運算能力的費用，否則真的還是建議使用雲端運算服務比較合適。不管是那一個走向，個人還是覺得半導體產業因應未來ＡＩ的應用，真的是大有可為，長遠來看台積電若持續保持領先，會是很少投資持股。

　　若蘋果未來兩三年真的將桌機及筆電的ＣＰＵ換掉英特爾，那台積電真的是更有可為，相反的英特爾真的要注意是否會走下坡。在蘋果連ＣＰＵ都使用自家的設計之後，它就真的將產品硬體重要元件組成都掌握在自家手中了。高度的軟硬體整合及技術掌握一直都是蘋果在走的路。台積電做好晶圓代工的專業即可，只要能持續保持領先，真的是長期投資的優選。智慧型手機過去十年給晶圓代工吃的飽飽，接下來十年要靠人工智慧應用了。

人工智慧應用發想

　　最近公司在規劃智能客服，也就是chatbot 加上真人文字客服，在幾家廠商介紹過功能後有了一堆想法。大家都號稱在chatbot上運用機器學習，可以減少訓練人力的投入，而不是前一代使用關鍵字或是知識點的機制。但自己看來，這都是監督式學習的一種，特別是在專業領域上一定要搭配該領域知識的有經驗人士或專家來訓練。文字語意解讀只是各家NLP引擎應具備的基本要求。但目前所認識的人工智慧在文字語意理解上，有一大半仍需借助同義字及俚語或火星文的理解才能有足夠的生活應用，客戶來問問題多半會有錯字或是簡稱或別名之類。這部份需不斷有大量網路上搜集來的語料及持續的更新，才能讓語意理解有足夠的滿意度。

        最近接觸IBM 的Watson 及微軟的LUIS，其概含類似都是在特殊領域知識的訓練要先定義intent(意圖)及entity(實體)出發，再來才是想要引導使用者的對話流程設計。若不以程式開發的角度來看，業務單位都是要針對預期的知識範圍定義及訓練AI來回答每一個提問，答成足夠的知識涵蓋。以這樣的應用來看，真的是沒有通用的人工智慧，還是得由特定領域知識的專業人士來引導。在人力投入上仍有一定的成本。

　　在語意理解上若能在情緒及前後文因果關係上有長足的進步再搭配語音機器人的對話應用，可以用在老人陪伴及照護上。接受指令及對話是比較簡單的事，若能在提供建議這方面能更完善則才是非常有用的運用。這方面的應用，我相信不用十年，大約再五年就可以有很成熟的應用出現。只是近一年人工智慧(AI)變得超級火紅，任何公司都想和它沾上邊。但人才太少，懂的人不多，我個人認為打著AI的名號來行銷及貼上標籤的產品都是騙錢的居多，因為真的還不夠成熟，以人工智慧專家的說法，現在還在啟蒙階段，還有一大段路要走。軟硬體都還有很大的進步空間，所以做為一個管理者，那些產品或那些人是來騙錢騙名聲的？真的要睜大眼睛看清楚。或者管理者心裡也是想利用它來獲得一些好處那就自己摸摸良心了！