- ExplainAI 電子報
- Posts
- 📈 #16 聊聊 2024 年的 AI 發展趨勢
嗨大家好，歡迎閱讀 2024 年第一期的 ExplainAI 電子報。讓我們從討論 2024 年 AI 趨勢，來開啟今年第一期的電子報。
關於 AI 發展趨勢，許多學者與業界人士，都有發表不少看法。其中我們覺得比較精闢的有 Meta 的 AI 政策發展專家 Martin Signoux 2024 AI 發展預測以及 AI 技術領域的資深技術專家 Bijit Ghosh 提的 2024 AI 發展路徑。在這一期我們會節錄其中談到的點，來聊 2024 年 AI 會有什麼樣的發展進程。
在開始之前，想跟大家分享去年 ExplainThis 與完食線上學習平台共同籌劃了一門 ChatGPT 求職與工作應用類線上課程。這門課是給想要入門使用 ChatGPT 與生成式 AI ，來幫助自己在求職與工作上更高效的人。目前完食平台有課程優惠折扣，推薦給有相關需求的讀者。
當然，假如你已經熟知如何用 ChatGPT 來提升效率，這門課講的可能你已經都知道了，若你是這類讀者，還請多分享給身邊想入門的親朋好友 [課程連結在此]
講完開頭想跟大家更新的，接著讓我們進到本期的主題吧～
📍 2024 AI 發展重點趨勢
往多模態 (multi-modal) 發展
2023 年，隨著 GPT-4V 與其他模型商紛紛推出多模態的能力，LLM 也開始往 LMM (Large Multimodal Models) 發展。不只是讀與寫，聽與說在未來都會更有效整合到大型語言模型中，成為大型多模態模型。
多模態模型意味著之後能打造的應用，會更加多元。先前 OpenAI 執行長 Sam Altman 在一場講座分享，談到現在思考開發 AI 應用時，可以不用被現有的模型能力限制，可以用「AGI 將在不久將來到來」的角度來想應用的開發。如果你是在開發 AI 產品的人，推薦用這個角度來思考。
更多小而專的模型
除了 LMM，2024 年的另一個模型發展重點是小型語言模型 Small Language Models (SLMs)。我們在 ExplainAI 電子報 #13 期 有談到的 Visual Copilot 就是用少量但高品質的訓練資料，來訓練處理專門任務的語言模型。這不僅成本比較低，在特地任務表現上也好於通用的大型語言模型。這種各領域的小型語言模型，預計在 2024 也會是發展重點。
不只是在模型，在應用層也是一樣。專注在某個小的場景，但是把該場景做到極致好用，這樣的應用程式。舉例來說，雖然 ChatGPTs 推出了 GPTs 商店，但我們本身並沒有特別看好其發展。以我們自身的使用體驗來說，GPTs 商店中的 GPTs 仍受限於 ChatGPT 本身的使用介面。在許多場景其實並非最好用的。這時針對特定場景專門的模型，就會更好。
可以期待開源模型與閉源旗鼓相當
2023 年 OpenAI 的 GPT-4 與 Google 的 Gemini 等閉源模型，獲得了極佳的表現；但與此同時，Meta 推出的開源模型 Llama 2 也不遑多讓。而到了在 2023 年末，開源模型 Mixtral 的表現已經只差 GPT-4 僅 13%。
在 2024 年初 Meta 的祖克柏，已經對外宣布 Meta 買入大量運算資源，正如火如荼推進 Llama 3。可以期待在 2024 年開源模型會有另一波進展。因此，大家可以不用過早鎖死自己選定某個模型，推薦保持開放的心態看各類模型的發展。
更多軟硬整合的應用
2023 年多數關於 AI 的討論停在軟體，但是在 2024 年軟體與硬體的整合，會是進一步突破。不論是 Meta 的祖克柏在年初就與 Ray Ban 眼鏡合作推出的智慧眼鏡，或是今年初一推出就被搶購一空的 Rabbit AI 的 R1，又或者 Tesla 讓人驚艷的 Tesla Bot，這些把 AI 帶到硬體上，進而創造純軟體無法帶來的價值，在 2024 年將會有越來越多討論。
當然軟硬整合在商業上能否成功，還是老話一句「看有沒有打中市場需求」，如果沒有，那也會如 2023 年許多如雨後春筍般冒出頭的 AI SaaS 新創一樣，持續沒多久就會如流星般殞落。
與其擔心被 AI 取代，不如先擔心 AI 帶來的問題
過去一年許多人會談到 AI 取代人類，帶給人類生存危機 (existential risks)，但 Martin Signoux 提到 AI 現存的問題，是 2024 年更急迫需要面對的風險，其中包含 AI 的偏見 (bias)、假新聞 (fake news)、對使用者的安全性 (users safety) 等，都是各個 AI 模型開發商需要面對的。
📚 其他 AI 相關觀點
AI 會把 junior 都砍光嗎? Paul Graham 有不同觀察
這兩天看到社群討論談說「AI 果然把 junior 幹光了，麥肯錫也被拖累」，然後引起不小的討論。有人說未來專業能力要比 AI 強才有飯吃，有人說「如果 Junior 都被砍光了，誰來傳承古老技藝啊」
剛好前兩天在國外社群，看到 Y Combinator 創辦人 Paul Graham，看的角度很不一樣，這邊截圖並翻譯分享。
Paul Graham 說「從某個有一定規模的科技公司 CEO 那裡得知一件有趣的事。過往 28 歲的程式設計師通常比 22 歲的更有生產力，因為 28 歲的擁有更多經驗。然而，現在 22 歲的年輕人卻能與 28 歲的齊頭並進，關鍵就在於 22 歲的更善於運用 AI 工具。」
他接著說「這對年輕創業家來說是個好消息，這些年輕創業家，過去往往受阻於缺乏程式經驗。現在，他們可以將 22 歲的精力與 28 歲的生產力完美結合！」從 Paul Graham 的觀點來看，不是 junior 要被砍光，而是過往以經驗著稱的人，優勢將會漸漸不再。
你同意 Paul Graham 的看法嗎?
整合 AI 的新世代搜尋引擎 perplexity 挑戰 Google 的利基
最近 perplexity 被 Nvidia 跟 Jeff Bezos 等投資 B 輪，所以在社群有一陣討論度。perplexity 是個非常有趣的產品，表面來說跟 Quora 的 Poe 有些類似，都能讓你在背後用上各種模型商提供的模型，但在產品設計上，卻很不一樣。
perplexity 的出發點是 AI 搜尋引擎，對標的不是 ChatGPT 而是 Google。perplexity 值得看好的原因之一，不只是跟 AI 整合，而是無廣告這點。
搜尋引擎對用戶的價值在於，讓用戶能搜到對自己最有用的資訊，其實這是寫在 Google 的使命宣言當中 (匯整全球資訊，供大眾使用，使人人受惠)，但廣告意味著，不必然對用戶最有價值的資訊，在最明顯的地方被曝光。
雖說 Google 把廣告做到很極致，許多時候廣告確實跟用戶需求相關，但還是有不少情況，會看到毫無相關的廣告，這對用戶來說就是沒價值的資訊。但是在 perplexity 上搜尋，沒有廣告，得到的回覆，或者 perplexity 索引的頁面，都是以最相關、最有幫助出發的。這是我們看好 perplexity 的原因。
當然，很多人還是能接受廣告 (前提是產品或服務是免費的)，所以我們不覺得 perplexity 會完全侵佔到 Google 的市場。以上觀點是我們身為用戶的一些想法，推薦大家自己去試試 perplexity。
The Truth is in Threre: Improving Reasoning in Language Models with Layter-Selective Rank Reduction
最近讀到這篇頗有趣的研究，是由 MIT 的團隊所發表的。該研究談到，LASER 技術透過特定層級的修剪，能提高語言模型的性能。具體來說，LASER 技術巧妙地識別並刪除了權重矩陣中，對模型性能影響較小的部分，並保留了關鍵的部分。
透過這個方法，能做到大幅減低成本。因為過去要提升模型的性能，無非是增加訓練資料，並進一步訓練，但這些都是需要花費的。因此能夠有方法能夠減少訓練所需的運算資源消耗，對於模型商來說，會非常有幫助。
這種「降噪」的方法，與人類在學習頗為類似，假如每天大量接收沒有幫助的資訊，即使接收再多，仍對自己成長幫助不大。假如能有效剔除那些不重要的，並專注在最中要的，對於個人提升會有所幫助。
如果你覺得我們的內容有幫助，也請幫我們分享電子報給身邊的人，讓更多人能在快速變動的 AI 時代，持續走在最前沿！