🥮 #12 網民怎麼玩 ChatGPT 多模態 GPT-4V (15 個你想不到的驚人應用)

哈囉！ExplainAI 雙週報讀者們，大家好！👋

在本期開始之前，想跟大家分享 ExplainThis 的一個新的里程碑。我們開發的生成式 AI 產品 — ChatBun AI 聊天機器人，在今天正式上線了 🎉 🎉 🎉

過去一年我們開發過超過百萬人瀏覽的 ChatGPT 指令大全；也在 GitHub 開源生成式 AI 專案，並累積超過三千顆星星的。一直以來我們都想做一個更完整的產品，而在經過一個月的發想與原型驗證、兩個月的開發，以及一個月的 Beta 測試與迭代，ChatBun 總算能跟大家見面了！

ChatBun 網址 👉 https://chatbun.ai

ChatBun 讓你用最簡單的方式，建立客製化 AI 聊天機器人。除了自己建機器人，你也可以在社群中瀏覽別人建立的 AI 聊天機器人。目前已經有一些好玩的，例如李白 AI 可以用你輸入的任何內容來寫詩；也有實用工具類，例如 IG 的限時動態產生器；此外還有學習類的，像是帥氣又充滿熱情的英文家教 Jason。

在未來 ExplainThis 會持續在有價值的內容產出上耕耘，用白話帶大家讀懂軟體、AI，以及科技業職涯。而 ChatBun 則是我們在內容產出外的第一個軟體與 AI 產品。我們也會持續透過 ExplainAI 電子報，跟大家分享在開發 ChatBun 過程中踩過的坑，讓想開發 AI 應用的人，可以繞過一些不必要的彎路。

🍎 生成式 AI 的多模態應用

這兩週在生成式 AI 應用的一大突破，是 ChatGPT 開始支援多模態 (multi-modal)，換句話說 ChatGPT 現在可以看、可以聽，也可以說了。在社群上，大家會用 GPT-4V 來稱呼可以讀圖片的 GPT (V 代表 Vision，也就是視覺的意思)。

舉例來說，下面的截圖是美國有個網友，分享他上傳一個超複雜的停車告示牌照片，加上要停車的時間，ChatGPT 就直接幫忙判斷現在能不能免費停車、可以免費停多久。

該網友評論「我從此不會再拿到違規停車罰單了」，只能說多模態真的開啟非常多應用的可能性呀！

這邊幫大家彙整網路上已經有的 GPT-4V 應用，只能說非常驚人：

實用

• ChatGPT 幫你看懂複雜的路邊標示 [推文 / @petergyang]

• ChatGPT 解析圖片中以二進制（binary）方式編碼的的秘密訊息 [推文/@3blue1brown]

• 用 ChatGPT 分析生態規劃圖 [推文/@horromary]

• 連人都看不懂的 recaptha 驗證，來看看 ChatGPT 表現怎麼樣 [推文一 / @dory111111][推文二@chx] (目前看起來還沒有辨識的很好)

• ChatGPT 透過圖片分析道路安全 [推文 / @AiXsatoshi]

工作與學習

• ChatGPT 能看懂白板的內容，幫你完成帶有邏輯的程式碼 [推文/@mckaywrigley]

• 完成 iPhone 計算機 UI 介面與邏輯程式碼[推文 / @FABYMETAL4]

• ChatGPT 根據照片與提供更好的教學建議 [推文 / @abran]

• 上傳算式圖，ChatGPT 幫忙算出答案 [Twitter / @petergyang]（小時候用計算機就覺得很厲害了…現在小學生直接用 ChatGPT 😂）

有趣

• 威利躲哪裡去了？來讓 ChatGPT 幫你找找看[推文 / @skirano]

• 迷因圖太難懂了？別擔心 ChatGPT 耐心的解釋給你聽 [推文 / @skirano]

• ChatGPT 辨識出有毒的蘑菇，還可以演繹吃下蘑菇後產生幻覺 [推文 / @skirano] 追加請它生成他看到幻覺圖片的指令 [推文 / @skirano]

• 草寫字難以理解？ChatGPT 幫你讀懂！[推文 / @qamarunshadow]

• 辨識漫畫角色？就算背對著也沒問題！[推文 / @dory111111]

• 讀出照片上 T 恤上的字，分辨鬍子和短髮 🤯 [推文 / @obie]

📍值得你一看 AI 大小事

• Amazon：亞馬遜旗下的 AWS 投資了生成式 AI 模型開發商 Anthropic 四十億美元，並成為 Anthropic 的主要雲端供應商。這項投資也更確立了生成式 AI 浪潮背後的雲端大戰 [連結]

• OpenAI：ChatGPT 不僅開始支援多模態，OpenAI 在過去兩週也釋出微調 (fine-tuning) 的 UI 介面，以及最新一代的圖像生成模型 DALL·E 3。此外，先前被暫時關閉的 ChatGPT 連網模式也被重新開啟 [連結]

• Microsoft：身為 OpenAI 的主要投資人，在 OpenAI 釋出最新的生成模型 DALL·E 3 後，微軟也立刻將其加入 Bing Chat 當中。假如你想試試最新的 DALL·E 3，現在可以在 Bing Chat 直接下 /imagine 指令即可 [連結]

• Meta：WhatsApp、IG 和 Messenger 推出 28 個 AI 個性聊天機器人，例如：SnoopDogg、Mr. Beast，你可以在使用通訊軟體時，跟這些 AI 角色互動 [詳情]

• Spotify：打造 AI 人聲翻譯工具給 Podcast 創作者，讓創作者可以把 podcast 內容翻譯成不同語言，同時保持創作者的聲音特色 [連結]

AI 學習資源

• Vercel 的《Vector Databases Explained》白話地介紹什麼是向量資料庫，以及列出目前業界比較熱門的向量資料庫。

• OpenAI 的 Cookbook 升級了，目前內容擴充到超過百篇 AI 相關教學 [詳情] (我們把 OpenAI Cookbook 與其他推薦的打造 AI 應用資源，都放在這個連結中了)

• a16z 舉辦的 AI Revolution 活動，講者群質量堪稱業界最高 (包含 Microsoft 技術長、OpenAI 技術長、Roblox 執行長、Figma 執行長、Anthropic 執行長、Databricks 執行長、insitro 執行長，以及 Character AI 執行長)。a16z 很佛心地把影片與逐字稿釋出了，大家千萬別錯過 [連結]  (更多 AI 相關推薦講座，詳見此連結)

• 吳恩達教授旗下的 DeepLearning.AI 與 Google 合作開了《Pair Programming with a Large Language Model》課程，教你如何用 LLM 協助寫程式

AI 工具

• 最近在社群中瘋傳可以透過 AI 把自己的臉融入到背景照片中，要做到其實很簡單，Quick QR Art 這款工具，可以讓你上傳完照片後，就獲得由 AI 生成融入你照片的圖像 [詳情]
  

• 在 GPT-4 發表時，有一個案例分析是非營利組織 Be My Eyes 跟 OpenAI 合作，透過 GPT-4 多模態的能力，讓視障朋友們能獲得 AI 的協助。現在這個功能將上線到 Be My Eyes 的 App 當中 [詳情]
  

• 主打健康與健身類的 App — WHOOP，透過 AI 來即時分析你的數據，並提供飲食與健康相關的建議 [詳情]
  

• 過去許多人會抱怨 ChatGPT 的中文回應品質仍不佳，軟體大廠百度前陣子推出的中文寫作幫手，在測試中獲得更好的中文生成表現。如果你是用 AI 協助優化中文內容，可以考慮使用 [連結]

ExplainThis 致力讓 ExplainAI 電子報保持永久免費閱讀。為了能更永續經營這份電子報，我們開放電子報的版面贊助。目前電子報有超過千位讀者，平均開信率 > 45%，受眾主要是 AI 趨勢與動態感興趣的讀者。如果你有認識合適的廠商，還請推薦給我們 🤝

另外，如果你覺得我們的內容有幫助，也請幫我們分享電子報給身邊的人，讓更多人能在快速變動的 AI 時代，持續走在最前沿 💪