雖然它保留了原始模型處理多模式輸入（文字、音訊和圖像）的大部分能力，但 GPT-4o mini 針對更快的回應時間至關重要的輕量級應用進行了最佳化。
對於需要經濟高效的編碼、調試和即時互動解決方案（不需要 GPT-4o 的全部運算能力）的開發人員來說，它特別有用。
您可以在這篇文章中閱讀有關GPT-4o mini的更多詳細資訊。
GPT-4o 與 GPT-4 Turbo 有何不同？
一體化模型方法意味著 GPT-4o 克服了先前語音互動功能的一些限制。
1. 現在考慮語氣，促進情緒反應
先前的 OpenAI 系統將 Whisper、GPT-4 Turbo 和 TTS 組合在一個管道中，推理引擎 GPT-4 只能存取口語單字。這種方法意味著諸如語氣、背景噪音和來自多個說話者的聲音的知識等資訊都被簡單地丟棄。因此，GPT-4 Turbo 無法真正表達不同情緒或言語風格的反應。
透過擁有可以推理文字和音訊的單一模型，這種豐富的音訊資訊可用於以更多種說話風格提供更高品質的回應。
在 OpenAI 提供的以下範例中，GPT-4o 提供了諷刺性的輸出。
2. 更低的延遲實現即時對話
現有的三模型管道意味著在與 ChatGPT 對話和獲得回應之間存在很小的延遲（「延遲」）。
OpenAI 表示，GPT-3.5 的語音模式平均延遲為 2.8 秒，GPT-4 的平均延遲為 5.4 秒。相較之下，GPT-4o 的平均延遲為 0.32 秒，比 GPT-3.5 快 9 倍，比 GPT-4 快 17 倍。
這種減少的延遲接近人類的平均反應時間（0.21 秒），對於對話用例非常重要，在對話用例中，人類和人工智慧之間存在大量來回，並且回應之間的差距會增加。
這個功能讓人想起Google在2010年推 阿根廷電話號碼列表 出的Instant，它可以自動完成搜尋查詢。
隨著 GPT-4o 延遲的降低，變得更加可行的用例是即時語音翻譯。 OpenAI 展示了兩個同事的用例，其中一位是英語，另一位是西班牙語，透過 GPT-4o 翻譯他們的對話進行交流。
3. 整合視覺能夠描述攝影機訊息
除了語音和文字整合之外，GPT-4o 還包含圖像和視訊功能。這意味著，如果您允許它訪問電腦螢幕，它可以描述螢幕上顯示的內容，回答有關螢幕圖像的問題，或充當您工作的副駕駛。
在由可汗學院的 Sal Khan 主演的 OpenAI 影片中，GPT-4o 幫助 Sal 兒子完成數學作業。
除了使用螢幕之外，如果您允許 GPT-4o 存取相機（也許是您的智慧型手機），它還可以描述它所看到的內容。
OpenAI 提供的一個較長的演示結合了所有這些功能。兩部運行 GPT-4o 的智慧型手機進行對話。一個 GPT 可以存取智慧型手機相機，並向另一個無法看到的 GPT 描述它可以看到的內容。
結果是人類和兩個人工智慧之間進行三向對話。該影片還包括人工智慧唱歌的部分，這是以前的模型不可能做到的。
4. 對非羅馬字母更好的標記化提供了更快的速度和更高的性價比
LLM 工作流程中的一個步驟是將提示文字轉換為標記。這些是模型可以理解的文字單位。
在英語中，一個標記通常是一個單字或一個標點符號，儘管有些單字可以分解為多個標記。平均而言，三個英語單字大約佔用四個標記。
如果可以用更少的標記在模型中表示語言，則需要進行的計算就會減少，並且產生文字的速度也會提高。
此外，由於 OpenAI 按代幣輸入或輸出對其 API 收費，因此代幣越少意味著 API 用戶的價格越低。
GPT-4o 具有改進的標記化模型，可以減少每個文本所需的標記。在不使用羅馬字母的語言中，這種改進最為明顯。
例如，印度語言尤其受益，印地語、馬拉地語、泰米爾語、泰盧固語和古吉拉特語的代幣數量均減少了 2.9 至 4.4 倍。阿拉伯語的代幣減少了 2 倍，中文、日語、韓語和越南語等東亞語言的代幣減少了 1.4 倍到 1.7 倍。
5. 推出免費計劃
根據 OpenAI 現有的 ChatGPT 定價策略，用戶必須付費才能存取最佳模型：GPT-4 Turbo 僅適用於 Plus 和 Enterprise 付費方案。
這種情況正在改變，OpenAI 承諾也將在免費計劃中提供 GPT-4o。 Plus 用戶收到的訊息數量是免費套餐用戶的五倍。
推出將是漸進的，紅隊（嘗試打破模型以發現問題的測試人員）立即開始訪問，隨著時間的推移，更多用戶將獲得訪問權限。
6. 啟動 ChatGPT 桌面應用程式
雖然這不一定是 GPT-4o 獨有的更新，但 OpenAI 也宣布發布 ChatGPT 桌面應用程式。上述延遲和多模態的更新以及應用程式的發布意味著我們使用 ChatGPT 的方式可能會發生變化。例如，OpenAI 展示了使用語音和 ChatGPT 桌面應用程式增強編碼工作流程的示範。在用例部分中向下滾動以查看該範例的實際應用！
GPT-4o 如何運作？
多種內容類型，一種神經網絡
