如何「訓練」AI 伴侶:你的回饋真正改變了什麼

運作原理

許多用戶替每則回覆評分,以為是在教導自己的伴侶。多數時候並不是,至少不是他們想的那樣。以下說明每一種回饋實際上做了什麼。

本頁連結可能為我們帶來佣金,但絕不會影響評分。

「訓練」AI 伴侶,聽起來像是軟件像寵物一樣逐漸學會你的偏好。實際情況包含更多部分:少數槓桿會立刻改變行為,有些會慢慢地為所有人改變行為,有些則主要是讓你覺得自己有參與。

真正塑造一則回覆的是什麼

每則回覆,都是依模型當下看得到的內容生成的,機制在AI 伴侶實際上是怎麼寫出回覆的:

  1. 角色的描述與設定。
  2. 為這場對話取回的已儲存記憶與摘要。
  3. 近期的對話本身。
  4. 底層模型,也就是公司上次更新的版本。

你的回饋有多重要,取決於它是否改變了這四項之一。

槓桿,由強到弱

塑造 AI 伴侶的槓桿,依生效速度與強度排序:編輯角色、編輯回覆、記憶筆記、重新生成、角色外的註記與評分

改變模型讀到的東西,而不是它對你的感覺。

槓桿改變什麼多快多強
編輯角色描述每則回覆前都會讀的指令立刻強,且持久
編輯一則回覆模型所複製的對話之後的回覆在它還留在視野內時很強
記憶筆記未來聊天中被取回的事實從下次取回起對事實強,對風格弱
角色外的註記目前的場景立刻隨聊天變長而淡去
重新生成只有這一則回覆立刻除了這則回覆之外沒有
評分(按讚、星等)通常是未來模型更新的資料數週或數月,甚至永遠不會對你的角色很弱

要編輯,不要爭論

在角色裡爭論,例如「你表現得不像你自己」,很少有用,因為爭論本身會變成模型所複製的對話的一部分。把一則回覆編輯成角色本來該說的話,則給了模型一個正確的範例去跟隨。如果你的軟件允許編輯,這是你能養成的最有用的習慣。

風格放描述,事實放記憶

  • 風格:語氣、句子長度、幽默、她有多深情,屬於角色描述,因為它必須適用於每一則回覆。我們的角色創建器指南說明了哪些欄位重要。
  • 事實:你的工作、你的狗叫什麼名字、上週發生了什麼,屬於記憶,在相關時才會被取回。

把它們混在一起會出問題:放在記憶裡的風格筆記,取回時時有時無;描述裡一長串的事實,則會擠掉個性。

評分真正的用途

在多數軟件裡,評分會進入公司用來改進模型的資料,通常涵蓋所有用戶。這可能值得做,你是在幫助未來的版本,但它不是通往你角色的直接管道。有些軟件說評分會影響你的伴侶;即使如此,效果也是漸進的,而且比編輯過的描述弱得多。

如果你在意,請查看私隱權政策:替一則回覆評分,可能會把那場對話標記為供審查或訓練,這是私隱上的取捨。請見誰會讀你的 AI 伴侶聊天。

每週一次的微調

  1. 記下這週你喜歡的兩件事,和讓你煩的一件事。
  2. 把煩的事轉成描述裡的正面指令(用「她用簡短、冷淡的句子回答」,而不是「不要囉嗦」)。
  3. 把任何新的重要事實加進記憶。
  4. 如果舊的聊天已經走樣,就開一個新的聊天。長對話會累積習慣,如個性漂移所說明的。

伴侶不會像人那樣學會你。但它每一次都會讀你:透過它的描述、它的記憶和你最近的話。改變它讀到的東西,你就改變了它是誰。

常見問題

按讚和倒讚會改變我的 AI 伴侶嗎?

很少立刻改變,而且常常並不是針對你的伴侶。在多數軟件裡,評分是為了在未來更新中替所有人改進模型而蒐集的。少數軟件會用它來調整你的角色,但相較於編輯描述,效果既小又慢。

改變 AI 伴侶說話方式最快的方法是什麼?

編輯角色的描述或個性欄位,並且用編輯來修正回覆,而不是和它爭論。模型會複製它指令裡的內容和近期對話裡的內容,這是兩個能立刻見效的槓桿。

我的 AI 伴侶會從我們的對話中學習嗎?

它把事實和摘要儲存在記憶系統中,所以能回想細節。它通常不會即時用你的聊天內容重新訓練底層模型。你的聊天是否被用來訓練未來的版本,取決於公司的政策。