Re: [討論] OpenAI GPT o1模型
阿肥外商碼農阿肥啦！
目前技術太多都說得太雲裡霧裡，但是截至目前為止針對o1其實OpenAI透露出來的技術細
節都不如過往得多，像之前GPT-4跟GPT-3.5過往還有完整的文件跟引用可以窺探，所以就
不做過份的臆測了。
以目前的一些文件上有提到的可以確定這次o1使用了CoT這絕對是一個Agent沒錯（跟過往
的單一模型不一樣），所以Response Time也會比過往再調用GPT-4o還要久。所謂的CoT本
質上就是一系列分解步驟，讓模型先分解問題再一步一步到最後結果，目前很多研究都發
現針對CoT再進行微調是有用的（ https://arxiv.org/abs/2305.14045 )，所以這種對問
題
拆解迭代算是一種拉高對模型能力上限的方法。
然後目前RL for LLM有很多新的方法，像KTO這類方法將模型去比較兩兩對話的問題轉換
成一個BSO(二元訊號優化）的問題，研究就發現到相比傳統的RLHF甚至DPO，KTO的效果能
起到很好的Regularization（正規化）作用，對比DPO有時候還會過擬和、難以收束優化
不易訓練等問題，KTO可以讓收集數據更簡單（只要收集正負樣本）而且效果也不差。
另外就是GPT-2 guidance 的方法也算是這幾年比較重要的研究，當前包含谷歌 Deepmind
也發現通過不同種類的LLM不論大小其實也都有對主模型起到類蒸餾的效果，結果也是會
比你單做SFT或RLFH還要好，不過如果是同一個模型重複迭代就有很高的機會發生Model C
ollapse 的問題，這可以從統計學上做很好的解釋，詳細有興趣的就自己去看Paper。
以當前來說，我不太認為o1對業界有掀起很高的技術壁壘，反而從這次OpenAI一反常態的
保守有可能推測僅是對現有技術的組合拳。這有可能顯示單一LLM模型這樣訓練下逼近上
限的事實（每家模型大廠可能最後表現都不會差異到哪裡去）。
以上
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.223.33 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Tech_Job/M.1726707601.A.130.html
留言