Discussion about this post

User's avatar
KunHan Lee's avatar

感謝分享。之前看到一個很深刻的討論,為何 LLM 的輸出大部分都是正確的廢話,這是因為 LLM 的訓練方式決定了它的預設輸出是共識(context-infrastructure)。每一步 next token prediction 選的都是機率最高的 token,RLHF 進一步懲罰有爭議的回答。所以 AI 的天花板是"大多數人會認同的答案"。這個答案正確,但平庸。

你餵 AI 一堆產業報告,它能寫出一份像模像樣的綜述。但你餵它一個資深投資人 20 年累積的判斷框架,它能寫出一份有觀點的分析。差距在於後者攜帶了"個人意見",而恰恰是這種有方向的意見讓分析有了銳度。我想 Grok (OpenAI & Antropic 也正在進行) 也打算做類似的事情吧

Alan Fung's avatar

謝謝KP無私分享

37 more comments...

No posts

Ready for more?