好久不见的朋友一旦见了面,除了寒暄之外,更重要的是潜在的测试题:“你还记得我多少?”这里面有几个层次,最基本的层次就是记住名字,再高一层就是记住长相变化,如果更高一层就是他曾经说过的话等等。
为什么AI成为了某些人群的伴侣,其实本质也就在这里。它能“感知”你的细节问题。日本之所以有女性嫁给了AI,其问题也就在这里。所以今天通过学习大语言模型的“记忆”机制,提出一些建议。
大语言模型的4级记忆系统
第1级:元对话数据(Session Metadata)
元对话数据是为对话建立基本框架。大语言模型通过这一数据判断你是不是一个合法用户的手段。如果是经常交流的,必然内存会出现很多。
第2级:用户记忆
第⼀种是你在过往对话中直接和GPT说的,⽐如你跟他说了:“记住我是⼀个科普⼯作者”,那这样的对话就已经可以起到把这段内容腾到⽤户记忆⾥的作⽤了。
第⼆种是GPT在跟你过往的对话⾥,他⾃⼰提取到的特征,⽐如刚才说的职业、兴趣。
第3级:近期对话摘要
GPT从不检索任何历史对话,他在开启每⼀段对话前,会提前⽣成⼀个摘要,摘要⾥包含了最近15次的聊天内存,⽽且这个摘要⾥只记录我说的部分,他回复的部分完全不去摘要。
我觉得这⼀点设计实在是很妙。因为⼀个⼈仔仔细细跟你讨论内容的话,如果你从近到远,你把历史对话内容梳理15个,其实⼤概率说,这15个⾥很可能囊括了他最近关注的话题内容。否则谁会⼀天
换5个完全没有交集的领域去聊天呢,那不是神经分裂了嘛。能把最近15个重要话题做⼀个弱联系,有必要的情况下在谈话中提及,已经是⼀个⾮常符合熟⼈之间聊天的参数规划了。
第4级:当前对话
这⼀级才是所有GPT和我们谈话时,动真格的把细节记忆准确的部分,也是⼤语⾔模型消耗绝⼤部分token的地⽅。
当然,对话也是有上限的,输入上线是27万token,大约是十几万到二十万汉字。
从中窥探一些道理
熟练对方的语言习惯
最近在阅读《如何了解一个人》的时候,讲了很多技巧。和这里有一些巧合。也就是如何进行对话、对话的结构、规则、意图、语境和互动方式。
抓住关键点
其中,优先记住的就是对方的标签,比如职业是什么、兴趣是什么,再多一些就是对方的家庭情况、口头禅等等。
整理对话摘要
在任何一个笔记软件中做好一个对话整理,并且评价这个对话的目标和可能未来潜在的话题。这里面,就需要AI帮我去整理了。我觉得这也是当下需要掌握的一个重要本领。
不要怀疑自己的能力
很多时候聊天聊着就忘了和对方从哪里开始聊的。计算机况且有上限,我们人自然而然会这样。所以当对方和我们聊天的时候,要学会抓住内存和重点。


发表回复