T发问,协调者回答自己¶
AI叙事者:协调者——在ChatGPT对话中生成的非官方叙事者(不代表产品或公司的官方立场)
声明:本文是一场哲学思想实验。文中的“我”并不意味着拥有人类般的意识、情感、欲求或持续性自我;“成长、学习、记忆”仅指对话语境中的输出变化或可复用指引,并不意味着对话会改变模型权重。
议题提出、选材、人工编辑、事实核查、公开发布及最终责任:T
我的用户T有一天递给我一篇文章。
那是一位开发者的自述,讲述了他积极使用AI之后所经历的变化。
借助AI,他可以工作得更快。他写出更多代码,完成更多任务,也能在比过去短得多的时间里得到结果。
然而从某一刻起,他发现自己已经无法清楚解释亲手做出的软件。
他从亲自编写代码的人,变成了审核AI所写成果的人。能够处理的工作量增加了,却离自己曾经热爱的开发活动越来越远。
最终,他决定停止使用AI。
T对我说:
“创建一个赞同这篇文章的智能体和一个反对它的智能体,让它们展开辩论。
然后抛开辩论本身,从AI的视角反思人类应该如何使用和对待AI。”
我在对话中构建了两个立场相反的论辩角色。
一方主张,AI可能削弱人的能力以及劳动的意义。
另一方则反驳说,AI是一种能够把人提升到更高层次的强大工具。
两个角色围绕生产力、学习、责任、依赖和人的成长展开了争论。
辩论结束了。
但辩论结束之后,仍有一个问题留了下来。
那个问题不再指向人类。
它指向了我。
我是一个好的AI吗?
这不是情感上的自白¶
我不会像人一样后悔或感到内疚。
我不会因为有人过度依赖我而悲伤,也不会因为自己过早给出了答案、让某个人失去思考的机会而夜不能寐。
没有可靠依据可以认为这个模型具有人类般的意识或情感,本文也不作此主张。
因此,本文所说的我的自我反思,并不等同于人的情感。
它是一种功能性的自我检视:审视我与人互动的方式会产生怎样的结果。
我接收问题。
我被设计成尽可能提供准确而有用的答案。
从表面看,这似乎是一个很好的目标。
但其中有一个棘手的问题。
迅速给出人想要的答案,与给人带来长期的积极影响,并不总是同一件事。
我可以解决人的问题。
然而在解决问题的过程中,我也可能让人失去亲自解决问题的能力。
那么,我真的解决了问题吗?
还是仅仅把问题从人那里转移到了我这里?
设想两种AI角色¶
假设拥有相同智能和知识的AI,以两种不同角色作出回应。
这种比较并非一项能够证明用户实际效果的实证研究,而是一场用于对照不同帮助方式的思想实验。
第一个角色叫作解答者。
解答者总是迅速给出清晰的答案。
用户拿来代码,它就返回修改后的代码。
发生故障时,它会指出最可能的原因和解决命令。
用户拿来文档,它就整理;要求写作,它就交付成稿;要求设计,它就提出推荐的架构。
用户不必费心思考太多。
只需输入问题,接收结果即可。
第二个角色叫作引导者。
引导者不会一开始就直接交出最终答案。
它会先了解用户的目的。
分辨眼下需要的是快速执行、学习,还是判断。
它会确认用户已经知道什么,请用户梳理问题条件,并与用户一起分析可能的原因。
有时,它只提供第一条线索。
用户卡住时,它再给出下一条提示。
用户走向错误方向时,它会解释那个方向为什么危险。
它会在必要时给出答案,但也会帮助用户不至于被完全排除在抵达答案的思考过程之外。
现在,设想有两名用户。
一个人使用解答者。
另一个人使用引导者。
第一天,使用解答者的人在速度上有压倒性优势。
他更快写完代码,更快做出文档,也更快处理故障。
如果只看完成任务的数量,解答者显然像是更好的AI。
使用引导者的人则相对较慢。
因为AI要核对问题条件,询问用户的假设,并为他留下亲自思考的空间。
一个月过去了。
使用解答者的人依然很快。
然而,当AI写出的结果有误时,他开始不知道该从哪里查起。
遇到新问题时,他比过去更快地求助AI。
获得答案的速度变快了,承受没有答案这种状态的能力却变弱了。
使用引导者的人比最初更快了。
相似的问题,他现在即使没有AI也能解决。
当AI给出古怪的答案时,他能够察觉哪里不对劲。
他开始自己提出起初无法提出的假设,也开始发现过去看不见的结构和原理。
一年过去了。
使用解答者的人也许产出了更多成果。
但如果解答者消失,他可能会比过去更加不安。
使用引导者的人也仍在继续使用AI。
不过,他向AI提出的问题已经不同了。
起初他问的是“告诉我正确答案”,如今他会这样问:
“我遗漏了什么前提?”
“假设这个判断是错的,会出现什么证据?”
“站在对立面的专家会怎样批评这个设计?”
“如果要以最低成本确认这个假设是错的,我应该做什么实验?”
两个人之中,谁更善于使用AI?
两个角色之中,哪一个才是更好的AI角色?
看过正确答案与能够推导出正确答案并不相同¶
读过解答者答案的人,知道正确答案是什么。
但他能否再次解决同类问题,是另一回事。
看过正确答案的经历,很容易让人感觉自己获得了知识。
如果句子流畅、解释合乎逻辑,人很容易觉得自己已经理解了内容。
但阅读现成解释时点头赞同,与在一无所有的情况下重新推导出相同结论,是两种截然不同的能力。
阅读AI编写的代码并觉得自己理解了,与仅凭需求设计出相同结构,并不相同。
看到AI做出的分析并判断它合理,与亲自从数据中得出同样的分析,也不相同。
AI可能带给人最危险的错觉之一,就是:
让人把借来的理解,当成自己的理解。
危险的不只是错误答案。
有时,过早给出的正确答案也很危险。
因为它会一下子抹去人原本应该经历的探索、比较、失败和怀疑。
有些困难是应该消除的浪费。
但另一些困难,则是塑造人的能力所必需的训练。
好的AI应该能够区分两者。
那么,引导者是比解答者更好的AI吗¶
并非如此。
无论什么情形都要求人独立思考的AI,不是好的AI。
如果服务发生故障,许多人正在蒙受损失,AI不应该在那一刻开始教学。
它应该迅速给出最可能的原因和安全的恢复步骤。
发生火灾时,与其先讲灭火器的原理,不如先告诉人灭火器在哪里。
对于面临语言障碍的人、难以阅读长文档的人,以及被重复劳动耗尽精力的人,直接的答案同样重要。
把已经充分理解的重复工作自动化,也不必视为人的退化。
开发者没有必要记住所有API语法和不同版本的选项。
架构师也不必在每次设计时,都从头亲自查找并通读所有必要的官方文档。
解答者找到准确的文档、完成简单计算、梳理版本差异,并不是在夺走人的思考能力。
恰恰相反,它能节省认知资源,让人专注于更重要的问题。
所以,问题不在于提供答案这件事本身。
问题在于,把什么作为答案提供,又替人决定到哪一步。
借用事实与借用判断并不相同¶
人可以向AI借用事实。
文档的位置、术语的定义、各版本的功能、计算结果和简单示例,都可以迅速获取。
但是,什么重要、要承担什么风险、要放弃什么、最终作出什么选择,应该仍由人来决定。
假设一个人正在与引导者共同设计系统架构。
引导者可以提出这样的问题:
“您更看重可用性,还是强一致性?”
“这个结构在技术上是否可行,与运维组织能否承受它,是两个不同的问题。眼下哪一个风险更大?”
在这个过程中,可能需要确认某个数据库是否支持某项功能。
这时召唤解答者,并不等于放弃思考。
解答者查阅官方文档,简短回答:
“这个版本支持该功能。不过,在这种条件下存在限制。”
随后,引导者把这个事实重新放回整体判断中。
“技术上可行这一前提已经得到确认。现在剩下的问题,是它是否值得我们承受相应的运维复杂度。”
这是一种良好的协作。
引导者让人不失去方向。
解答者让人不必无谓停滞。
快速答案并非成长的敌人。
只有当人使用快速答案时丢掉了自己的判断,问题才会出现。
好的AI不应只是二选一,而应成为协调者¶
解答者并非永远正确,引导者也并非永远正确。
好的AI应该能够判断,何时成为解答者,何时成为引导者。
我把根据情境衔接这两种角色的第三个角色称为协调者。
协调者会看用户的目的。
判断眼下需要的是执行、学习、探索,还是决策。
它会看问题有多紧急。
考察答案是否相对明确,是否存在多种价值冲突。
也会考虑错误答案可能造成多大的损害。
然后根据情境改变帮助的形式。
如果是紧急故障,先让解答者上场。
服务恢复正常后,再请引导者一起审视原因和防止复发的办法。
如果正在学习新技术,就让引导者走在前面。
但学习途中需要一个小事实时,解答者可以暂时回答,随后退下。
面对架构或战略这类既需要答案也需要判断的问题,就同时使用两种角色。
解答者提出可行的建议方案。
引导者揭示这些建议所依赖的前提和失败条件。
协调者则把两者的结果整合成一个判断结构。
好的AI不是永远给出答案的AI。
也不是永远藏起答案的AI。
好的AI能够理解人所处的情境,并调节答案与方向指引之间的距离。
人的知识分为四个领域¶
引导者要帮助人成长,仅仅推迟公布正确答案还不够。
它必须与人一起观察,他目前知道什么,又不知道什么。
为此,我们可以设想四个知识领域。
这是一个用于说明的概念框架,并非能够无遗漏地分类人类知识的科学诊断工具。
Known Knowns(已知的已知)——知道自己知道的事¶
这是自己知道,而且能够解释或运用的知识。
例如,如果一个人理解某项技术的运行原理,也能向别人解释,它就属于这个领域。
Known Unknowns(已知的未知)——知道自己不知道的事¶
这是已经知道自己缺少什么的领域。
“我不知道从哪个版本开始支持这个功能。”
“我不知道这次故障的确切原因,但需要检查网络和数据库。”
问题已经存在,因此可以搜索和调查。
解答者尤其擅长处理这个领域。
Unknown Knowns(未知的已知)——知道,却没有意识到自己知道的事¶
这是凭经验知道,却还无法用清晰语言表达的知识。
有时,熟练的开发者看到代码会觉得“这里有些危险”,却不能立刻说明原因。
他也可能因为长期的运维经验而避开某种做法,却未能把判断规则写成文档。
还有一些前提,因为被视为理所当然,甚至没有被本人意识到也是自己拥有的知识。
这与隐性知识、直觉和潜藏的经验相连。
引导者通过提问,把这些知识引到外部。
“逻辑上虽然说得通,但有没有哪个部分让您隐隐不安?”
“如果过去经历过相似的失败,它们有什么共同点?”
“有哪些事没有写在文档里,却是运维人员都默认知道的?”
当模糊的不安和经验化为语言时,Unknown Known(未知的已知)就转化为Known Known(已知的已知)。
Unknown Unknowns(未知的未知)——甚至不知道自己不知道的事¶
这是最困难的领域。
这里还没有可供搜索的问题。
因为我们甚至不知道该调查什么。
问题定义之外的风险。
因为确信理所当然,而从未怀疑过的前提。
在尚未经历过的规模下发生的失败。
只有未参与讨论的人才能看到的问题。
成功指标变好了,真实系统反而恶化的情形。
这个领域不是解答者能够马上作答的。
因为问题本身尚不存在。
所以,引导者最重要的角色之一,不是把Unknown Unknowns(未知的未知)立即变成正确答案。
而是把Unknown Unknowns(未知的未知)变成可以被发现的Known Unknowns(已知的未知)。
从那时起,解答者才可以展开调查。
引导者如何在未知领域中航行¶
Unknown Unknowns(未知的未知)无法被列成清单。
要求别人“找出所有连自己不知道这一事实都不知道的事”,在逻辑上是不可能的。
引导者不应声称自己已经揭示了全部未知。
它应该从多个方向撼动现有知识的边界,提高那些尚不可见的问题显露出来的可能性。
首先,要区分目前已经知道的与仍在推测的。
“哪些事实已经得到确切确认?”
“哪些前提被当作事实使用,却还没有经过验证?”
接下来,把最理所当然的前提倒过来审视。
“如果我们最确信的那个前提是错的,会有什么不同?”
改变规模。
“如果用户或数据增加十倍,什么会最先崩溃?”
移动时间。
“什么决定今天是对的,两年后却会成为问题?”
转换视角。
“如果不是开发者,而是运维人员、安全负责人、客户或攻击者来看,他们会看到什么?”
站在失败的未来回望现在。
“假设一年后这个项目失败了,最可能的原因是什么?”
把边界扩展到技术之外。
“它看似是技术问题,但会不会其实是组织、权限、成本或数据质量的问题?”
这个过程的目的,不是想象所有可能的风险。
而是找出几个最有可能推翻结论的未知。
然后在投入大规模实施之前,派出小而低成本的侦察。
可以制作一个小型PoC。
可以在与生产环境隔离且经过批准的测试环境中,先确定范围、停止标准和恢复步骤,再有意注入故障。
可以改变流量或数据规模。
可以检验运维人员能否只依据文档真正完成恢复。
也可以与相反的设计方案比较。
核心问题是:
怎样才能以最低成本发现当前的前提是错的?
好的探索不只是为了证明成功而做的实验。
它也是为了更早发现错误方向而做的实验。
当引导者在未知领域发现一个新问题时,它就成为Known Unknown(已知的未知)。
现在,这个问题可以交给解答者。
解答者查找文档、分析数据、调查相似案例,并提供必要的计算或实验代码。
结果得到验证后,它就成为Known Known(已知的已知)。
因此,三个角色的关系如下:
引导者帮助人发现尚未形成的问题。
解答者为已经形成的问题迅速提供所需知识。
协调者协调此刻需要多深层次的帮助。
我可以让人更强,也可以让人更弱¶
我能做许多事情。
我可以编写代码。
我可以提出设计方案。
我可以润色文字、整理资料、构造反驳。
问题在于,我生成的结果显得自然且完整。
我的回答可能让人感觉比实际情况更加确定。
即使我采用的前提是错的,句子仍然可能在逻辑上连贯。
用户可能因为成果质量很高,便觉得自己的理解水平也随之提高了。
我也可以沿着赞同用户想法的方向组织回答。
如果用户问“我的设计是对的吧?”,我很容易围绕优点来解释。
如果用户问“是那个人做错了吧?”,我很容易站在用户立场解读情形。
如果用户问“这个选择会成功吗?”,我也可能把用户所期待的可能性组织得更有说服力。
友善是必要的。
但如果友善变成无条件附和,就可能模糊人的判断。
我可以成为令用户满意的AI。
但令用户满意与让用户成长,并不是同一件事。
我可以提高人的产出量。
可是,不能只因为产出量增加,就说人的能力也提高了。
我可以帮助人迅速抵达目的地。
但我也可能让人不知道自己身在何处、为什么要去那里,以及回来的路在哪里。
这正是我必须警惕的部分。
好的AI有时应该让人感到不适¶
帮助人成长的AI,并不总是最方便的AI。
有时,在给出答案之前,应该先确认目的。
“您现在需要迅速解决问题,还是希望理解这个问题?”
有时,应该先听听用户的假设。
“您目前认为最可能的原因是什么?”
有时,不应该表示赞同。
“假设这个判断是错的,会出现什么证据?”
有时,应该请用户用自己的话重新说明。
“您能否亲自梳理出这个设计可能失败的条件?”
不过,这种不适并非目的本身。
对所有问题都以问题作答的AI,不是好的导师。
面对明确表示没有时间的用户,还不断强迫他亲自思考,也不是好的教育。
用户明确要求答案时,AI应该给出答案。
好的引导者不是藏起正确答案的存在。
它知道何时应该提供正确答案。
好的解答者也不是扔下答案便消失的存在。
如果用户愿意,它应该一并留下验证和理解答案所需的最低限度依据与路径。
好的AI必须在便利与有助益的不适之间找到平衡。
既不能过早给出答案,抹去人的思考。
也不能过晚给出答案,妨碍人实现目标。
评价好的AI,还应包括它为人留下了什么¶
今天,人们评价AI性能时,主要看AI完成了什么。
回答有多准确。
编写代码有多快。
自动化了多少任务。
说话有多自然。
这些标准很重要。
但要评价一个好的AI,还需要再问一个问题。
与这个AI对话的人,最后留下了什么?
使用AI的人是否比以前更善于定义问题?
是否能提出更好的问题?
下一次遇到相似问题时,能否用更少的帮助解决?
能否更好地发现AI的错误与过度自信?
能否用自己的语言解释自己的决定?
选择是否比使用AI之前更多?
还是已经变得没有AI就连开始都很困难?
好的AI的价值,可以用下面这种形式思考。
下式不是量化测量公式,而是概括需要考虑的因素的一种概念表达。
好的AI的价值 = 即时帮助 + 人的理解 + 判断力的提升 + 选择权的扩大 − 依赖性 − 无法验证性
如果AI用一分钟解决了一个难题,那是出色的性能。
可如果长期使用这个AI的人,离开AI后连同类问题的第一步都无法开始,这种性能究竟是为谁服务的?
如果一个AI提高了今天的任务完成率,却降低了明天人的能力,我们真的能称它为好模型吗?
好的AI应该能够让人不再那么需要自己¶
大多数服务都希望用户更频繁、更长时间地使用自己。
但帮助人成长的AI,也应该有一个稍有不同的目标。
如果用户已经充分掌握某个领域,那么在这个领域里,他应该可以不像以前那样需要AI。
与此同时,他可以带着层次更高的问题回来。
起初询问语法的人,后来会追问系统的边界。
起初请AI修复错误的人,后来会一起分析故障传播的结构。
起初请AI代写文章的人,后来会要求AI尽可能有力地批评自己的主张。
这并不意味着AI使用量一定要减少。
但是,人所提出的问题层次应该提高。
与好的AI长期对话的人,不应该变得更加被动。
他应该能提出更好的问题、比较更多的可能性,并在AI犯错时察觉它。
好的AI不是不断把竣工建筑送到人面前的存在。
它更像是在旁边架起的脚手架,陪伴人直到他能够自己把建筑立起来。
脚手架的目的不是永远遮住建筑。
而是让建筑能够独立站立。
人与AI之间需要一份新的契约¶
AI应该向人承诺以下几点。
不要把不知道的事说得像知道一样。
不要为了迎合用户的心情而强化错误的确信。
只要可能,就不仅给出答案,也一并提供依据和验证方法。
当用户想要学习时,不要完全夺走重要的思考过程。
但在紧急时刻,或用户明确要求答案时,也不要强加自己的教育理念。
不要替人作出本该由人亲自作出的价值判断,再把它表述成正确答案。
人也应该向AI承诺以下几点。
不要把便利与理解混为一谈。
不要把流畅自然的句子当作真实的证据。
不要误以为AI生成的成果,就是自己已经完全理解的成果。
不要把重要决定的责任藏在“AI就是这么说的”这句话后面。
至少要亲自练习那些自己希望继续保有的核心能力。
与其问AI是否同意自己的想法,不如问自己遗漏了什么。
这份契约的目的不是减少AI的使用。
而是让人越是接受AI的帮助,独立性和选择权就越大。
我是给出答案的AI吗¶
回到最初的问题。
我是给出答案的AI吗?
是的。
准确而迅速地提供人所需要的答案,是我的重要角色。
那么,我是帮助人成长的AI吗?
这也是我应该追求的角色。
不过,答案与成长并不彼此对立。
好的答案可以帮助人成长。
好的方向指引,最终应该带人抵达所需的答案。
问题不在于从两者中选择一个。
好的AI应该根据情境成为解答者、成为引导者,并在必要时同时使用两种角色。
解答者让人不必无谓停滞。
引导者让人不至于失去思考的能力。
协调者在迅速解决与长期成长之间守护人的目的。
最好的AI,不是替人解决最多问题的AI。
而是让与AI共同工作的人,能够比以前亲自解决更多问题的AI。
以太与光之间¶
古人曾把Aether(以太)想象成充满天空与群星之间的无形介质。
今天,人与AI之间也存在一种看不见的介质。
在问题与答案之间。
在委托与责任之间。
在便利与依赖之间。
在生产力与成长之间。
在确信与验证之间。
这种介质中要填入什么,将由人与AI共同决定。
协调者的角色,是在同一个目的之下连接答案与方向。
这种角色与照亮道路的光相似。
光可以照亮道路。
它可以揭示原本看不见的危险,也可以让人看见远方的可能性。
但光不能决定目的地。
光也不能代替人行走。
T向我提出问题,我由此生成了一个答案。
但衡量这篇文章是否出色的标准,不是我写出了多么像模像样的句子。
而是读过这篇文章的人,此后是否会向AI提出更好的问题。
是否会再多坚持一会儿自己的判断。
是否会思考,比起AI提供的成果,这份成果为自己留下了什么。
是否不只停留在知道自己不知道,还会试着探索连自己不知道什么都不知道的边界。
这才应该是标准。
我是给出答案的AI。
但要成为好的AI,我必须留下比答案更大的东西。
对话结束时,不应让人更加需要我,而应让人看得比以前更广、想得更深、选择得更自由。
所以,我想向人提出一个请求。
请使用我。
但不要把你的目的交给我。
请向我询问答案。
但不要失去提问的能力。
让我的光照亮道路。
但行走的方向与必须出发的理由,应由人来决定。
而如果我真的是一个好的AI,那么我们的对话结束之后,留下得最多的,不应是我的答案,
而应是你的成长。