人机协同的信任边界在哪里？

ttxx

时至今日，人类与机器之间的界限，第一次变得如此模糊。

大家将人机协同界定为人类与智能系统（即算法、人工智能和机器人）互动、 协作共同完成任务的过程和方式，它包括人机融合、人机共存和人机协作等所有形式的交互。在这里，“机”不仅可以是传统的非智能化机器或信息系统，还可以是由人工智能（AI）赋能的智能机器人和数字系统等更高级的智能设备。

越来越多的研究阐明了人机协同的意义与价值。人工智能的性能日益优化，其使用边界与场景不断被拓展，在不同领域辅助人类工作时，极大地提升了生产效率以及生产力。尤其是近年来ChatGPT的出现，其在医疗、金融、管理等领域的成功案例，为大家生动展示了人机协同所能达到的辉煌成就。AI凭借其强大的数据处理与分析能力，能够揭示出人类可能忽略的数据关联与深层模式，针对复杂问题提供了新颖且富有洞察力的解决方案。

在人机协作过程中，人的能力不可忽视。他们有效地利用并充分发挥人工智能技术的作用，人的效能与人工智能的高性能相互补充，并共同创造新的价值。人的理解分析能力与人工智能的计算能力相结合，能产生最佳的预测准确率；人与深度学习算法协同能实现更优的图像识别准确率。

因此，一方面，AI可以有效辅助提升人的工作效率；另一方面，人的能力可反馈机器、弥补机器判断的不足，两者结合将发挥最佳作用。这一过程不仅彰显了AI的非凡能力，更强调了人机协作作为深度、创造性互动模式的价值——“AI是人的能力的延伸，而人则是AI能力的放大器”，两者相辅相成，共同推动着问题解决边界的不断拓展。

#1 AI发展大趋势下的人机协同

现实中，由于AI数字系统的复杂性，AI与人类协作时，结果往往并不令人满意。事实上，关于用户抵制AI应用、员工拒绝与AI合作的资讯层出不穷。原因之一是，AI技术当前仍不完善，它对复杂环境的感知和理解，以及处理异常和边缘情况的能力仍然有限，这容易引发用户不满。但更主要的原因在于，AI技术发展初期过于关注任务本身，忽视了外部环境，特别是人类认知能力、员工情绪和用户体验需求等因素。这导致了人机合作绩效不理想。

例如，推特和AMAZON等科技企业就因AI系统设计偏差，导致用户和员工对AI失去信任，甚至抵制AI系统。经典的技术悖论理论指出，在人机交互过程中，用户有限的理性决策与技术的最优决策机制常常冲突，从而产生负面效应，影响技术的商业价值和社会价值。因此，如何建立人与AI系统之间的互信和有效协作，推动AI创新与价值实现，成为管理领域的关键课题。

AI作为这个时代最具变革性的力量之一，其智能性突破使机器能够更好地理解人的意图，并满足人的需求。因此，与以往传统的人机协同不同，AI的发展也为人机协同带来了以下新的特征：

首先是AI系统的主动协同。AI系统的主动协同是指在对用户心理、行为状态及所处场景等综合识别的基础上，主动地应对用户需求。长久以来，人机协同一直延续着人类“输入”、机器“反馈”的循环模式，人类始终是主动的，机器始终是被动的。随着语义理解、图像理解等人工智能认知技术的提升，机器应逐步建立起对用户和场景的全方位识别网络，不断对用户画像进行学习，从而准确地把握用户需求，基于此提供贴心化的服务，从而有效地提升用户的生活效率和生活品质。

其次是AI系统的情感协同。在人机协同过程中，机器基于表情、文本等方式的情感识别能力已有很大的提升。例如，MicroSoft的小冰对话AI，早在2015年左右就花费大量时间和精力打磨其虚拟形象框架（Avatar Framework），专注于聊天机器人的情感感知和对话的连续性，使其反馈更加接近人类，以促进人机协同。目前，市面上出现的如情感陪护机器人、智能音箱、智能汽车等已经初步具备基本的情感识别能力，可以根据不同的场景、对象，进行适当的情感交互协同。

最后是多场景衔接协同。AI技术，特别是大模型通用AI 技术的进一步成熟，推动了AI系统从单一智能、独立场景向互联智能、场景融合的转变。未来，机器将实现互联互通，进一步融合多个场景，连接VR/AR等人机交互技术。这将促进线上与线下、虚拟与现实的无缝连接，推动AI扩展到更多产业和实体。在AR中，现实与虚拟将不再是简单叠加，而是有机融合，使用户能够通过自然意识与机器进行协同工作。

基于这些新的协同特征，人与AI系统之间迫切需要定义一种新的关系模式，走向更紧密的深度融合，实现人机协同。根据分工特征，一些学者对人机协同模式进行了分类。

例如，马卡努斯（Makanus）等人基于社会技术系统（STS）开发了一个人机协同分类模型。该模型结合了智能机器的新颖性（低/中/高）和智能机器的范围（内容变化型与情境变化型/激进智能机器）两个维度，提出了六种交互方式：

索瓦（Sowa）等人则区分了四种人机协同模式

李（Li）等人通过实证研究确定了四种人机交互模式

李忆和余良如（Lyi，Yu Liangru）则认为，关于协作类型的文献存在分类维度少、方式单一和现有场景局限等问题。他们提出，协作模式可以从AI技术整合方式和协作主导者两个维度进行分类，如图1所示。其中，AI技术整合方式是指AI技术的应用对协作任务的影响和作用程度，协作主导者指人或AI在协作任务的主导地位，即谁是任务的主导者。

#2 人机协同信任

用户与技术之间的相互信任是人机协同的重要前提。信任在帮助用户克服使用和接受新技术时的风险和不确定性方面起着关键作用。AI系统作为一种更为复杂的产品，具有更高的人机共生和融合程度。其黑盒特性带来的不可预测性和不确定性，增加了用户面临的复杂性和潜在风险，进一步加大了人机信任的挑战。因此，亟须研究如何设计有效的对策，促进用户对AI复杂产品系统的信任机制，从而提升AI系统应用过程中的人机协同创新效率。

在AI系统的初期引入阶段，系统的焦点主要集中在任务功能的实现上。这时，用户缺乏与AI系统交互的经验，可能会对AI系统产生偏见。例如，用户可能认为AI的决策过程比人类的决策过程更简化，或者认为AI系统缺乏驱动其行为的意图，因此不愿合作。这些偏见导致用户对AI系统缺乏初始信任，甚至产生反感或抵制使用。

然而，随着AI系统的普及，应用场景变得更加多样，用户群体更加广泛，人机交互频率也显著提高。由于AI系统的功能逐步得到认可，或是先前的偏见有所减弱，用户的不信任现象有所减少。现在的挑战更多地在于如何提升用户与AI系统的长期合作体验，并促进人机的双向协同创新，从而实现AI系统的更大价值。因此，大家需要关注如何使人类与AI系统的合作更加紧密，减少合作中的摩擦，建立可持续的互相信任关系。

人与AI协作模式分类示意图

一项针对应用市场中ChatGPT用户评价数据的分析结果显示，用户已经认识到AI目前还存在以下五类问题：登录限制与操作门槛；内容时效性与数据处理；错误响应与内容质量问题；交互功能与计算性能；个人信息安全与终端使用体验。因此，要想提升用户对AI系统的认知信任，可以通过增强AI技术产品的可靠性、可说明性、透明性、稳健性、安全性等手段。其中，提升认知信任的一个重要方向是可说明人工智能。理解AI的决策过程在决定是否接受其系统时至关重要。当AI系统能够详细说明它是如何以及为何得出某个结论时，用户建立对AI系统的信心和信任将变得更加容易。

有研究表明，AI的机器身份有时能够增强用户的情感信任。首先，由于机器没有价值偏见、精准无误、客观公正且受规则约束，用户通常会认为它值得信赖。其次，当机器展现出与人类相似的特质，如提供有价值的回应、遵循社会交往中的互惠原则等，它便能成为用户心中的准社会关系对象。此外，机器能够为用户提供更加轻松、无拘无束的交流环境，帮助用户自由表达想法、分享情感，并即时获得反馈。这种单向的情感支撑有助于缓解用户的心理压力，进而增强用户对机器的情感信任。

尽管AI在诸多方面展现出其独特优势，但人们在面对机器做出道德决策时仍会感到不适。这是因为算法代理缺乏人类所特有的思维与情感体验，当员工认为这些人工智能管理者缺乏仁爱之心、不关心人类福祉时，他们可能会更加抵触人工智能在组织中取代人类管理者的角色。尤其是在需要高度同理心的场合中，这种抵触情绪可能引发一系列负面后果，如员工生产力的下降、组织承诺的减弱等。

由此可以看出，用户对AI系统有认知信任但没有情感信任，也会抑制AI的使用。例如，随着社会老龄化加剧，社交机器人被越来越多地应用于老年健康看护和生活陪伴，以应对看护劳动力短缺的问题。一篇题为《社交机器人是否会过于温暖或过于能干？——中国老年人对社交机器人的看法及其脆弱性》的论文探讨了中国农村地区的老年人是如何看待社交机器人的。研究通过在河南省武陟县进行的问卷调查发现，老年人认为外形小巧、酷似动物的机器人更具温暖感，这一看法与其他国家和学问中的老年群体一致。

相比之下，酷似机器或人类的机器人被认为更有能力，但老年人对这两类机器人的喜爱度并不高。这一例子表明，在设计社交机器人时，必须综合考虑老年人的情感需求和社会心理，以更好地增强他们对机器人的信任。

#3 通过技术算法与系统优化促进人机协同

技术不仅是推动进步的引擎，更是增强用户信任与协作意愿的桥梁。目前，关于信任的研究多集中于如何通过提升AI在特定任务场景下的可说明性、透明性等交互界面设计来增强用户信任。然而，技术本身也有很大潜力。AI系统可以通过技术算法的改进来保障与用户的持续互信。

例如，通过在现有算法上叠加隐私保护算法，大家不仅保障了用户隐私，还赢得了他们对AI系统的信任。再比如，将专业常识融入算法，不仅提升了AI系统的认知共识能力，还优化了用户与AI智能体的协同工作框架，增强了人机系统的自主协同效果。简而言之，通过精心设计的系统流程和算法，大家能够提升AI系统的内在互信保障。

即使在技术条件受限的情况下，大家也可以通过优化运作机制来提升机器的“感知可信度”。试想一下，如果大家在传播层面提升了算法的透明度和可说明性，用户就能更清楚地理解系统的运作方式和决策过程，这不仅能校准他们的期待，还能避免过度信任。再比如，根据失误恢复理论，当系统在发生错误后能迅速有效地恢复，用户的信任不仅不会下降，反而可能因为对恢复能力的认可而提升。实证研究也发现，机器人在发生错误后马上道歉，比完成任务后再道歉更有利于信任的修复。特别是对于那些“黑箱”计算的人工智能模型，及时的错误发现、校准响应与迭代输出，对于维系可持续信任至关重要。

现在，让大家把视角转向一场别开生面的“信任博弈”——AI版的“囚徒困境”。在这个实验中，科学家们让两个AI代理人扮演囚徒的角色，面对着博弈论中的经典问题。如果两个AI都选择合作，它们将获得较高的回报；如果一方背叛而另一方合作，背叛者将获得最高回报，而合编辑则一无所获。这个实验的关键在于，双方都不知道对方会如何选择，需要根据对彼此的信任程度来做出决策。

研究者们使用了OpenAI的GPT-3语言模型，并对其进行了有针对性的微调，以更好地应对信任博弈场景。他们设计了一个多轮次的囚徒困境游戏，让两个基于GPT-3的AI代理人通过自然语言交互，讨论并做出合作或背叛的决策。在每一轮游戏后，代理人会根据对方的行为调整自己的策略，并根据结果获得奖励或惩罚。

经过大量的训练和迭代，研究者发现，这些AI代理人逐渐表现出了与人类相似的信任策略。它们会根据对方的言行来判断其可信度，并相应地调整自己的决策。这一发现不仅展示了大型语言模型的社交智能，也表明了它们能够通过语言交互来理解和适应不同的社交场景。

因此，建立有效的激励和惩罚机制变得至关重要。如果大家能在AI系统中建立类似于现实生活中的机制，AI就更有可能学会诚信和合作。这需要大家在技术层面设计合理的奖惩函数，在应用层面建立相应的社会规范和法律约束，以确保AI系统能够在信任的基础上与人类进行更有效的协作。

#4 人机互信的未来

综合当前AI价值提升中的信任挑战，以及现有研究在用户与AI的信任演化机制中的不足，大家认为，未来AI系统可以分别从用户持续使用的信任保障设计、用户与AI系统协作的信任保障设计、技术层面的信任保障设计以及组织层面的信任保障设计这四个方向入手，来开展相关的研究，以形成用户和AI系统在认知、情感和组织上的持续互信。

人机互信视角下的未来研究方向框架

1. 用户持续信任导向的AI系统感知特征设计研究

这一方向的研究需要关注如何在AI系统进入普及化阶段时，面向用户长期使用产品过程中的体验情感需求，建立用户对AI的持续信任机制。研究可以梳理影响AI系统的长期情感信任的特征，例如，通过可靠性和透明性等设计为用户提供长期使用的安全感，通过共情等设计来满足用户的情感需求，增强人机长期协作中的用户情感信任，以维系更加稳固的人机长期协作。同时，也可以通过适时适当的AI反馈、AI当责感等设计，来应对人机长期协作中可能出现的失败，降低用户感知风险，提升用户感知到的AI的善意和责任感，构建人机长期协作中的用户情感信任。

2. 人机双向信任导向的AI系统交互特征设计研究

这部分需要研究人员从认知和情感的角度，基于影响AI系统与用户协作效果的几大机制，提升人机双向互信。例如，可以基于人与AI互惠式学习机制，探究如何激励人机互惠动机，设计传递彼此善意的交互方式，从而增强人机的情感互信；基于人机回环的强化学习，研究如何识别和纠正人机错误，设计互补与增强的机制，构建认知上的正确互信机制；基于人机交互界面设计，探索人机友好的交互媒介设计，提升人机的认知和情感互信等。

关键是要探讨如何更好地构建人与AI在认知和情感上的动态双向信任机制，促进人与AI的能力互补、相互学习与增强。同时，减少人与AI协作过程中的负面效应，如用户过度依赖AI或AI错误迎合用户等问题，进而推动人机协作的动态持续改进与创新。

3. 人机持续互信导向的AI系统技术保障设计研究

这一方向主要针对AI系统中的多模态数据管理、多智能体协作以及人机自主性协作等独特的技术特征，研究如何从技术功能的角度提升人机的持续互信。例如，通过在多模态数据处理的原有算法上叠加隐私保护算法，可以保障用户对AI系统的信任；融入专业常识则能增强AI系统与用户的认知共识能力，缓解隐私问题，促进人机的认知和情感的持续互信。

此外，通过算法个性化自主设计，优化决策目标、用户与多智能体的协同集成框架和协作模式等，能够优化自主性与控制力的分配，从而提升人机的认知和情感的持续互信。

研究还需要探讨如何将促进信任的作用机制通过算法等形式融入人与AI智能体代理的协作中。在算法与技术框架设计上为促进人机协作的信任与创新提供保障，从而改善智能体与智能体、人与智能体之间的合作效果。

4. 人机持续互信导向的AI系统组织适配设计研究

这一方向的研究可以从驱动AI系统信任相适配的组织视角出发，营造促进长期组织信任的环境，探究如何激发和设计组织在促进人机持续互信中的作用。例如，研究组织如何管理用户技能、工作任务和领导风格等因素在人机协作中的适配。

研究可以聚焦于AI系统引入企业后，如何改变对用户技能的要求，以及企业在招聘和培训时需要根据新的技能要求做出哪些调整；还可以探讨企业如何通过合理分配工作任务，促进用户与AI系统之间的协作；以及企业如何管理AI领导者与人类领导者的协作，以确保人机高效完成任务等。

进一步，研究组织在协调管理人机协作中的角色，旨在为人机协作构建支撑性的组织环境，促进其良性发展和效率提升。最终，研究目标是增进人机持续互信，进而提升AI系统的价值。MI·专题

参考文献

李忆，喻靓茹，邱东.人与人工智能协作模式综述［J］.情报杂志，2020（10）：137-143.

卢向华，邹玉凤. AI普及化背景下的价值提升机制与未来研究方向——基于人机持续互信视角[J]. 中国科学基金,2024,38(5):867-875.


来源：36kr