【51CTO.com快译】多年来，推动更好客户体验的业务营销和实施技术的动态发生了显著变化。聊天机器人就是一个很好的例子。

如今，很多网站都会提供聊天机器人的虚拟帮助。更重要的是，聊天机器人帮助企业管理和扩展他们的服务以及客户关系管理(CRM)的实践。

聊天机器人带来的优势吸引了很多全球性企业的关注，他们致力发挥聊天机器人的全部潜力来实现他们的业务目标。如果以正确的方式实施，聊天机器人可以帮助企业增强营销计划，同时提供更广泛的利益。

然而，正确地部署和使用聊天机器人不仅有助于实现企业的业务目标，采用良好的聊天机器人测试策略还可以帮助企业推动营销进程。

以下将深入了解聊天机器人测试的框架、工具、技术等各方面的知识。

了解聊天机器人测试框架

当人们谈论聊天机器人测试程序时，大多数都是一些标准化的要点。由于实现与通信相关的目标可能会遇到挑战，因此花费时间了解测试用例可以帮助企业更快地启动聊天机器人。而测试策略的目标是采用最受期待的测试实践。因此，聊天机器人的测试框架大致分为三个主要部分：

  • 预期场景

  • 可能的场景

  • 几乎不可能的场景

而在这三个阶段实施的测试程序通常涉及很高的投资，并且通常是为了加强一些语言方面的功能。

对聊天机器人测试的各个领域的简要介绍

当开始进行聊天机器人测试时，通常涉及以下类型的测试领域：

  • 回答

  • 对话流程

  • 错误管理

  • 智能

  • 自然语言处理(NLP)模型

  • 导航

  • 个性

  • 响应时间

  • 速度

  • 安全

  • 理解

然而，从这些测试领域获得最好的结果需要正确使用测试技术，这涉及敏捷和开发人员测试实践。以下进行简要介绍：

(1)敏捷和定期测试

聊天机器人都是关于敏捷技术的，因为它有助于在每次循环后获得所需的可行性。这种技术可以帮助处理错误，并通过快速迭代防止错误。其初始阶段通常涉及人工测试程序，这些程序通常用于处理业务工作流，而最后阶段通常是自动化的，以防止浪费时间，并快速推出市场。

(2)开发人员测试

这是一种更直接的测试方式，旨在通过预先定义用户查询问题的答案来验证测试。这种类型的测试很简单，通过检查聊天机器人给出答案的准确性来回答随机问题。

聊天机器人测试的框架

定义聊天机器人的操作并非易事，因此需要分析能力来克服该功能的不确定性。有许多框架可用于聊天机器人测试，但在使用它们之前，测试人员有必要了解可用测试技术或框架的目的和好处，以便将它们与定义的目标保持一致：

  • 高级自动化框架：测试端到端的对话流程，在理解自然语言的同时识别自我改进的机会。

  • 特定领域测试：评估所选服务的商业利益，以及满足最终用户目标检查可能的用例。

  • KPI分析和实时监控：通过测量不同的KPI来测试聊天机器人的性能，例如完成率、人工智能和机器学习的学习率、回退率和自助服务率。

  • 高级安全机制：评估端到端加密、合规性验证、身份验证超时、合并用户身份验证、意图授权、通道身份验证和自毁消息的安全机制。

聊天机器人测试的工具

由于聊天机器人测试需要为访问网站的任何人提供令人愉悦的用户体验，因此在各种领域和实践中工作需要使用正确的工具。以下是一些可以考虑用于聊天机器人测试项目的优秀的工具：

(1)Botanalytics

Botanalytics是一种支持人工智能的工具，它可以在获取参与度的同时进行对话分析。此工具用于增强A/B测试、通过情绪分析引导交互等功能。

(2)Chatbottest

Chatbottest是一个免费工具，附带120个问题来评估聊天机器人带来的用户体验。该工具适用于聊天机器人测试的所有上述定义的领域。

(3)Dimon

Dimon是一种可用于测试聊天机器人的对话流程以及用户体验的工具。此外，该工具还可用于将聊天机器人与Facebook、Messenger等社交媒体平台集成。

聊天机器人测试的技术

尽管可以选择不同的测试技术来测试聊天机器人，但每种技术的选择取决于企业使用的工具。这是一种在模型中获取所有训练数据并预测模型的简单方法。聊天机器人测试技术分为两大类：

(1)行业标准交叉验证

基于机器学习的模型通常使用统计方法进行测试，称之为交叉验证。这种测试技术的工作原理是评估模型预测与训练不同的新数据的能力。在交互式人工智能系统中进行此类测试时，使用示例训练查询测试机器人的范围。

最基本的实践包括LOOCV和K-fold方法，这意味着将数据分成k组，其中一部分用于测试模型，另一部分或K-1组用于训练目的。简而言之，此实践适用于在每次拆分中进行K次迭代的迭代。

另一方面，LOOCV方法是一种范围更广泛的技术，它适用于原始测试数据的可能组合，以进行训练和测试。该技术涉及较少的计算测试，并且可以针对较小的数据集实施。这种测试最好在盲测之前使用。

(2)盲测

盲测技术通常是针对用户可能用来获得所需答案的问题进行的。在大多数情况下，这些查询是通过已经定义的模型通过批测试执行的，因为它有助于标记所有查询并确保所有预测是否正确。

然而，对于使测试人员获得特定结果的操作步骤，必须检测使用的任何方法。通常情况下，实现数据可视化是为了理解不同模型之间的相似性和差异性。

自然语言处理(NLP)训练器也可以实施混淆矩阵来检测模式，并重新训练最终目标，但并非所有项目都需要通过这两种技术进行验证。此外，测试技术的选择取决于测试服务提供商可用的知识、经验和资源。

如何在没有当前数据的情况下创建完美的测试集?

交互式人工智能的测试和实施完全取决于所使用的数据集。因此，开发测试用例的人员可以遵循某些规则，以确保获得最佳结果：

  • 基于场景的测试集反映了访问网站的用户可能遇到的可能场景。这通常涉及基于意图的问题。

  • 详细描述为用户与聊天机器人交互提供解决方案，同时结合用户类型、查询表达式和难度。

  • 以系统的顺序排列问题和解释。

  • 为相应的查询提供措辞恰当且有价值的解决方案。

  • 拥有最好的数据源来实时回答用户提出的问题。

1.必须避免的常见错误

测试数据可以出现错误，因此需要降低期望值。以下是一些必须避免的常见错误：

  • 在测试会话人工智能时，对导致任意问题的场景准备不当。

  • 导致冲突或问题的相似表达的意图差异。

  • 仅包括一般的场景。

  • 数据集缺乏清晰性，其中包含大量不需要的内容。

2.必须考虑的常见聊天机器人测试场景

(1)聊天机器人应该加载需要实现它的网站。

(2)当用户登陆网站时，聊天机器人应该以弹出或声音的方式清晰地加载。

(3)聊天机器人应该根据用户的时区适时地向他们打招呼。

(4)如果已经注册的用户访问该网站，聊天机器人应该称呼他们的姓名。

(5)聊天机器人应该在聊天期间使用用户的姓名回答查询。

(6)如果需要，聊天机器人应该询问用户的联系方式。

(7)聊天机器人应该很好地识别男性和女性用户。

(8)聊天机器人应该识别可能的拼写错误。

(9)聊天机器人应该了解各国货币和数字。

(10)聊天机器人应该验证编程格式的联系人、日期和时间。

(11)聊天机器人应该能够处理由于复杂性引起的混乱。

(12)聊天机器人应该能够很好地响应粘贴的基于文本的查询。

(13)如果经过训练，聊天机器人应该存储对话历史，并将其转发到存储库。

(14)聊天机器人应该能够很好地处理同时来自不同用户的查询。

结语

总之，这一切都归结为针对所需功能测试对话式人工智能，可以通过持续的努力和正确使用这些技术来增强这些功能。更重要的是，聊天机器人测试涉及聊天机器人生命周期的一些关键特征，这些特征只能通过聊天机器人测试技术和框架并使用正确的工具和其他实践来实现，以防止错误并确保正确运行。

简而言之，聊天机器人的设计必须能够在特定领域的测试中提供最大的交互性，而这些测试是通过分析每分钟的测试结果来运行的，这一点非常重要。这种做法不仅可以帮助企业很好地处理用户查询，还可以创建足够智能的机器人程序来实现业务转换。

因此，无论企业是进行人工检查还是使用一些高级自动化测试工具来评估聊天机器人，创建能够处理对话、理解匹配意图并为用户提供良好体验的聊天机器人，将是企业实现其营销、销售和客户服务战略的关键所在。

原文标题：Chatbot Testing: Deeper Insights to Framework, Tools and Techniques，作者：Hima Pujara

【51CTO译稿，合作站点转载请注明原文译者和出处为51CTO.com】