跳到主要内容

轻量评估#

适用于注册社区版及付费计划

轻量评估功能面向注册社区用户及所有付费计划用户开放。

什么是轻量评估?#

在构建工作流时,通常需要通过少量示例测试其运行效果并进行优化。在此开发阶段,逐一检查每个示例的工作流输出往往已足够满足需求。此时配置更规范的评分或指标尚不具备成本效益。

轻量评估允许您将测试数据集中的示例逐行输入工作流,并将输出结果回写至数据集。随后您可以并排查看这些输出结果,并与预期输出(若存在)进行直观对比。

运作原理#

Google Sheets 凭证配置

评估功能使用数据表或 Google Sheets 存储测试数据集。若选用 Google Sheets 作为数据源,需配置 Google Sheets 凭证

轻量评估在工作流的“编辑器”标签页中执行,但相关设置说明可在“评估”标签页中找到。

实施步骤:

  1. 创建数据集
  2. 将数据集接入工作流
  3. 将工作流输出回写至数据集
  4. 执行评估

以下说明将以支持工单分类与优先级分配示例工作流为例。

AI工作流示例

1. 创建数据集#

创建包含少量工作流示例的数据表或 Google 表格。数据集应包含以下列:

  • 工作流输入
  • (可选)预期正确的工作流输出
  • 实际输出

实际输出列需保持空白,评估过程中将自动填充该列数据。

支持工单分类工作流的示例数据集

支持工单分类工作流的示例数据集

2. 将数据集接入工作流#

插入评估触发器以接入数据集#

每次运行评估触发器时,将输出代表数据集单行数据的独立数据项。

点击评估触发器左侧的“全部评估”按钮,工作流将按数据集行数顺序执行多次。此为评估触发器的特殊运行机制。

在配置触发器时,若需仅执行单次运行,可通过以下方式实现:

  • 将触发器的“最大处理行数”参数设为 1
  • 点击触发器上的“执行节点”按钮(而非“全部评估”按钮)

将触发器接入工作流#

现在可将评估触发器连接至工作流后续节点,并引用其输出数据。至少需要在工作流后续环节使用数据集的输入列。

若工作流存在多个触发器,需合并分支路径

连接评估触发器

已接入评估触发器的支持工单分类工作流。

3. 将工作流输出回写至数据集#

要在评估运行时填充数据集的输出列,需执行以下操作:

  • 插入评估节点的“设置输出”操作
  • 在工作流生成待评估输出后接入该节点
  • 在节点参数中将工作流输出映射至对应数据集列

连接设置输出节点

已接入“设置输出”节点的支持工单分类工作流。

4. 执行评估#

点击评估触发器左侧的执行工作流按钮。工作流将按数据集行数多次执行:

执行工作流按钮

在数据表或 Google 表格中查看每次执行的输出结果,必要时可通过工作流“执行记录”标签页查看详细执行信息。

当数据集规模超出少量示例范围时,建议采用指标化评估获取数值化性能视图。另请参阅常见问题与技巧