Ollama 模型节点#
Ollama 模型节点支持您使用本地 Llama 2 模型。
该节点暂不支持工具调用功能,因此无法与 AI 代理 节点配合使用。建议将其连接至 基础 LLM 链 节点。
凭证配置
该节点的身份验证信息请参阅 此处。
子节点中的参数解析
在使用表达式处理多项数据时,子节点的运行机制与其他节点存在差异。
大多数节点(包括根节点)可接收任意数量的输入项,经处理后输出相应结果。您可以通过表达式引用输入项,节点会依次为每个输入项解析表达式。例如:当输入包含五个 name 值时,表达式 {{ $json.name }} 将依次解析每个名称。
而在子节点中,表达式始终仅解析首项输入。例如:当输入包含五个 name 值时,表达式 {{ $json.name }} 将始终只解析第一个名称。
节点参数#
- 模型:选择用于生成文本补全的模型。可选值包括:
- Llama2
- Llama2 13B
- Llama2 70B
- Llama2 Uncensored
有关可用模型的详细信息,请参阅 Ollama 模型库文档。
节点选项#
- 采样温度:通过此选项控制采样过程的随机性。较高温度值可增强采样多样性,但会增加生成幻觉内容的风险。
- Top K:设置模型生成下一词元时的候选词元数量。
- Top P:通过此选项设定文本补全应使用的概率阈值。较低数值可排除概率较低的选项。