Token Splitter 节点#
Token Splitter 节点通过先将原始文本字符串转换为 BPE 令牌，随后将这些令牌分割成数据块，并将单个数据块内的令牌重新转换为文本来实现文本分割。
子节点中的参数解析
在使用表达式处理多个数据项时，子节点的行为模式与其他节点不同。
大多数节点（包括根节点）可接收任意数量的输入项进行处理并输出结果。您可以通过表达式引用输入项，节点会依次为每个数据项解析表达式。例如当输入五个 name值时，表达式 {{ $json.name }} 会依次解析每个名称。
在子节点中，表达式始终解析第一个数据项。例如当输入五个 name 值时，表达式 {{ $json.name }} 始终只解析第一个名称。
节点参数#
- 分块大小：设置每个文本块包含的字符数
- 块重叠度：设置相邻文本块之间的重叠字符数
模板与示例#
🤖 基于文档+Google Drive+Gemini+Qdrant的智能RAG聊天机器人
作者：Joseph LePage
查看模板详情
采用ElevenLabs和OpenAI的客服与餐饮行业AI语音聊天机器人
作者：Davide
查看模板详情
基于OpenAI的企业级WhatsApp智能RAG聊天机器人完整方案
作者：Davide
查看模板详情
相关资源#
关于该服务的更多信息，请参阅 LangChain令牌文档 与 LangChain文本分割器文档。
查看n8n的高级AI文档。