AnythingLLM 接入万模API

适用协议:OpenAI Chat / Embeddings | 适合:本地知识库、团队助手和文档问答

AnythingLLM 常用于本地或团队知识库。它通常需要两类模型:一个负责回答问题的聊天模型,一个负责把文档转成向量的 Embedding 模型。先验证普通聊天,再验证知识库。

AnythingLLM 模型供应商配置示意

开始前确认

项目应该准备什么
客户端已安装或已部署 AnythingLLM
API Key控制台创建的 sk-...
Chat Base URLhttps://www.wanmoapi.com/v1
Chat 模型控制台可用 Chat 模型
Embedding 模型控制台可用 Embedding 模型

配置 LLM

  1. 打开 AnythingLLM 设置。
  2. 找到 LLM Provider。
  3. Provider 选择 Generic OpenAI、OpenAI Compatible 或类似选项。
  4. Base URL 填:https://www.wanmoapi.com/v1
  5. API Key 填:你的 sk-...
  6. 模型名填控制台可用 Chat 模型。
  7. 保存设置。

AnythingLLM Provider 配置示意

AnythingLLM 通常要分别配置 Chat Model 和 Embedding Model。示意图中的 API Key 已打码。

配置 Embedding

  1. 进入 Embedding Provider 设置。
  2. 选择 OpenAI Compatible。
  3. Base URL 仍填:https://www.wanmoapi.com/v1
  4. API Key 填同一个或另一个专用 sk-...
  5. 模型名填 Embedding 模型。
  6. 保存后重新索引测试文档。

验证

验证普通对话

创建 Workspace,发送:

你好,用一句话介绍你自己。

成功后查看控制台调用日志。

验证知识库问答

  1. 上传一个小文档。
  2. 等待向量索引完成。
  3. 提问文档里明确出现的问题。
  4. 确认回答引用了文档内容。

常见问题

普通聊天成功,文档问答失败

重点检查 Embedding 模型。知识库不是只靠 Chat 模型,必须有向量模型或 AnythingLLM 支持的嵌入服务。

上下文窗口报错

不要把上下文窗口设置超过模型真实能力。先用默认值验证,稳定后再逐步调大。

自部署服务访问失败

确认容器或服务器能访问 https://www.wanmoapi.com。本机浏览器能访问,不代表容器网络也能访问。

团队共用 Key 难以查账

建议为 AnythingLLM 单独创建令牌,例如 anythingllm-team,并设置额度。

下一步:模型与价格常见问题排查