探索AI工具包中的模型

AI 工具包为多种生成式 AI 模型提供全面支持，包括小语言模型（SLM）和大型语言模型（LLM）。

在模型目录中，您可以探索并利用来自多个托管来源的模型：

  • 托管在GitHub上的模型，如Llama3、Phi-3和Mistral，包括按需付费选项。
  • 模型由发行商直接提供，包括OpenAI的ChatGPT、Anthropic的Claude和谷歌的Gemini。
  • 模型托管在 Microsoft Foundry 上。
  • 模型是从本地仓库如 Ollama 和 ONNX 下载的。
  • 自定义自托管或外部部署的模型可通过自带自带模型（BYOM）集成访问。

直接从模型目录中部署模型到 Foundry，简化工作流程。

注释

使用加入 AI 工具包的 Microsoft Foundry、Foundry Local 和 GitHub 模型，配合 GitHub Copilot。更多信息请参阅“更换聊天对话模式”。

AI 工具包模型目录，展示各种生成式 AI 模型

找一个模型

要在型号目录中查找型号：

  1. 在活动栏中选择AI工具包视图

  2. 选择 MODELS > 目录以打开模型目录

  3. 使用筛选器缩减可用模型列表

    • 托管平台：AI Toolkit 支持 GitHub、ONNX、OpenAI、Anthropic、Google 作为模型托管源。
    • 出版商：提供 AI 模型的出版商，如 Microsoft、Meta、Google、OpenAI、Anthropic、Mistral AI 等。
    • 功能：模型支持的功能，例如文本附件,图片附件,网页搜索,结构化输出，以及更多。
    • 型号类型：可以在 CPU、GPU 或 NPU 上远程或本地运行的滤波器模型。这个过滤器取决于当地的供应情况。
    • 微调支持：展示可用于微调的模型。

  4. 浏览不同类别的模型，例如：

    • 热门模型是一份经过精心策划的广泛模型列表，涵盖了各种任务和领域。
    • GitHub 模型提供了对托管在 GitHub 上的热门模型的便捷访问。它最适合快速原型制作和实验。
    • ONNX 模型针对本地执行进行了优化，可以在 CPU、GPU 或 NPU 上运行。
    • Ollama 模型是受欢迎的模型，可以本地运行 Ollama，支持 CPU，通过 GGUF 量化。

  5. 或者，使用搜索框按名称或描述查找特定型号

从目录中添加一个模型

要从模型目录中添加模型：

  1. 在模型目录中找到你想添加的模型。

  2. 选择型号卡上的添加

  3. 根据供应商，添加模型的流程会略有不同：

    • GitHub：AI Toolkit 要求你提供 GitHub 凭证才能访问模型仓库。认证后，模型会直接添加到 AI Toolkit 中。

      注释

      AI Toolkit 现在支持GitHub的按用付费模式，因此你在通过免费套餐限制后仍可继续工作。

    • ONNX：模型从ONNX下载并添加到AI Toolkit中。

    • Ollama：该模型是从 Ollama 下载并添加到 AI Toolkit 的。

      提示

      你可以之后右键点击模型并选择编辑，查看加密后的值，从而编辑API密钥${HOME}/.aikt/models/my-models/yml档案。AI Toolkit界面的截图，显示一张模型卡，选项包括“在Playground试试”、“在Playground下载”和“在Playground加载”。

    • OpenAI、Anthropic 和 Google： AI 工具包会提示你输入 API 密钥。

    • 自定义模型：请参阅“添加自定义模型”部分，了解详细说明。

添加后，模型会出现在树状视图的“我的模型”下，你可以在Playground或Agent Builder中使用。

添加自定义模型

你也可以添加自己外部托管或本地运行的模型。有几种可选方案：

  • 从Ollama库或自定义Ollama端点中添加Ollama模型。
  • 添加具有OpenAI兼容端点的自定义模型，如自托管模型或运行于云服务上的模型。
  • 使用 AI Toolkit 的模型转换工具，添加自定义 ONNX 模型，例如 Hugging Face 中的模型。

向 AI 工具包添加模型有几个入口：

  • 在树状视图中的“我的模型”中，将鼠标悬停在它上，选择图标。+AI 工具包界面截图，显示模型目录工具栏，高亮了+添加模型按钮，显示用户可以点击添加新的自定义模型。

  • 在模型目录中，从工具栏选择+添加模型按钮。AI 工具包界面截图，显示模型目录工具栏，高亮了+添加模型按钮。工具栏位于目录视图顶部，+ 添加模型按钮被强调，以指示用户可以点击添加新的自定义模型。

  • 在模型目录中的“添加自定义模型”部分，选择 + 添加您自己的模型。AI 工具包界面截图，显示模型目录中的自定义模型部分。高亮显示了+添加模型按钮，指示用户可以点击添加新的自定义模型。

添加 Ollama 模型

Ollama 使许多流行的生成式人工智能模型能够通过 GGUF 量化在本地与 CPU 一起运行。如果你在本地机器上安装了 Ollama 并下载了 Ollama 模型，你可以将它们添加到 AI 工具包中，用于模型游乐场。

在 AI 工具包中使用 Ollama 模型的前提条件：

  • AI Toolkit v0.6.2 或更新版本。
  • Ollama（在 Ollama v0.4.1 测试）

将本地 Ollama 添加到 AI 工具包

  1. 从上述入口之一，选择添加 Ollama 模型。

    选择模型类型以添加

  2. 接下来，选择 Ollama 库中的 Select 模型

    如果你在另一个端点启动 Ollama 运行时，选择“提供自定义 Ollama 端点”以指定一个 Ollama 端点。

  3. 选择你想添加到 AI 工具包的模型，然后选择确定

    注释

    AI Toolkit只显示那些已经在Ollama下载但还未添加到AI工具包中的模型。要从Ollama下载模型，你可以运行Ollama 拉<型号名>.要查看 Ollama 支持的模型列表，请访问 Ollama 库或参考 Ollama 文档。

  4. 你现在应该能在树状视图的模型列表中看到选中的 Ollama 模型。

    注释

    Ollama 模型还没有支持附件。因为我们通过兼容 OpenAI 的端点连接 Ollama 且还不支持附件。

添加一个兼容OpenAI端点的自定义模型

如果你有一个自托管或部署的模型，可以通过 OpenAI 兼容的端点从互联网访问，你可以将其添加到 AI 工具包中，并在游乐场中使用。

  1. 从上方的某个入口点选择“添加自定义模型”。
  2. 输入兼容OpenAI的端点URL和所需信息。

要添加自托管或本地运行的 Ollama 模型：

  1. 在型号目录中选择+添加模型。
  2. 在“快速选择”模型中，选择Ollama或自定义型号。
  3. 输入所需信息以添加模型。

添加自定义ONNX模型

要添加自定义 ONNX 模型，首先使用模型转换工具将其转换为 AI Toolkit 的模型格式。转换完成后，将模型添加到 AI Toolkit。

将模型部署到 Microsoft Foundry

你可以直接从 AI 工具包中部署模型到 Microsoft Foundry。这样你就可以在云端运行模型，并通过终端访问它。

  1. 在模型目录中，选择你想部署的模型。

  2. 选择部署到 Microsoft Foundry，无论是从下拉菜单还是直接从“部署到 Microsoft Foundry”按钮，如下截图所示：

    AI 工具包界面截图，显示模型目录，选中模型并高亮“部署到Microsoft Foundry”按钮。

  3. 在模型部署标签页中，输入所需信息，如型号名称、描述及其他设置，如下截图所示：

    AI 工具包界面截图，显示模型部署标签页，包含模型名称、描述及其他设置字段。

  4. 选择部署到Microsoft Foundry以开始部署流程。

  5. 会弹出对话框确认部署。查看详情后选择部署继续。

  6. 部署完成后，模型将在 AI 工具包的 MY MODELS 部分提供，你可以在 Playground 或代理构建器中使用。

选择一个模型进行测试

你可以在游乐场测试模型聊天完成度。

在模型目录中使用模型卡上的作：

  • 在 Playground 试用：加载选定的模型在 Playground 中进行测试。
  • 尝试在代理构建器中：在代理构建器中加载选定的模型来构建AI代理。

管理模型

你可以在 AI 工具包视图的“我的模型”部分管理你的模型。你可以在这里：

  • 查看您添加到 AI 工具包的模型列表。

  • 右键点击模型以访问以下选项：

    • 在游乐场加载：在游乐场中加载模型进行测试。
    • 复制模型名称：将模型名称复制到剪贴板上，以便在其他情境中使用，比如代码集成。
    • 刷新：刷新模型配置，确保你拥有最新的设置。
    • 编辑：修改模型设置，比如API密钥或端点。
    • 删除：从AI工具包中移除该模型。
    • 关于该模型：查看该模型的详细信息，包括其发布者、来源和支持的功能。

  • 右键点击ONNX访问诸如以下选项的章节标题：

    • 启动服务器：启动ONNX服务器以本地运行ONNX模型。
    • 停止服务器：如果ONNX服务器正在运行，请停止它。
    • 复制端点：将 ONNX 服务器端点复制到剪贴板上，以便在其他情境中使用，比如代码集成。

执照与登录

有些型号需要发布商或主机服务的许可和账号才能登录。在这种情况下，在你能在模型游乐场运行模型之前，系统会提示你提供这些信息。

你学到了什么

在本文中，你学到了：

  • 探索和管理生成式AI模型，使用AI Toolkit。
  • 你可以从多个来源找到模型，包括GitHub、ONNX、OpenAI、Anthropic、Google、Ollama以及自定义端点。
  • 将模型添加到你的工具包中，并部署到Microsoft Foundry中。
  • 添加自定义模型，包括兼容 Ollama 和 OpenAI 的模型，并在 Playground 或 agent builder 中测试它们。
  • 使用模型目录查看可用模型，并选择最适合您AI应用需求的模型。
  • 使用筛选器和搜索快速找到模型。
  • 按类别浏览模型，如Popular、GitHub、ONNX和Ollama。
  • 使用模型转换工具转换并添加自定义ONNX模型。
  • 在我的模型中管理模型，包括编辑、删除、刷新和查看细节。
  • 启动和停止ONNX服务器，并复制终端到本地模型。
  • 测试前先处理某些型号的许可和登录要求。