本站点文档内容均翻译自code.visualstudio.com,仅供个人学习,如有差异请以官网为准。

Visual Studio Code 的 AI 工具包

AI Toolkit for Visual Studio Code 是一个全面的扩展,使开发人员和人工智能工程师能够使用生成式人工智能模型构建、测试和部署智能应用程序。无论您是在本地还是在云端工作,AI Toolkit 都为整个 AI 应用程序生命周期提供了一个集成的开发环境。

AI 工具包提供了与 OpenAI、Anthropic、Google 和 GitHub 等提供商的热门 AI 模型的无缝集成,同时通过 ONNX 和 Ollama 支持本地模型。从模型发现和实验到提示工程和部署,AI 工具包在 VS Code 中简化了您的 AI 开发工作流程。

主要特点

功能 描述 截图
模型目录 从多个来源,包括GitHub、ONNX、Ollama、OpenAI、Anthropic和Google,发现和访问AI模型。将模型并排比较,找到最适合您的使用案例的模型。 截图显示了AI工具包模型目录界面,提供各种AI模型选项
游乐场 用于实时模型测试的交互式聊天环境。尝试不同的提示、参数和多模态输入,包括图像和附件。 截图显示了AI工具包游乐场界面,包含聊天消息和模型参数控制。
代理构建器 简化提示工程和智能体开发工作流程。创建复杂的提示,集成MCP工具,并生成结构化输出的生产就绪代码。 截图显示了用于创建和管理AI代理的代理构建器界面
批量运行 同时对多个模型执行批量提示测试。非常适合比较模型性能和大规模测试各种输入场景。 截图显示了用于在多个AI模型之间批量测试提示的批量运行界面
模型评估 使用数据集和标准指标对综合模型进行评估。使用内置评估器(F1 分数、相关性、相似性、连贯性)来衡量性能,或者创建自定义评估标准。 截图显示了模型评估界面,其中包含指标和性能分析工具
微调 定制和调整模型以满足特定领域和要求。在本地使用GPU支持训练模型,或利用Azure Container Apps进行基于云的微调。 截图显示了微调界面,包括模型适配和训练控制。
模型转换 将机器学习模型转换、量化和优化以进行本地部署。将模型从 Hugging Face 和其他来源转换,以便在 Windows 上通过 CPU、GPU 或 NPU 加速高效运行。 截图显示了模型转换界面,提供用于优化和转换AI模型的工具
追踪 监控和分析您的AI应用程序的性能。收集和可视化跟踪数据,以了解模型的行为和性能。 截图显示了用于监控AI应用的跟踪界面的工具
分析 (Windows ML) 诊断进程在不同执行提供者上的CPU、GPU、NPU资源使用情况以及Windows Machine Learning事件的ONNX模型。 截图显示了分析工具

谁是AI工具包的受众?

AI 工具包是为所有与生成式人工智能合作的人设计的,从初学者到专家:

开发者

  • 应用开发者 建立人工智能驱动的应用程序,需要整合语言模型
  • 全栈开发人员 想要为网页和桌面应用程序添加智能功能
  • 移动开发者 在生产部署之前原型化AI功能

人工智能工程师和数据科学家

  • AI工程师 为特定领域微调模型并部署到生产环境
  • 数据科学家评估模型性能并比较不同方法
  • 机器学习工程师 转换和优化模型以实现高效的本地部署

研究人员和教育工作者

  • 人工智能研究人员正在尝试不同的模型和提示工程技术
  • 教育工作者 教授AI概念并展示模型能力
  • 学生 学习生成式人工智能和模型互动

主要使用案例

  • 探索和评估来自Anthropic、OpenAI和GitHub等提供商的模型
  • 使用 ONNX 和 Ollama 在本地运行模型以实现隐私和成本控制
  • 使用提示生成和MCP工具集成来构建和测试代理
  • 将模型转换和优化以在不同硬件配置中进行部署

安装和设置

快速安装

最快的方法是通过Visual Studio Marketplace安装扩展:

安装 VS Code 的 AI 工具包

成功安装后,AI 工具包图标会出现在活动栏中。

手动安装

你也可以从Visual Studio Code市场手动安装AI Toolkit扩展。请按照安装扩展中的步骤进行操作。

小贴士

或者,选择活动栏中的扩展图标。

  • 搜索 Visual Studio Code 的 AI 工具包 并从搜索结果中选择 安装

    截图显示 AI 工具包扩展在 VS Code 市场上,带有安装按钮

小贴士

安装后请查看新内容页面,以了解每个版本的详细功能。

  • 成功安装后,AI 工具包图标会出现在活动栏中。

探索AI工具包

AI 工具包在独立视图中打开,VS Code 活动栏上现在显示 AI 工具包图标。该扩展有以下几个主要部分:我的资源、模型工具、智能体和工作流工具、MCP 工作流、帮助和反馈。

截图显示了突出显示部分的AI工具包扩展。

  • 我的资源:本节包含您在AI工具包中可以访问的资源。 我的资源部分是与您的Azure AI资源互动的主要视图。它包含以下子部分:

    • 模型:本节包含您可以用来构建和部署的AI应用程序的模型。 模型视图是您可以在AI工具包中找到已部署模型的地方。
    • Agent:本节包含已部署的您的AI工具包代理。
    • MCP 服务器:本节包含您在 AI 工具包中使用的 MCP 服务器。
  • 模型工具:本节包含您可以用来构建和部署AI应用程序的模型工具。 模型工具视图是您可以找到用于部署和管理已部署模型的工具的地方。它包含以下子部分:

    • 模型目录:模型目录允许您从多个来源发现和访问AI模型,包括GitHub、ONNX、Ollama、OpenAI、Anthropic和Google。您可以并排比较模型,并找到适合您使用案例的正确模型。
    • 模型游乐场:模型游乐场提供了一个交互环境,用于实验生成式人工智能模型。测试各种提示,调整模型参数,比较不同模型的响应,并通过附加不同类型的输入文件来探索多模态功能。
    • 转换:模型转换工具帮助您在本地 Windows 平台上转换、量化、优化和评估预构建的机器学习模型。
    • 微调:此工具允许您在本地计算环境(带有GPU)或Azure Container Apps(带有GPU)的云环境中使用自定义数据集对预训练模型进行微调作业。
  • 代理和工作流工具:本节是您可以找到在AI Toolkit中部署和管理已部署代理的工具的地方。它包含以下子部分:

    • 代理构建器:轻松创建和部署代理。
    • 批量运行:在批量模式下对多个测试用例进行测试代理和提示。
    • 评估:通过将模型、提示和智能体的输出与真实数据进行比较并计算评估指标来评估它们。
    • 跟踪:跟踪功能帮助您监控和分析AI应用的性能。
  • MCP 工作流:本节包含用于添加现有 MCP 服务器或创建新服务器的工具。它包含以下子部分:

    • 添加MCP服务器:添加和管理现有MCP服务器的链接。
    • 创建新的MCP服务器:在AI Toolkit中创建和部署新MCP服务器的链接。
  • 帮助和反馈:本节包含指向Microsoft Foundry文档、反馈、支持和Microsoft隐私声明的链接。它包含以下子部分:

    • 文档:链接到 Microsoft Foundry 扩展文档。
    • 资源:AI 工具包教程画廊的链接,这是一系列帮助您开始使用 AI 工具包的教程。
    • 开始:链接到入门指南,帮助您学习AI工具包的基本知识。
    • 最新动态:AI 工具包发行说明的链接。
    • 在 GitHub 上报告问题:链接到 Microsoft Foundry 扩展 GitHub 仓库的问题页面。

开始使用AI工具包

AI 工具包有一个入门指南,您可以使用它来学习 AI 工具包的基础知识。该指南将引导您完成 playground,您可以在其中使用聊天与 AI 模型互动。

  1. 在活动栏中选择AI工具包视图

  2. 帮助和反馈部分,选择开始以打开指南

    截图显示侧栏中的AI工具包视图和入门指南。

下一步