微软Build 2024:Copilot AI将获得“个人助理”和自定义代理功能

继相关公告后在 5 月 20 日的 Microsoft Build 开发者活动上,微软发布了新的开发者工具、Microsoft Azure AI 的增强功能以​​及 Copilot 的新企业选项。 GitHub Copilot 收到了一长串由第一方和第三方服务启用的新功能。

与此同时,人们对人工智能记忆功能 Recall 的反应包括对其对所有用户活动的观察的强烈反对。 Recall 于 5 月 20 日在 Microsoft Build 大会上宣布,使 Microsoft AI PC 上的任何活动都可搜索,允许用户提出自然语言问题并从设备上的所有活动中获得答案。

Team Copilot、AI 代理和 Copilot Studio 开拓商机

微软于 5 月 21 日提供了三种与其合作的新方式:Microsoft Power Platform 中的 Team Copilot、Copilot 代理和 Copilot Studio。

Futurum Group 研究总监奥利维尔·布兰查德 (Olivier Blanchard) 表示:“将人工智能加速 PC 的用例推向企业对于微软来说非常有意义。” “作为一个完整的生态系统,这对于微软、PC OEM 和芯片供应商(从高通到英特尔和 AMD)来说都是一个巨大的机会。”

Blanchard 表示:“通过从操作系统、支持、软件和开发者生态系统角度发挥引领作用,微软将自己定位为企业采用 AI PC 的主要协调者和推动者,这减轻了 PC OEM 和芯片供应商的巨大压力。”

副驾驶团队

副驾驶团队为人工智能助手增加了更多的主动性,正如微软所说,让它作为一种队友或促进者来工作。 Team Copilot 可以记笔记、管理会议议程、标记重要信息或未解决的问题以及管理项目。拥有 Microsoft Copilot for Microsoft 365 许可证(每月费用为 20 美元)的客户将能够在 2024 年晚些时候尝试 Team Copilot 预览版。

Team Copilot 可以在会议中“坐在”人员旁边,做笔记并提供建议。图片:微软

副驾驶特工

和副驾驶特工(微软写在当提及此特定产品时),您可以提示 AI 承担根据您的业务需求定制的角色。例如,副驾驶座席可能会处理订单、自动化流程、向流程和会议添加上下文或根据用户反馈进行学习。代理可通过 Microsoft 的 Copilot Studio 早期访问计划向客户提供,预计今年晚些时候将有更广泛的可用性。

Microsoft Power Platform 中的 Copilot Studio

要创建副驾驶代理,您可以使用副驾驶工作室,基于提示的无代码平台,用于设计和测试副驾驶可以采取哪些操作。开发人员可以要求副驾驶执行特定任务,然后向人工智能提供文本或其他资源,它可能需要了解该特定业务流程的上下文。 Microsoft Copilot Studio 是免费的,具有有限私人预览版的 Microsoft Copilot for Microsoft 365 许可证。

Copilot 堆栈和适用于 Windows 的 Snapdragon 开发套件开放了 Copilot+ PC

对于准备在新的 Copilot+ PC 上工作的开发人员,微软在 Windows 上引入了 Copilot 堆栈,这是操作系统的附加功能,可利用并促进进一步人工智能模型和功能的开发。 Copilot 堆栈包括:

  • Windows Copilot 运行时及其由设备上 AI 提供支持的 API 库。
  • Windows语义索引,背后的操作系统能力。 Windows Semantic Index 将来将与 Vector Embeddings API 连接,帮助开发人员创建向量存储并在其应用程序中运行检索增强生成。
  • Phi Silica,一种为 Copilot+ PC 中的神经处理单元定制的小型语言模型。
  • 通过 DirectML 对 Windows 上的 PyTorch 进行本机支持。
  • DirectML 上的 Windows 网络神经网络开发者预览版。
  • Dev Home 中基于人工智能的新生产力功能。

高通于 5 月 21 日发布了适用于 Windows 的 Snapdragon 开发套件,允许开发人员访问 Copilot+ PC 中的 NPU。该开发套件包括:

  • 3.8 GHz 12 核 Oryon CPU,双核频率提升至 4.3GHz。
  • 32 GB LPDDR5x 内存。
  • 512GB M2 存储。
  • 80瓦系统架构。
  • 支持最多三个并发外部显示器。

Microsoft Fabric 引入人工智能

Microsoft Fabric 现在包含人工智能促进的实时智能,可以分析和发现数据。实时中心允许用户查看其组织的实时数据并设置自动警报。实时情报现已全面上市并公开预览。

Microsoft Fabric 的更多更新Microsoft 网站上有详细说明。

GitHub Copilot 可以与 Docker 和其他服务通信

生成式 AI 编码助手 GitHub Copilot 已获得升级,使其能够与第一方和第三方合作伙伴服务进行对话,这些服务捆绑为 Copilot 扩展。与 Microsoft Build 特别相关的是 GitHub Copilot for Azure,它允许 GitHub 用户使用提示部署到 Azure。

Copilot 扩展目前仅适用于受邀用户。 GitHub 能够从中提取数据的第一方和第三方服务的完整列表按可用日期划分。

受邀用户当前可以访问 Copilot 扩展,这些扩展允许他们将 GitHub Marketplace 中的以下数据提取到 GitHub Copilot 中:

  • 数据统计。
  • 码头工人。
  • 拉姆达测试。
  • 启动黑暗。
  • 麦肯锡公司。
  • 章鱼部署。
  • 盘古大陆。
  • 松果。
  • 产品科学。
  • 自述文件。
  • 哨兵。
  • 团队工具包。

根据 GitHub 的说法,以下扩展将在“未来几周内”通过 Visual Studio Marketplace for VSCode 向所有用户开放:

  • Microsoft 包括 Teams Toolkit 和 Microsoft 365。
  • 条纹。
  • MongoDB。

Azure AI Studio 现已推出,增加了针对幻觉和网络攻击的防护措施

在 Build 2024 大会上,微软宣布全面推出 Azure AI Studio,这是用于生成式 AI 开发的专业代码平台。 Azure AI Studio 可以在以下位置找到:ai.azure.com免费。构建副驾驶需要 Azure 帐户。

微软扩展了 Azure AI Studio 的 Responsible AI 工具和安全功能套件,包括针对特定内容的过滤器、对抗即时注入攻击的提示盾以及针对幻觉的额外预防措施。

Azure 的一些新功能将利用的。

英国对Recall的隐私提出质疑

5 月 20 日,微软在 Copilot+ 笔记本电脑上宣布推出 Recall AI 搜索功能后,一些人称赞其在整台 PC 上进行搜索的新颖方法。然而,人工智能对用户活动的“快照”促使英国信息专员办公室联系这家雷德蒙德巨头以获取更多信息。

“我们正在向微软询问,以了解保护用户隐私的保护措施。”ICO 表示。

ICO 告诉 BBC,ICO 认为公司必须“严格评估并减轻对人民权利和自由的风险”。

请参阅:我们的终极指南

5 月 20 日,特斯拉首席执行官、前 OpenAI 支持者埃隆·马斯克 (Elon Musk)比较的回忆一下恐怖电视节目黑镜。

微软表示,Recall 快照仅存储在本地 PC 上,这是由设备上的人工智能加速器启用的功能。用户可以暂停召回、设置召回以忽略单个网站和应用程序或删除单个快照和时间范围。

布兰查德表示,删除记录或有选择地选择在 Recall 中显示的内容的能力意味着“用户可以控制体验和自己的隐私。此外,与搜索引擎不同的是,数据将存储在用户的 PC 上,为该功能增加了一层额外的隐私和数据安全性,”他说。

然而,布兰查德表示,“微软必须弄清楚的是,当 PC 用户在几年内更换或升级他们的 Copilot+ PC 时,这些数据会发生什么,但现在还有时间来解决这个问题。”