Chrome 版本内置 Gemini Nano LLM 配置使用

今天将 Chrome 浏览器升级到了 127 版本，根据此前 Canary 渠道的版本信息，此版本中是内置了名为 Gemini Nano 的 AI 大语言模型(4bit 3.25B)，该模型为本地模型，无需网络即可使用。

下面来尝试配置测试一下这个大语言模型：

• 启用相应 Chrome flag

  • 在浏览器地址栏输入并打开 chrome://flags/#prompt-api-for-gemini-nano，将 Prompt API for Gemini Nano 更改为 Enabled。
  
  • 打开 chrome://flags/#optimization-guide-on-device-model ，将 Enables optimization guide on device 设置为 Enable BypassPerfRequirement。
  
  • 完成以上两步设置后重启 Chrome。

• 下载模型

  • 打开 chrome://components/，检查 Optimization Guide On Device Model 中模型是否成功下载，点击 Check for update

• 测试模型

  • 打开控制台，输入window.ai测试是否能有返回结果，也可以用下面的完整代码测试：

  const canCreate = await window.ai.canCreateGenericSession()
  
  if (canCreate !== "no") {
      const session = await window.ai.createTextSession();
      const stream = session.promptStreaming("Tell me a joke!")
      for await (const chunk of stream) {
          console.log(chunk)
      }
      session.destroy()
  } else {
      console.error(" can't create generic session", canCreate)
  }

参考文档

如果上述步骤操作后无法成功，请参考如下 Google 文档，内容更为详尽

相关扩展

当成功启用 Gemini Nano 本地模型后，我们总不可能一直在控制台中通过代码来使用，下面推荐两个

开源项目