Skip to main content

Hugging Face Inference Playground

  1. Hugging Face Inference Playground

    https://github.com/huggingface/inference-playground

    Hugging Face 开源的自家的 Inference Playground,基于其稍微改改就能定制使用

    允许用户轻松地测试和比较 Hugging Face 上托管的各种大型语言模型,连接到不同的第三方推理提供商,甚至配置自己的自定义 OpenAI 兼容端点。

    模型交互:与各种 Hugging Face 模型进行对话
    提供商支持:连接到各种第三方推理提供商(如 Together、Fireworks、Replicate 等)
    自定义端点:添加和使用自己的 OpenAI 兼容 API 端点
    比较视图:并行运行两个不同的模型或配置
    配置调整:调整生成参数,如温度、最大令牌数和 top-p
    会话管理:使用项目和检查点保存和加载对话设置
    代码片段:生成各种语言的代码片段以复制推理调用

    #AI #GitHub #Tool GitHub - huggingface/inference-playground
OKHK