Skip to content

[Feature]: 希望能支持本地大模型推理服务,如OMLX、OLLAMA #1

Description

@acim365-code

问题 / 动机

Image 目前只能自定义Provider的时候只是直连,所以本地大模型推理服务用不了,特别是需要使用工具调用、联网检索这样功能的时候,用起来有很大的问题

期望的解决方案

Image 希望通过MacBook的OMLX和ollama提供本地算力服务,能够使用本地运行的千问3coder、千问3.6等本地的量化模型来工作

用户故事

No response

验收标准

No response

优先级建议

P0 — 必须有

补充信息

No response

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions