配置

配置llm_api

akinterpreter 提供了多种LLM API的支持,选择你喜欢的API,配置好对应的api_key,就可以使用了


支持的llm_api 列表

类名厂商依赖
SimpleClaudeAwsClientAws bedrock部署的Claude APIAnthopic
SimpleAzureClientAzure部署的opeai GTP APIopenai
DeepSeekClientDeepSeekopenai
QianWenClient同义千问dashscope
MoonShotClientMooonShotopenai
GLMClient智谱zhipuai(需自行安装)
ErnieApiClient百度文心一言无依赖
DoubaoApiClient字节的火山引擎火山 SDK(需自行安装)
GeminiAPIClientGoogle的Gemini(国内无法访问)google cloud(需自行安装)
BaichuanClient百川无依赖
HunyuanClient腾讯混元腾讯云hunyuan sdk (需自行安装)
MiniMaxClient上海稀宇科技无依赖
OpenAIClientOPENAIopenai
Zero1LLamaImproverClient零一openai

如何填写

把setting.ini.template复制一份,然后更名为setting.ini
你会看到开头是这样的

[Default]
llm_api = SimpleDeepSeekClient
llm_cheap_api = CheapMiniMax
embedding_api = MiniMaxEmbedding
ranker_api = BaiduBCEReranker
talker = CliTalker

你需要配置的就是 llm_api 对面内容
llm_api 必须是支持的llm_api 列表里面的类名
比如,如果你想选择DeepSeek,就应该输入 llm_api = SimpleDeepSeekClient

推荐配置1

推荐大家选择SimpleClaudeAwsClient,因为这个是开发用的
而且就目前而言,就写代码这个任务来说,Claude的产出能力还是显著高于其他的
所有有条件的,建议使用 但是注意,你要去申请aws bedrock 的api
Google和anhtopic的api国内都是用不了的

推荐配置2

SimpleDeepSeekClient
DeepSeek的API注册简单,费用也很低,非常推荐
DeepSeek 目前价格确实很有竞争力
而且有128k的上下文,最高8k的输出
就价格而言,豆包的价格也很低
但是真心不建议普通人去折腾火山引擎
还有配置子账号什么的,我觉得对普通人太不友好了
注册简单,配置简单,价格便宜的,就是SimpleDeepSeekClient

其他LLM API

目前其他很多API都还没测试过
只是调通了接口,理论上可以运行
如果大家遇到任何问题,可以反馈

llm_cheap_api

国产LLM API目前还是很给力的。
MiniMax的API 目前送一亿tokens 非常爽了
不过这个API不适合生成代码,但是可以执行其他的文本任务

embedding_api

embedding_api 也也建议使用MiniMax的API
封装的类是 MiniMaxEmbedding
比较下来我还是推荐使用API ,而不是使用本地的embedding模型
本地的embedding模型,都需要从huggingface 下载,需要点魔法🧙‍♀️才能实现
另外本地的embedding模型,文件都是很大,基本1G以上,下载也需要时间
如果没有GPU的话,好几个本地模型执行速度也很慢
综合考虑,我还是建议使用API,避免麻烦

Previous
无python安装