Bonsaiを使う

• Ternary Bonsaiを使う
• Clineと連携

Bonsaiセットアップ

• 事前にXcodeが必要なのでインストールしておいてください。
• Bonsai-demoに従ってセットアップします。
• 外部公開しつつ起動します:

BONSAI_HOST=0.0.0.0 ./scripts/start_llama_server.sh

Clineセットアップ

下記要領で設定します:

• API Provider: OpenAI Compatible
• Base URL: Bonsai提供URL
• OpenAI Compatible API Key: （何でもいい）local
• Model ID: {Base URL}/v1/modelsで取得したID