Verwenden Ihrer eigenen LLM-Modelle in GitHub Copilot CLI

Sie können Copilot CLI konfigurieren, um Ihren eigenen LLM-Anbieter zu verwenden, der auch als BYOK (Bring Your Own Key) bezeichnet wird, anstelle von GitHub-gehosteten Modellen. Auf diese Weise können Sie eine Verbindung mit openAI-kompatiblen Endpunkten, Azure OpenAI oder Anthropic herstellen, einschließlich lokal ausgeführter Modelle wie Ollama.

Voraussetzungen

•         Copilot CLI ist installiert. Siehe [AUTOTITLE](/copilot/how-tos/copilot-cli/set-up-copilot-cli/install-copilot-cli).
  

• Sie verfügen über einen API-Schlüssel von einem unterstützten LLM-Anbieter oder über ein lokales Modell, das ausgeführt wird (z. B. Ollama).

Unterstützte Anbieter

          Copilot CLI unterstützt drei Anbietertypen:

Anbietertyp	Kompatible Dienste
openai	OpenAI, Ollama, vLLM, Foundry Local und jeder andere Endpunkt, der mit der OpenAI Chat Completions API kompatibel ist. Dies ist der Standardanbietertyp.
azure	Azure OpenAI Service.
anthropic	Anthropic (Claude Modelle).

Um zusätzliche Beispiele anzuzeigen, führen Sie copilot help providers in Ihrem Terminal aus.

Modellanforderungen

Modelle müssen Toolaufrufe (auch funktionsaufrufe genannt) und Streaming unterstützen. Wenn ein Modell keine der beiden Funktionen unterstützt, gibt Copilot CLI einen Fehler zurück. Um optimale Ergebnisse zu erzielen, verwenden Sie ein Modell mit einem Kontextfenster von mindestens 128k-Token.

Konfigurieren Ihres Anbieters

Sie konfigurieren Ihren Modellanbieter, indem Sie Umgebungsvariablen festlegen, bevor Sie Copilot CLI starten.

Umgebungsvariable	Erforderlich	Beschreibung
COPILOT_PROVIDER_BASE_URL	Ja	Die Basis-URL des API-Endpunkts Ihres Modellanbieters.
COPILOT_PROVIDER_TYPE	No	Der Anbietertyp: openai (Standard), azureoder anthropic.
COPILOT_PROVIDER_API_KEY	No	Ihr API-Schlüssel für den Anbieter. Nicht erforderlich für Anbieter, die keine Authentifizierung verwenden, z. B. eine lokale Ollama-Instanz.
COPILOT_MODEL	Ja	Der zu verwendende Modellbezeichner. Sie können dies auch mit der --model Befehlszeilenkennzeichnung festlegen.

Herstellen einer Verbindung mit einem openAI-kompatiblen Endpunkt

Führen Sie die folgenden Schritte aus, wenn Sie eine Verbindung mit OpenAI, Ollama, vLLM, Foundry Local oder einem anderen Endpunkt herstellen, der mit der OpenAI-Chat-Abschluss-API kompatibel ist.

1. Legen Sie Umgebungsvariablen für Ihren Anbieter fest. Zum Beispiel für eine lokale Ollama-Instanz:

   export COPILOT_PROVIDER_BASE_URL=http://localhost:11434
   export COPILOT_MODEL=YOUR-MODEL-NAME
   

   Ersetzen Sie YOUR-MODEL-NAME durch den Namen des Modells, das Sie in Ollama gezogen haben (z. B. llama3.2).

2. Legen Sie für einen Remote-OpenAI-Endpunkt auch Ihren API-Schlüssel fest.

   export COPILOT_PROVIDER_BASE_URL=https://api.openai.com
   export COPILOT_PROVIDER_API_KEY=YOUR-OPENAI-API-KEY
   export COPILOT_MODEL=YOUR-MODEL-NAME
   

   Ersetzen Sie YOUR-OPENAI-API-KEY durch Ihren OpenAI-API-Schlüssel und YOUR-MODEL-NAME durch das Modell, das Sie verwenden möchten (z. B. gpt-4o).

3. Starten Sie Copilot CLI.

copilot

Herstellen einer Verbindung mit Azure OpenAI

1. Legen Sie die Umgebungsvariablen für Azure OpenAI fest.

   export COPILOT_PROVIDER_BASE_URL=https://YOUR-RESOURCE-NAME.openai.azure.com/openai/deployments/YOUR-DEPLOYMENT-NAME
   export COPILOT_PROVIDER_TYPE=azure
   export COPILOT_PROVIDER_API_KEY=YOUR-AZURE-API-KEY
   export COPILOT_MODEL=YOUR-DEPLOYMENT-NAME
   

   Ersetzen Sie die folgenden Platzhalter:

   •    `YOUR-RESOURCE-NAME`: Ihr Azure OpenAI-Ressourcenname
     

   •    `YOUR-DEPLOYMENT-NAME`: der Name der Modellbereitstellung
     

   •    `YOUR-AZURE-API-KEY`: Ihr Azure OpenAI-API-Schlüssel
     

2. Starten Sie Copilot CLI.

copilot

Herstellen einer Verbindung mit Anthropic

1. Legen Sie die Umgebungsvariablen für Anthropic fest:

   export COPILOT_PROVIDER_TYPE=anthropic
   export COPILOT_PROVIDER_API_KEY=YOUR-ANTHROPIC-API-KEY
   export COPILOT_MODEL=YOUR-MODEL-NAME
   

   Ersetzen Sie YOUR-ANTHROPIC-API-KEY durch Ihren Anthropic-API-Schlüssel und IHRE-MODEL-NAME durch das Claude-Modell, das Sie verwenden möchten (z. B. claude-opus-4-5).

2. Starten Sie Copilot CLI.

copilot

Ausführung im Offlinemodus

Sie können Copilot CLI im Offlinemodus ausführen, um zu verhindern, dass es die Server von GitHub kontaktiert. Dies ist für isolierte Umgebungen konzipiert, in denen die CLI nur mit Ihrem lokalen oder lokalen Modellanbieter kommunizieren sollte.

1. Konfigurieren Sie Die Anbieterumgebungsvariablen, wie unter Konfigurieren Des Anbieters beschrieben.

2. Festlegen der Umgebungsvariablen für den Offlinemodus:

   export COPILOT_OFFLINE=true
   

3. Starten Sie Copilot CLI.

copilot