Ollama + Enchanted = lokale LLM-Sprachmodelle auch unterwegs

24. Januar 2025 – 15:10 Uhr
Das Bild zeigt einen Chatverlauf auf einem iPhone, in dem ein Benutzer den Assistenten bittet, "Hello, World!" in Go zu schreiben. Der Assistent antwortet mit dem Code und einer Erklärung der einzelnen Bestandteile. Im Hintergrund läuft ein Terminal, in dem die ngrok-Anwendung ausgeführt wird, um eine lokale URL für den Zugriff von außen bereitzustellen.

Quelle: Augustinas Malinauskas

Ollama installiert auf eurem Mac ein lokales (Offline-/Open-Source-)LLM – von Mistral, über Llama bis DeepSeek.

Über ngrok wird die lokale Adresse („localhost:11434“) außerhalb des eigenen Netzwerks erreichbar. Hinterlegt ihr die euch temporär zugeteilte „Forwarding URL“ in der App-Store-App Enchanted (GitHub), benutzt ihr das iPhone um eure Fragen an die lokalen Sprachmodelle auszuführen und anzuzeigen, ohne dabei aber vor dem Mac zu sitzen.