Installation einer lokalen KI

WritingTool kann von einer KI unterstützt werden. Die Anwendung ist optimiert für die Nutzung von localAI, über das eine lokale KI-Installation auf einem PC oder Laptop des heutigen Standards möglich ist.

Hinweis: Die Performance der KI-Anwendung hängt sehr stark von der Leistungsfähigkeit der Prozessoren und dem zur Verfügung stehenden Speicher ab.

Hier wird eine kurze Installationsanleitung zur Verfügung gestellt. Sie deckt nur den einfachsten Fall ab. Für weitere tiefergehende Optionen, z. B. die performantere Nutzung von GPUs von modernen Grafikkarten, wird auf die Originaldokumentation verwiesen (siehe https://localai.io/).

Die einfachste Möglichkeit wird durch eine Installation eines Gesamtpakets mithilfe von docker geboten.

Docker ist eine Technologie, die eine Anwendung gekapselt in einem Container ausführt. Sie steht für alle heute gängigen PC, bzw. Notebook-Plattformen zur Verfügung. Sie ist ein Open-Source-Produkt und für den privaten Gebrauch und kleine Unternehmen kostenlos.

Als Erstes muss der Docker Desktop installiert werden. Die Software sowie entsprechende Anleitungen finden sich hier:

Hinweis: Unter Linux reicht auch die Installation einer Docker Engine (https://docs.docker.com/engine/install/)

Als Nächstes wird dann ein Kommandofenster in dem jeweiligen Betriebssystem geöffnet:

  • Windows: Windowstaste drücken, cmd eingeben und mit OK (Return) abschließen. Es öffnet sich ein Konsolenfenster.
  • Linux: Terminalfenster öffnen
  • Mac: Terminalfenster öffnen

In dem Fenster wird dann die folgende Zeile eingegeben und mit Return abgeschlossen:

  • docker run -p 8080:8080 --name local-ai -ti localai/localai:latest-aio-cpu

Es werden dann die Software localAI und eine Grundausstattung von KI-Images (> 10 GB) heruntergeladen. Die dauert eine Weile.

Nach erfolgreicher Installation kann man die KI in einem Browser unter folgender Adresse aufrufen:

Über die Browser-Oberfläche können auch weitere Modelle nachgeladen werden. Dies ist z. B. dann notwendig, wenn man die TextToSpeech (TTS) Funktionalität in eigener Sprache bzw. mit einer selbst gewählten Stimme nutzen möchte.

Die voreingestellten Einstellungen in den AI-Optionen von WritingTool entsprechen der oben beschriebenen Standardinstallation.