Obsidian und AnythingLLM: ein starkes Team

Bei einer beruflichen Recherche bin ich auf die lokale KI-Plattform AnythingLLM gestoßen. Schnell habe ich gemerkt, dass die Software auch in meinem ganz privaten Setup in Kombination mit meiner Notizen-Software Obsidian eine gute Figur machen dürfte. In diesem Bericht teile ich meine Erfahrungen.

Erste Erfahrungen mit Obsidian in Verbindung mit lokaler KI habe ich bereits hier geteilt: Lokale KI in Obsidian integrieren. Inzwischen habe ich aber gemerkt, dass dieses Setup Haken und Ösen hat und ich nutze es in der Praxis kaum. Der Ansatz mit AnythingLLM ist vielversprechender – aber auch hier gibt es Einschränkungen und Nachteile. AnythingLLM wird jedoch intensiv weiterentwickelt und ich verspreche mir viele und schnelle Verbesserungen für die Zukunft.

Die verwendeten Komponenten

• Obsidian – eine lokale und sehr mächtige Software zur Notizverwaltung
• Ollama – ein lokaler Server, der Sprachmodelle (LLMs) bereitstellt
• AnythingLLM – eine lokale KI-Plattform mit Fokus auf Dokumente
• llama3.1:8b – das von mir verwendete lokale Sprachmodell

AnythingLLM

AnythingLLM wird von der Firma Mintplex Labs Inc. in den USA entwickelt.
AnythingLLM gibt es in zwei Ausprägungen: eine Server-Variante, die z. B. auch in Form eines Docker-Images bereitgestellt wird. Diese Version ist gedacht für den Einsatz der Software in einer Firmen-Umgebung, in der ein Server den Dienst im Netzwerk bereitstellt und die Benutzer mit dem Browser darauf zugreifen.

Die zweite Version ist für den persönlichen Hausgebrauch gedacht: AnythingLLM Desktop – eine lokale Software, die auf dem Electron-Framework basiert. Das ist die Version, die ich in meinem privaten Setup verwende.

Die Aufgaben von AnythingLLM

AnythingLLM erfüllt mehrere Aufgaben:

• RAG-System – RAG steht für Retrieval Augmented Generation. Gemeint ist damit das Extrahieren von Information aus Dokumenten und das Anreichern und Bereitstellen für die Textgenerierung durch ein Sprachmodell
• Benutzerinterface – die Oberfläche, auf der der Benutzer mit dem System interagiert – ähnlich der Oberfläche von ChatGPT und Co.
• Webserver (bei der Server-Variante) – der den Dienst im Unternehmensnetzwerk bereitstellt (hier nicht relevant)

Die Installation und Einrichtung

Zunächst ist wichtig zu wissen, dass das von mir hier gezeigte Setup relativ hohe Anforderungen an die Hardware stellt. Ich verwende ein Apple Macbook Air mit M3-Prozessor und 16 GB RAM. Dieses Gerät kommt mit den Anforderungen sehr gut zurecht. Unter Windows habe ich einen Test durchgeführt auf einem bereits etwas älteren Notebook mit M7-Prozessor und 16 GB RAM – die Erfahrung war hier, dass alles zwar grundsätzlich läuft, ein flüssiges Arbeiten ist aber nicht möglich.
Ohne es getestet zu haben würde ich sagen, dass 32 GB RAM und eine dedizierte GPU (z. B. NVIDIA RTX / Quadro) unter Windows Pflicht sind. Das MacBook Air und natürlich vor allem das MacBook Pro sind hervorragend out-of-the-Box geeignet.

Installation von Ollama

Die Software Ollama lädt man einfach von https://ollama.com/ und installiert sie wie gewohnt.
Für Mac-User: Ollama lässt sich auch über homebrew installieren, damit habe ich persönlich aber keine guten Erfahrungen gemacht und es dann einfach schnell aufgegeben.
Ollama läuft als Server im Hintergrund. Die GUI bietet nur sehr wenige Einstellungsmöglichkeiten – ich habe hier gar nichts verändert.

Installation des Sprachmodells

Welches Sprachmodell verwendet werden kann, hängt stark von der Leistungsfähigkeit der Hardware ab. Für niedrigste Leistungsfähigkeit eignet sich das Modell phi3. Auf moderat leistungsfähiger Hardware läuft auch mistral. Auf meinem Mac setze ich llama3.1:8b ein. Dieses Modell ist ungefähr 5 GB groß und wird zur Laufzeit in den RAM geladen. Das erklärt auch, warum 16 GB RAM das absolute Minimum sind.

Die Installation ist sehr einfach – sowohl am Mac als auch unter Windows startet man ein Terminal und gibt ein

ollama pull llama3.1:8b

bzw. ollama pull phi3 oder mistral.
Mit diesem Befehl wird das Modell auch upgedated.

Installation und Einrichtung von AnythingLLM

Die Desktop-Version von AnythingLLM lässt sich hier kostenlos herunterladen: anythingllm.com/desktop

Danach installiert und startet man die Software wie auf dem jeweiligen Betriebssystem gewohnt.
Bei der Ersteinrichtung geben wir als LLM-Anbieter Ollama an und wählen das von uns zuvor heruntergeladene Sprachmodell bei Ollama Modell aus.

Wichtig ist nun noch, bei Ollama Base URL http://127.0.0.1:11434 einzutragen, wobei dies die IP für Localhost ist und 11434 der Standard-Port, sofern wir diesen beim Setup von Ollama nicht verändert haben.

Nun können wir bereits einen Workspace einrichten und diesen mit unserem Obsidian-Vault verbinden:

Im linken Bereich der Oberfläche klicken wir auf das +, dann geben wir dem Workspace einen Namen. Ich habe „Obsidian" verwendet.

Über das Zahnrad kommen wir zu den Workspace-Einstellungen – hier ist es für unsere Zwecke wichtig, bei den Chat-Einstellungen wieder Ollama als Workspace-LLM-Anbieter auszuwählen – unser Modell sollte von alleine gewählt werden.

Um den RAG-Prozess für unseren Obsidian-Vault zu beginnen, klicken wir neben dem Workspace-Namen auf dieses Icon:

Das Schöne ist: AnythingLLM kommt von Haus aus bereits mit einem Obsidian-Connector!

Um diesen zu finden, klicken wir oben auf Datenverbindungen und sehen dann im linken Bereich das Obsidian-Icon

Nach einem Klick auf das Obsidian-Icon haben wir die Möglichkeit, zu unserem Obsidian-Vault zu navigieren. Dann klicken wir auf Vault importieren.

Nun wechseln wir zurück zu Dokumente.
Hier wählen wir den eben hochgeladenen Ordner aus und klicken auf „In Workspace verschieben".

Nun läuft der weiter oben angesprochene RAG-Prozess an. Dieser Prozess kann abhängig von der Größe des Obsidian-Vaults und der Leistungsfähigkeit des Computers einige Zeit dauern. Wundert euch hier nicht über eine halbe Stunde oder länger.

Mit den Obsidian-Notizen chatten

Nach Abschluss des RAG-Prozesses könnt ihr in eurem Workspace Fragen zu euren Notizen stellen, wie ihr es von ChatGPT, Gemini und Co. gewohnt seid.

Einschränkungen

Dieses Setup hat stand heute (09.11.2025) ein paar Einschränkungen und Nachteile:

• Kein Live-Sync – wir haben zwar den Obsidian-Vault mit AnythingLLM verbunden, es gibt aber keine Live-Synchronisation. Wenn ihr Dokumente neu hinzufügt, löscht oder ändert, wirkt sich das nicht direkt auf AnythingLLM aus. Ihr müsst neu hinzugekommene Dokumente oder geänderte Notizen händisch hinzufügen. Gelöschte Dokumente müssten händisch gelöscht werden.
  Ich löse dieses Problem derzeit so: immer am Wochenende lösche ich den gesamten Vault aus dem Workspace raus und füge ihn komplett neu hinzu.
  Das ist nicht schön. Eine Synchronisation steht bei den Machern von AnythingLLM wohl aber bereits auf der Roadmap.
• PDF-Dokumente werden nicht indexiert – wenn ihr PDF-Dokumente in eurem Obsidian-Vault habt, werden diese bei Nutzung des Obsidian-Connectors nicht mit indexiert. AnythingLLM kann aber sehr wohl PDF-Dateien im RAG-Prozess einlesen – nur müsst ihr die Dateien dann über „Dokumente" separat zum Workspace hinzufügen. Ich habe mir ein kleines Python-Skript erstellt, welches alle PDF-Dateien aus meinem Vault kopiert. Diese füge ich dann zum Obsidian-Workspace hinzu. Hier darf man aber keine Wunder erwarten – eingescannte PDF-Dateien werden hier zum Beispiel nicht zu indexierbarem Text gewandelt.

Fazit

Mein hier beschriebenes Setup ist derzeit zugegebenermaßen noch eher Spielerei als wirkliche Hilfe bei der Notiz-Verwaltung. Ich gehe aber davon aus, dass sich die Technik und die verwendete Software mit großer Geschwindigkeit weiter entwickeln werden. Meine Vermutung ist, dass wir in der Zukunft generell eher mit unseren Daten und Notizen chatten werden, als dass wir mit Strg+F nach Informationen suchen.