In diesem Blog habe ich bereits mehrfach über die Kombination von Obsidian mit lokaler KI geschrieben. So groß die Vorteile (Datenschutz, Unabhängigkeit) von lokal ausgeführter KI auch sind, gibt es auch große Nachteile, sofern man sie auf „normaler" Hardware benutzt: so wird mein MacBook Air mit M3-Prozessor sehr schnell heiß, der Akku leert sich so schnell, dass man zusehen kann und die Leistung ist (natürlich) nicht mit Claude, ChatGPT oder Mistral in der Cloud vergleichbar.
Der goldene Kompromiss
Aus diesen Gründen habe ich nach einer Möglichkeit gesucht, Obsidian mit einer cloudbasierten KI zu nutzen, meine Dokumente aber trotzdem nicht einem US-Unternehmen preiszugeben und von vornherein den Schutz der DSGVO zu genießen.
Mein Wunsch war, einen KI-Assistenten innerhalb von Obsidian zur Verfügung zu haben, der mir Dokumente durchsucht, erstellt, Aufgaben verwaltet, für mich im Netz recherchiert...
Die Lösung stellt für mich die Nutzung des Obsidian-Plugins Claudian mit der KI von Mistral dar.
Die einzelnen Zutaten
Obsidian
Bei der Nutzung einer Cloud-KI ist es mir wichtig, nicht allzu sensible Daten mit der KI zu teilen. Arztberichte und Finanzdaten sollen trotz europäischem Datenschutz strikt lokal bleiben. Aus diesem Grund habe ich für meinen KI-Assistenten einen eigenen Vault (Tresor oder Arbeitsbereich) in Obsidian angelegt. Alles, was strikt lokal bleiben soll, bleibt im Haupt-Vault.
Claudian
Claudian ist ein sehr aktiv entwickeltes Obsidian-Plugin des Entwicklers YishenTu (github.com/YishenTu/claudian).
Anders als der Name vermuten lässt, funktioniert es bei Weitem nicht nur mit Claude. Nativ unterstützt wird auch die Nutzung von Codex, Grok und Pi. Für die Nutzung anderer Modelle (wie in meinem Fall Mistral) gibt es die Möglichkeit, diese mit der Open-Source-Anwendung OpenCode anzubinden.
Meine Anfrage an den Entwickler von Claudian, ob in absehbarer Zukunft eine native Unterstützung von Mistral geplant ist, wurde von diesem leider verneint.
OpenCode
OpenCode ist eine terminalbasierte Schnittstelle zu den verschiedensten KI-Modellen. In meinem Szenario muss man sich gar nicht so tief einarbeiten – einfach installieren, in Claudian konfigurieren und alles läuft automatisch im Hintergrund.
Eine Installationsanleitung gibt es hier: opencode.ai/docs/de#installation.
Auf der Registerkarte OpenCode in den Einstellungen von Claudian muss man dann noch den entsprechenden Schieberegler einschalten, damit OpenCode in Claudian aktiviert ist.
Mistral
Mistral ist ein KI-Unternehmen aus Frankreich und legt eigenen Angaben zufolge großen Wert auf Datenschutz. Als französisches Unternehmen unterliegt es automatisch der DSGVO. Natürlich ist auch hier Vertrauen vonnöten – eine Garantie, dass Daten nicht in falsche Hände geraten, gibt es auch bei Mistral nicht.
Das Mistral-Modell wird im Reiter OpenCode in den Einstellungen des Claudian-Plugins eingestellt. Hier kann man derzeit aus sage und schreibe 32 Modellen wählen.
Ich habe gute Erfahrungen gemacht mit Mistral Medium (latest). Für Programmier-Projekte eignet sich Codestral (latest) gut.
Derzeit nutze ich Mistral nur mit einem kostenlosen Account und habe bisher kaum Einschränkungen gespürt. Ein bezahltes Abo würde vielleicht hier und dort mal schneller arbeiten.
Um Mistral mit OpenCode verwenden zu können, ist es erforderlich, dass man einen API-Key in der Mistral Console erstellt.
Dieser API-Key muss dann in OpenCode mit folgendem Befehl hinterlegt werden:
opencode auth login -p mistralAnschließend die Methode „API Key" wählen, den Key einfügen und mit Enter bestätigen. Ob es geklappt hat, lässt sich mit opencode auth list prüfen – dort sollte danach „Mistral · api" mit 1 Credential aufgeführt sein.
Kontext is King
Damit sich Claudian als persönlicher Assistent eignet, braucht es Informationen über meine Arbeitsweise, den Aufbau des Vaults und über mich selbst – sprich: Kontext.
Die beiden wichtigsten Kontext-Dateien
Damit Claudian ein wenig über mich weiß, habe ich die Datei Rainer.md angelegt (in der Datei AGENTS.md, auf die wir gleich noch zu sprechen kommen und die immer eingelesen wird, ist vermerkt, dass auch die Datei Rainer.md immer eingelesen werden soll).
Die Datei Rainer.md enthält Informationen über mich und meine Projekte und Arbeitsweise. Auch ist hier vermerkt, dass ich in der Regel auf Deutsch schreiben möchte und geduzt werden will.
Die weitaus wichtigste Datei ist die AGENTS.md (vergleichbar mit der CLAUDE.md bei Claude Code). Die AGENTS.md wird zu Beginn jeder Session eingelesen und versorgt Claudian mit wichtigen Informationen über den Aufbau des Vaults oder auch, wie mit Vorlagen gearbeitet werden soll. So habe ich beispielsweise eine Vorlage Notiz.md für ganz normale Notizen, eine Person.md für Notizen über Personen und eine Daily.md als Vorlage für Daily Notes.
Die AGENTS.md enthält dann den Hinweis, dass die Vorlage Daily.md verwendet werden soll, wenn ich beispielsweise schreibe: „Erstelle mir bitte eine Daily Note für morgen und notiere darin...". Auf diese Weise haben Notizen immer den gleichen Aufbau.
In der AGENTS.md lassen sich auch gut allgemeine Anweisungen unterbringen wie z. B. „Ändere selbstständig keinen Programm-Code, sofern ich dich nicht ausdrücklich dazu auffordere".
Die AGENTS.md muss man übrigens nicht (komplett) selbst erstellen – die KI hilft auch hier und weiß ohnehin am besten, wie etwas geschrieben sein soll, damit sie es selbst dann auch versteht. Bei größeren Anpassungen an der Vault-Struktur kann man in Claudian dann auch schreiben: „Passe die Übersicht über die Vault-Struktur in der AGENTS.md bitte an".
Die Arbeit mit Claudian
Ich bezeichne hier Claudian als meinen persönlichen Assistenten, obwohl es streng genommen ja eigentlich das Mistral-Modell ist, das die Arbeit macht :)
In den Claudian-Einstellungen habe ich eingestellt, dass sich Claudian an der rechten Seite von Obsidian öffnet. Claudian bietet dann ein Chatfenster, wie man es von einem KI-Assistenten gewohnt ist. Am unteren Rand des Chatfensters wählt man das Modell aus (in meinem Fall Mistral Medium – man kann aber z. B. auch Claude parallel nutzen. Man kann sogar in einem Chatfenster Mistral nutzen, in einem anderen Claude oder Grok...).
Unter Effort kann man einstellen, wie viel Denkarbeit das Modell leisten soll. Bei der Nutzung von Mistral gibt es hier nur zwei Stufen, bei Claude gibt es deutlich mehr.
Schließlich gibt es noch den Regler, mit dem man zwischen Safe-Mode und YOLO-Mode umschaltet, also einstellt, wie oft die KI bei Aktionen nachfragen soll.
Claudian gibt es bisher nur für den Desktop, nicht für die mobile Version von Obsidian.
Wenn man das Chatfenster über eine bestimmte Breite hinaus verbreitert, öffnet sich eine weitere Seitenleiste. Diese kann sehr nützlich sein: Sie enthält die Historie der bisherigen Chats, eine Suchfunktion und einen Baum mit allen Notizen im Vault. Über das Kontextmenü lässt sich eine Notiz mit „Add to Claudian" als Kontext zum Chatfenster hinzufügen. Der Dateiname wird dann mit vorangestelltem @-Zeichen dargestellt – auf diese Weise kann man aber auch jede Notiz händisch dem Kontext hinzufügen, indem man einfach @Dateiname schreibt.
Claudian im Vault arbeiten lassen
Der eigentliche Nutzen von Claudian liegt für mich darin, es tatsächlich im Vault arbeiten zu lassen. So sage ich beispielsweise am Morgen: „Lege für heute eine Daily Note an und notiere folgende Aufgaben: erstens... zweitens... drittens...". Claudian erzeugt dann selbstständig die entsprechende Notiz und ich muss mich nicht um Markdown kümmern, sondern schreibe in natürlicher Sprache.
Auch beim Wiederfinden von Notizen hilft Claudian – selbst, wenn ich mich nicht mehr richtig an den Dokumententitel erinnere: „Da gibt es doch eine Notiz, da habe ich mal über XY geschrieben...".
Und natürlich ist Claudian eine große Hilfe beim Recherchieren im Netz: „Lege eine Notiz über einen Blog-Artikel über Claudian an und recherchiere gleich, wie man OpenCode installiert".
Fazit
Mit diesem Setup macht das KI-gestützte Arbeiten in Obsidian richtig Spaß. Das MacBook wird nicht heiß, der Akku leert sich in normalem Tempo und die Antwortgeschwindigkeit ist deutlich höher als bei lokaler KI.
Der Nachteil ist, dass ich bei cloudbasierter KI nicht meinen Steuerbescheid oder den Arztbericht in den Vault legen möchte. Hierfür habe ich nach wie vor meinen Offline-Haupt-Vault.
Alles in allem ist dieses Setup ein Kompromiss – aber wie ich finde, ein sehr guter.