Zum Inhalt springen
Alle Projekte

Lokale Sprach-KI · Full-Stack-Anwendung / v0.5.0

AI Meeting Assistant

Eine Local-First-Full-Stack-KI-Anwendung, die Meeting- und Vorlesungsaufnahmen in Transkripte, Zusammenfassungen, Kernpunkte, Aufgaben und durchsuchbares Wissen umwandelt, ohne Meeting-Inhalte an einen Cloud-KI-Dienst zu senden.

Next.jsTypeScriptTailwind CSSPythonFastAPIfaster-whisperOllamaSQLitePydanticGitHub Actions

Die Ausgangslage

Meeting-Aufnahmen können sensible Informationen enthalten, während Cloud-Transkription und externe KI-Dienste Datenschutz- und Abhängigkeitsfragen mit sich bringen. Ziel war ein End-to-End-Workflow, bei dem Spracherkennung, Sprachmodell-Verarbeitung und Meeting-Verlauf auf dem Rechner mit dem Backend bleiben.

Mein Lösungsansatz

faster-whisper übernimmt die mehrsprachige lokale Spracherkennung, FastAPI orchestriert die Verarbeitung, Ollama erstellt strukturierte Analysen und transcriptbasierte Antworten, SQLite speichert die Meetings und Next.js stellt die Oberfläche bereit. Das Whisper-Modell wird pro Backend-Prozess wiederverwendet und Verarbeitungszeiten werden in der UI sichtbar gemacht.

Projektüberblick

Audio- oder Videoaufnahmen werden an das FastAPI-Backend übertragen und lokal unter einer generierten Meeting-ID gespeichert.

faster-whisper erstellt lokal mehrsprachige Transkripte; das Modell wird innerhalb des Backend-Prozesses wiederverwendet.

Ollama analysiert das Transkript zu Titel, Zusammenfassung, Kernpunkten und Aufgaben; die Ergebnisse werden in SQLite gespeichert.

Nutzer können transcriptbasierte Fragen stellen, frühere Meetings öffnen, Notizen oder Transkripte exportieren und lokale Meeting-Daten löschen.

Systemablauf

01

Hochladen

Meeting- oder Vorlesungsaufnahme → lokale Mediendatei + Meeting-ID

02

Transkribieren

faster-whisper → mehrsprachiges lokales Transkript

03

Analysieren

Transkript → Ollama → Zusammenfassung, Kernpunkte und Aufgaben

04

Fragen

Gespeichertes Transkript + Frage → belegte lokale Antwort

Technische Entscheidungen

Lokale Spracherkennung

Das mehrsprachige faster-whisper-small-Modell läuft lokal mit CPU/int8, VAD und Modell-Wiederverwendung.

Strukturierte lokale Analyse

Ollama überführt Transkriptinhalte in validierte Meeting-Felder; das Backend normalisiert die Modellausgabe vor der Speicherung.

Transcriptbasiertes Q&A

Antworten werden auf das ausgewählte Meeting-Transkript gestützt; fehlt eine Information, soll sie nicht erfunden werden.

Herausforderungen und Lösungen

Lokale Inferenzlatenz

Transkriptions- und Analysezeit werden getrennt gemessen; das Whisper-Modell wird wiederverwendet, sodass Engpässe sichtbar und unabhängig optimierbar sind.

Unzuverlässige strukturierte LLM-Ausgabe

Parsing und Normalisierung wurden nach fehlerhaften JSON-Ausgaben verbessert, damit Analysefehler Meeting-Daten nicht unbemerkt beschädigen.

Datenschutzgrenze

Die Anwendung setzt bewusst auf lokale Spracherkennung, lokale LLM-Inferenz, SQLite und lokale Medien-/Transkriptspeicherung statt einer gehosteten KI-API.

Ergebnis und Erkenntnisse

Version 0.5.0 implementiert den vollständigen Workflow von der Aufnahme bis zum nutzbaren Meeting-Wissen: lokale Transkription, strukturierte KI-Analyse, persistenter Meeting-Verlauf, transcriptbasierte Fragen und Antworten, Löschfunktionen, Exporte sowie sichtbare Whisper- und KI-Laufzeiten. GitHub Actions prüft Backend und produktiven Next.js-Build.

Die wichtigste Erkenntnis: Eine nützliche lokale Meeting-KI ist nicht nur ein Transkriptionsmodell. Spracherkennung, robuste strukturierte LLM-Ausgaben, persistenter Verlauf, belegte Antworten und sichtbare Laufzeiten müssen als ein zusammenhängendes System funktionieren.

Umfang und Grenzen

Mehr zur Umsetzung

Dieser Projektbericht basiert auf der Projektdokumentation. Die verlinkten Originaldokumente sind auf Englisch.

Weitere Projekte

Sprechen wir über KI und Softwareentwicklung