Nema Vox
Nema Vox ist ein Sprachmodell, das wir entwickeln. Es hört zu und spricht gleichzeitig – du kannst es unterbrechen, und es antwortet nach etwa einer Drittelsekunde. Es läuft lokal auf dem Mac; deine Stimme verlässt das Gerät nicht.
- Status
- Forschungsvorschau
- Vorschau läuft auf
- Moshi von Kyutai
- Läuft
- lokal auf einem Mac mit Apple Silicon
Zuhören und sprechen zugleich
Die meisten Sprachassistenten wechseln sich ab: Du sprichst, sie schreiben mit, ein Textmodell antwortet, eine Stimme liest vor. Vox arbeitet direkt auf dem Klang, in zwei Strömen gleichzeitig – einer für das, was es hört, einer für das, was es sagt, 12,5 Schritte pro Sekunde. Deshalb kann es nach etwa einer Drittelsekunde antworten, beim Sprechen weiter zuhören, sich unterbrechen lassen und ein kurzes „mhm“ sagen, während du noch redest.
Wo es läuft
Vox läuft ganz auf dem Mac: Mikrofon, Modell und Sprachausgabe. Dein Ton verlässt das Gerät nicht – kein Server, kein Cloud-Anbieter. Die Vorschau braucht einen Mac mit Apple Silicon und rechnet auf dessen Grafikprozessor (Metal).
Worauf die Vorschau aufbaut
Der Ansatz kommt aus der Forschung zu Zwei-Strom-Dialogmodellen für gesprochene Sprache, etwa dGSLM (Nguyen u. a., 2022) und Moshi (Kyutai, 2024). Die aktuelle Vorschau läuft auf Kyutais offenem Modell Moshi mit 8-Bit-Gewichten. Gebaut haben wir die Laufzeit drumherum: Ton rein und raus, Spracherkennung und Mitschrift.
Unser eigenes deutsches Modell wird mit offen lizenzierten deutschen Gesprächsdaten trainiert. Es ist noch nicht fertig. Sobald es so weit ist, steht es hier – mit eigenen Zahlen.
Benchmark
Messungen der Vorschau: Moshi in unserer Laufzeit auf einem MacBook Pro mit M4 Max. Die Eingabe war synthetisch – Fragen, gesprochen von der macOS-Stimme, und eingespielte Aufnahmen, keine Gespräche mit vielen Menschen. Jede Zahl stammt aus wenigen Läufen.
| Kennzahl | Vorschau |
|---|---|
| Rechenzeit je Audio-Frame80 ms Ton, Median / p95, Metal, 7B-Modell mit 8 Bit · niedriger ist besser | ≈ 40 / 47 ms |
| Tempoim Vergleich zur Echtzeit · höher ist besser | ≈ 2× |
| Zeit bis zur AntwortEnde der Frage bis zur ersten hörbaren Antwort, im Browser · niedriger ist besser | 300–370 ms |
| Ton-RundlaufFrame aufgenommen bis Frame abgespielt, mit Abspielpuffer · niedriger ist besser | 210–290 ms |
| DurcheinanderredenNutzer und Modell sprechen gleichzeitig (Full Duplex) | ja |
| SpeicherSpitze, 8-Bit-Gewichte · niedriger ist besser | ≈ 15 GB |
Der Sprach-Codec auf Deutsch
Vox hört den Klang nicht direkt, sondern Token eines Sprach-Codecs (Mimi, aus Moshi). Wie viel Deutsch dabei erhalten bleibt, haben wir an 250 deutschen Äußerungen gemessen, auf denen kein Modell trainiert wurde: Whisper small schreibt das Original und die Codec-Fassung mit, wir zählen die Wortfehler.
| Ton | Wortfehlerrate |
|---|---|
| Originalaufnahmeder Boden: Fehler der Mitschrift selbst | 7,1 % |
| Mimi, 8 Codebücherso nutzt es die Moshi-Vorschau · niedriger ist besser | 16,7 % |
| Mimi, 16 Codebücherniedriger ist besser | 10,0 % |
| Mimi, 32 Codebücherniedriger ist besser | 7,8 % |
Mit 8 Codebüchern steigen die Wortfehler auf Deutsch auf mehr als das Doppelte. Der Verlust liegt in den hohen Frequenzen – Zisch- und Explosivlaute – und ist bei allen Sprechern gleich. Mit 32 Codebüchern ist der Codec fast so gut wie das Original.
Diese Zahlen gehören zur Vorschau auf Moshi. Sobald unser deutsches Modell fertig ist, ersetzen seine Zahlen sie hier.
Messungen der Vorschau, Stand: 28. Oktober 2026
Wie wir messen
- Synthetische Eingabe
- Die Fragen kamen aus der macOS-Sprachausgabe und aus Aufnahmen und wurden ohne echten Sprecher ins Modell gespielt. Die meisten Läufe gab es einmal; die Streuung kennen wir noch nicht.
- Antwortzeit im Browser
- Ab dem Moment, in dem die Spracherkennung das Ende der Frage markiert, bis zum ersten hörbaren Frame der Antwort, plus Leitung und Abspielpuffer – gemessen in Chrome auf demselben Mac.
- Spracherkennung als Maßstab
- Für den Codec vergleichen wir die Wortfehler von Whisper small auf der Codec-Fassung mit denen auf dem Original. Der Unterschied ist, was der Codec verliert.
Wo es Grenzen hat
- Die Vorschau spricht Englisch – Moshi ist auf Englisch trainiert. Auf deutsche Fragen bleibt sie oft still.
- Manchmal nennt sie Fakten, die falsch sind.
- Sie braucht einen Mac mit Apple Silicon und etwa 15 GB Speicher. Nur auf der CPU ist sie langsamer als Echtzeit.
- Ohne Kopfhörer hängt die Qualität an der Echo-Unterdrückung des Browsers.
- Ein Gespräch zur Zeit, ein paar Minuten lang.