Nema Vox

同时聆听和说话

大多数语音助手是轮流进行的：你说话，它转写，文本模型写出回答，再由语音朗读。Vox 直接处理声音，同时运行两条流——一条是它听到的，一条是它说出的，每秒 12.5 步。因此它能在约三分之一秒后回答，说话时继续聆听，可以被打断，还能在你说话时轻声回应“嗯”。

它在哪里运行

Vox 完全在 Mac 上运行：麦克风、模型和语音输出都在本机。你的音频不会离开设备——没有服务器，也没有云服务商。预览版需要搭载 Apple 芯片的 Mac，并在其图形处理器（Metal）上计算。

预览版基于什么

这一思路源自双流口语对话模型的研究，例如 dGSLM（Nguyen 等，2022）和 Moshi（Kyutai，2024）。当前预览版运行的是 Kyutai 的开源模型 Moshi，使用 8 位权重。我们为它构建了运行环境：音频输入输出、语音检测和实时转写。

Moshi by Kyutai, CC-BY 4.0

我们自己的德语模型正在使用开放许可的德语对话数据进行训练，目前尚未完成。完成后会在这里公布——附上它自己的数据。

基准测试

预览版的测量结果：Moshi 在我们的运行环境中，运行于搭载 M4 Max 的 MacBook Pro。输入是合成的——由 macOS 语音朗读的问题和播放的录音，而不是与许多人的真实对话。每个数字都来自少量运行。

德语上的语音编解码器

Vox 并不直接听声音，而是听语音编解码器（Moshi 的 Mimi）产生的 token。它能保留多少德语，我们用 250 条未被任何模型训练过的德语语句进行了测量：Whisper small 分别转写原始录音和编解码后的版本，我们统计词错误。

使用 8 个码本时，德语的词错误增加了一倍多。损失集中在高频——擦音和爆破音——并且对所有说话人都一样。使用 32 个码本时，编解码器几乎与原始录音一样好。

这些数字属于基于 Moshi 的预览版。我们的德语模型完成后，将用它的数字替换这里的内容。

预览版测量结果，截至 2026 年 10 月 28 日

我们如何测量

合成输入

问题来自 macOS 语音合成和录音，在没有真人说话的情况下播放给模型。大多数测试只运行了一次，我们还不知道结果的离散程度。

浏览器中的回答时间

从语音检测标记问题结束，到回答中第一帧可听见的声音，再加上传输和播放缓冲——在同一台 Mac 上的 Chrome 中测量。

以语音识别为标尺

对于编解码器，我们比较 Whisper small 在编解码版本和原始录音上的词错误。两者之差就是编解码器丢失的部分。

它的局限

• 预览版说英语——Moshi 是用英语训练的。面对德语问题，它常常保持沉默。
• 它有时会说出错误的事实。
• 它需要搭载 Apple 芯片、约 15 GB 内存的 Mac。仅用 CPU 时，它比实时更慢。
• 不戴耳机时，质量取决于浏览器的回声消除。
• 一次只能进行一场对话，时长几分钟。