已经开发出一种简单的新模型，该模型不仅可以完美地结合声音和语音提示，而且可以在同一系统中结合说话者分类和语音识别任务。与仅在相同环境中执行语音识别的系统相比，此集成模型不会显着降低语音识别性能。我们意识到关键点在于RNN-T体系结构非常适合集成声音和语言提示。 RNN-T模型由三个不同的网络组成：（1）转录网络（或编码器），它将声音帧映射到潜在的表示形式。 （2）给定上一个目标标签的预测网络将预测下一个目标标签。 （3）级联网络合并上述两个网络的输出，并在此时间步生成该组输出标签的概率分布。请注意，下图中所示的体系结构中存在一个反馈循环，其中先前识别的单词作为模型的输入返回，这允许RNN-T模型引入语言线索（例如，问题的结尾）。集成语音识别和说话者分类系统的示意图。该系统还推断“谁，何时何地”。在图形处理单元（GPU）或张量处理单元（TPU）等加速器上训练RNN-T并非易事。这是因为损失函数的计算需要运行“前推导-后向传播”。算法，涉及所有可能的输入和输出序列的比对。最近，已经在TPU友好的“前-后”中解决了这个问题。算法，将问题重新定义为矩阵乘法序列。我们还利用了TensorFlow平台中RNN-T损失的有效实现，这允许快速迭代模型开发，从而训练非常深的网络。该集成模型可以像语音识别模型一样直接进行训练。用于培训的参考翻译包含说话者所说的单词，以及紧随其后的指定说话者角色的标签。例如，“家庭作业的截止日期是什么时候？”，“希望您明天上课前交作业”。在基于音频和相应的参考翻译样本对模型进行训练之后，用户可以输入对话记录，然后获得类似的输出结果。我们的分析表明，RNN-T系统的改进将影响所有类型的错误率（包括更快的说话者转换，单词边界分割，存在语音覆盖的不正确说话者对齐以及更高的音频质量）。另外，与传统系统相比，RNN-T系统显示出一致的性能。当将每个对话的平均误差用作评估指标时，方差显着减小。传统系统和RNN-T系统之间的错误率比较是由人工注释者来分类的。此外，集成模型还可以预测其他一些标签，这对于生成对读者更友好的ASR翻译是必不可少的。例如，我们已经可以使用匹配的培训数据来通过标点符号和大写字母来提高翻译质量。与我们以前的模型（单独训练并用作ASR的后处理步骤）相比，我们的输出在标点和大写字母方面的误差较小。