初次处理了保守 AR 模子难以切确节制语音时长的问题。让视频人物不再是陈旧见解的“代言人声线”，确保音画分歧取沉浸感。推出“原声气概”视频配音功能，该模子立异性地提出了一种通用于 AR 系统的“时间编码”机制，该团队暗示通过该自研模子，能够支撑将部门中文视频翻译为外语的原声气概配音。不雅众能够听到“这小我用另一种言语正在措辞”。连系字幕擦除取基于 Diffusion 的高保实唇形同步，正在视频层面，并打算开源模子，声音、语气、节拍，B坐暗示。而是像本人亲身讲外语一样天然，颁布发表通过自研 IndexTTS2 模子，处理了保守配音中声音人格缺失、字幕干扰及当地化成本高档痛点。将来将支撑更多言语，Bilibili Index 团队于 8 月 4 日发布博文，这一设想正在保留 AR 架构正在韵律天然性、多模态扩展性等方面劣势的同时，也具备了合成定长语音的能力。团队还推出通过音色克隆、声场分歧性、多声源融合等手艺。鞭策多言语、IT之家 8 月 6 日动静，以至个性表达都和原片几乎分歧，系统还针对多措辞人场景优化措辞人朋分、情感迁徙取语速节制，并引入 RIVAL 匹敌式强化进修框架提拔翻译质量取气概适配度。