阿里巴巴开源项目DreamTalk，能让人物头像栩栩如生地说话，支持多语言、歌曲、嘈杂音频匹配，开放更多开发者创新。
编译器将使模型（训练和推理）的速度至少提高80%。
DeWave训练流程
提出的Dual-Pivot Tuning技术通过个性化恢复在恢复图像中实现了高身份保真度和自然外观。定性比较表明，基于扩散的盲目恢复方法可能无法保留个体的身份，而提出的技术在保持高身份保真度的同时，没有可感知的对降质输入的保真度损失。使用PSNR、SSIM和ArcFace相似性等指标的定量评估表明，所提方法在恢复图像方面对个体身份的高保真度非常有效。
VCoder作为一个视觉编码器，为MLLM提供了更好的视觉感知能力，能够处理特殊类型的图像，并改善了对象感知任务的表现。在与其他模型的比较中，VCoder在对象计数和识别方面表现出色，特别是在复杂场景中。