在2026年，交互式世界生成面临着新的挑战：AI所创构的世界是否能满足用户的反复探索需求？一扇绘制得栩栩如生的门只是探索的起点，深入其中后，门的表现要自然符合现实；而用户反复经过某条走廊并返回时，门的位置应保持不变。每一次用户的移动、转身或返回都在考验模型能否牢牢把握已生成的世界。在这一背景下，世界模型的竞争不仅仅聚焦于画面质量，还延伸至持续交互时的可靠性。镜头必须精准响应指令，场景则需要保持连贯性，而生成速度也得跟得上用户的操作，任何环节的失误都可能破坏探索体验。

过去一年技术的飞速进展让这条主线更加明晰。谷歌DeepMind的Genie 3展示了实时探索与分钟级一致性的结合，英伟达的SANA-WM则将分钟级生成、精准的相机控制和更高效率整合在一起，World Labs的Atlas则通过空间上下文支持沿指定相机轨迹生成新视角，从而保持场景的几何关系。然而，当探索涉及视听体验时，新的问题浮现：用户改变路线或视角时，脚步声、环境音和人物对话声是否能够与画面保持连贯？

在面向沉浸体验的世界模型中，视听生成与交互控制的结合日益受到重视。9月9日，京东探索研究院在京东全球科技探索者大会上推出了JoyAI-Echo系列的新进展，包括对超长音视频生成模型的升级版JoyAI-Echo 1.5，并开源了专为可交互视听世界生成设计的JoyAI-EchoWM。该模型延续了JoyAI-Echo原本的音视频生成能力，在同一框架下可同时生成视频、环境音、音乐以及语音，并能实时响应用户操作。用户可以在第一人称视角下自由探索场景，而在切换至第三人称视角时，摄像机和角色的运动也能够保持良好的协同。经过多次长时间操作后，整体画面、空间关系与角色状态依旧表现出色。

JoyAI-EchoWM创造了一个真正可进入、可操作和可探索的视听一体化世界。在相关论文报告的158个WBench Navigation测试案例中，JoyAI-EchoWM以81.7的最高平均分脱颖而出，并在一致性（89.8）和交互性（87.2）等指标上名列前茅。同时，四步因果流版本EchoWM-Flash的平均分为81.0，交互分数为87.9，证明即使缩减采样步数，模型仍具备良好的导航响应能力。

与同一测试中的其它模型相比，Genie 3突出实时探索与分钟级世界一致性，而LingBot-World 2.0则通过因果生成与少步蒸馏实现长时交互，并结合相机位姿和文本指令操控视角、动作和事件。HappyOyster则将音视频生成和实时交互结合，提供导演模式与第一人称漫游模式。JoyAI-EchoWM的特点在于兼顾跨视角控制与持续视听体验，为可交互的生成内容提供了更全面的能力组合。

这种技术路线如何在交互中体现，可以通过用户按下操作键后，镜头、画面与声音的变化来观察。与传统视频生成相比，普通视频生成在生成结束时几乎任务完成，即便主体位置略有漂移或空间关系偶有变化，整体画面自然时用户未必察觉。然而，一旦允许用户自由移动与切换视角，原本可以被视觉效果掩盖的小错误在交互状态下可能变成Bug。这是因为交互为视频生成增加了更高的要求，模型需依据用户操作生成与之前内容衔接的画面。

JoyAI-EchoWM如何地应对这些挑战呢？它的解决思路在于共享一套交互接口，让画面中的主体、空间关系及声音随着用户的探索不断延续。团队将该模型称之为面向“可进入生成媒体”的全模态世界模型。为了实现这样自然流畅的交互，首先需统一不同视角下的控制方式。第一人称视角时，镜头接近用户目光，移动镜头需与用户移动相对应；第三人称视角时，镜头则需紧随角色或其他主体，并与画面构图配合。此外，用户按下的方向键是离散指令，而相机位置与方向却是连续变化的，分别设计不同视角和控制设备的接口会增加系统维护的负担。为解决此问题，JoyAI-EchoWM采用了统一的“相机意图”表示方式，用于描述用户希望镜头如何移动、从什么角度观察场景。键盘操作经过固定映射，转换为相对初始位置的连续6-DoF轨迹，代表相机在3D空间中的平移和旋转。