京东正式开源JoyAI-Image-Edit：AI图像编辑从“平面修图“迈向“空间重塑“

近日京东探索研究院正式开源多模态基础模型JoyAI-Image-Edit支持文生图、图像理解以及指令引导的图像编辑。该模型不仅具备像素级精细化编辑能力更能赋予平面图像真实的立体感是业内首个将空间智能深度融入统一多模态框架的开源模型在引入空间能力的同时依然具备强大的通用生成与理解性能。在公开的Benchmark中JoyAI-Image-Edit的空间理解和空间编辑能力已达世界一流水平超过现有开源模型比肩顶尖闭源模型。目前模型已开源开发者可直接基于其构建空间编辑应用。JoyAI-Image-Edit的空间理解和空间编辑能力已达世界一流水平破局行业痛点理解与生成之间的“空间断层”统一多模态模型是当前学界和产业界共同攻坚的方向不少头部公司都在尝试将图像理解与生成整合进同一个模型框架。然而理解与生成的协同在空间维度上存在明显短板。这种短板在实际编辑中暴露得尤为突出移动物体导致结构变形、比例失调调整物体间的位置关系则遮挡层次全部错乱切换视角时透视几何严重失真反复微调后画面一致性彻底崩塌。根源在于模型缺乏对三维空间结构的深层理解理解模块输出的语义信息没有真正流入生成模块的几何控制过程编辑操作只是在像素层面搬运而非在空间层面推理。JoyAI-Image-Edit正是为此而生——从数据构建、任务设计到训练策略全链路注入空间感知让理解、生成与编辑在统一框架内彼此增强。三大核心亮点从架构到场景的全面突破JoyAI-Image-Edit的技术优势集中体现在三个层面。第一生成与理解的深度融合。模型采用MLLM–MMDiT统一架构彻底打破了理解与生成的边界。通过视觉感知与生成能力的深度协同其空间理解指标已可比肩行业顶级闭源模型在公开Benchmark中领跑同规模开源模型。第二空间编辑的范式突破。这是JoyAI-Image-Edit最具辨识度的能力。它支持三类此前开源模型难以胜任的操作视角变换——用户可通过自然语言指定相机的偏航角、俯仰角及缩放程度模型在保持场景几何一致性的前提下生成新视角图像空间漫游——支持连续的视角移动生成在空间中逻辑连贯的多视角图像序列类似于在三维场景中走动物体空间关系操控——在保持场景整体结构稳定的前提下对特定物体进行位移、缩放等空间变换同时确保遮挡与光影关系自然合理。第三多场景的高性能表现。模型同时支持15类通用编辑能力涵盖替换、删除、添加、风格调整等常用操作结合空间编辑能力在长文本渲染、多视角一致性生成等高难度任务中均表现卓越。这些空间编辑能力背后有两大关键技术支撑一是自研的OpenSpatial数据引擎实现了空间数据的自动化合成二是百万级规模的Blender渲染多视角数据集使用Blender 4.5渲染了约100万组多视角图像为模型的空间感知能力提供了坚实的数据基础。具身场景合成空间一致的多角度训练样本落地场景从电商到具身智能的广泛想象JoyAI-Image-Edit的开源为多个垂直领域打开了新的应用空间。在电商领域产品通常需要多角度、多场景展示图传统方式依赖摄影棚实拍或3D建模渲染成本高、周期长。通过JoyAI-Image-Edit商家只需一张商品主图即可自动生成不同角度的展示图商品放入不同场景时几何关系依然合理。在具身智能领域空间理解与生成的闭环能力是构建世界模型的基础。机器人执行导航、抓取等任务时需要对三维空间进行推理而真实场景数据采集成本极高。JoyAI-Image-Edit可从有限真实图像出发合成大量空间一致的多视角训练样本为视觉-语言-动作系统和世界模型提供底层能力支撑。在3D重建领域传统流程依赖多视角实拍或激光雷达扫描对硬件和拍摄条件要求较高。JoyAI-Image-Edit提供了全新路径——用户仅需输入三张图片即可生成几何一致的多视角图像序列在电商三维展示、品牌VI生成、数字孪生、工业仿真及文化遗产保护等场景中前景广阔。在建筑设计、游戏与影视领域设计师可从一张概念图快速探索不同视角效果无需启动完整三维建模流程显著提升创意验证效率。这不是一次渐进式的版本更新而是AI图像编辑从平面修图迈向空间重塑的范式级跃迁。随着模型全面开源更多开发者将在此基础上探索空间智能的更多可能。广大开发者可前往HuggingFace或Github获取模型。