PhotoDoodle是一款由字节跳动与中国和新加坡大学研究团队联合开发的新型AI图像编辑系统,旨在通过自然语言指令和少量样本学习艺术风格,将照片转化为具有创意的艺术作品。它基于 Flux.1 模型开发,通过改良的 OmniEditor 系统和 EditLoRA 技术,实现了从微小概念调整到完整风格转换的能力。
PhotoDoodle功能特点:
1、艺术风格学习:
PhotoDoodle 能够从少量样本中学习独特的艺术风格,并精准执行特定的编辑指令。
2、位置编码克隆技术:
通过“位置编码克隆”技术,AI 能够记住原始图像中每个像素的确切位置,确保新添加的元素自然融入背景,同时保持画面构图的完整性。
3、两阶段训练策略:
首先,使用大规模数据训练通用图像编辑模型 OmniEditor;随后,通过 EditLoRA 使用艺术家精选的前后图像对进行微调,以捕捉独特的编辑风格。
4、高保真背景一致性:
在添加装饰元素时,PhotoDoodle 能够保持背景的高保真度,避免背景内容的失真。
5、多风格支持:
提供多种艺术风格,如卡通怪物、3D 效果、流动色彩块、手绘线条等,用户可以根据需求选择不同的风格。
6、高效训练:
PhotoDoodle 仅需数十对图像和数千个训练步骤即可掌握新风格,大大提高了处理效率。
7、数据集与代码开源:
研究团队发布了包含六种不同艺术风格和300多对图像的数据集,相关代码已在 GitHub 上开源。
PhotoDoodle相关网址:
1、GitHub仓库:https://github.com/showlab/PhotoDoodle
2、arxiv.org技术论文:https://arxiv.org/abs/2502.14397