SDXL可以合成分辨率高达 1024×1024 的图像，结合我们本身的放大算法最高可放大到4倍，而 DemoFusion 允许 SDXL 生成 4×、16× 甚至更高分辨率的图像，而无需任何调整和大量内存需求。所有生成的图像均使用单个 RTX 3090 GPU 生成
AI绘画50篇合集专栏请点击
领取百川大模型2400万token
DemoFusion框架的总结如下：
a) DemoFusion从传统的分辨率生成开始，采用"上采样-漫射-去噪"循环。它利用低分辨率生成的结果作为通过噪声反演获得更高分辨率的初始化。在"上采样-漫射-去噪"环路中，前一个扩散过程中相应时间步长的噪声反转表示被用作跳跃残差，作为全局引导。
b) 为了改善MultiDiffusion的局部去噪路径，DemoFusion引入了扩展采样，以建立全局去噪路径，从而促进更全球连贯的内容生成。DemoFusion框架与SDXL结合使用，与ControlNet结合使用，可以实现可控的高分辨率生成。
DemoFusion具有免调谐特性，
可以与基于LDM的应用程序无缝集成。
DemoFusion以渐进式方式工作，实现真实图像的放大。基于基础LDM的潜在数据分布。
使用生成式人工智能（GenAI）生成高分辨率图像具有巨大潜力
原理
DemoFusion的框架。
（a） 从传统的分辨率生成开始，DemoFusion采用“上采样-漫射-去噪”循环，将低分辨率生成的结果作为通过噪声反演获得更高分辨率的初始化。在“上采样-漫射-去噪”环路中，来自前一个扩散过程中相应时间步长的噪声反转表示作为跳跃残差作为全局引导。
（b） 为了改善MultiDiffusion的局部去噪路径，我们引入了扩展采样来建立全局去噪路径，从而促进更全球连贯的内容生成
与 ControlNet 结合使用DemoFusion 的免调谐特性可实现与许多基于 LDM 的应用程序无缝集成。例如，DemoFusion与ControlNet[3]相结合，可以实现可控的高分辨率生成
放大真实图像由于 DemoFusion 以渐进式方式工作，我们可以将阶段 #1 的输出替换为编码的真实图像表示，从而实现真实图像的放大。然而，我们小心翼翼地避免使用术语“超分辨率”，因为输出倾向于基础LDM的潜在数据分布，使这个过程更类似于基于真实图像的图像生成