📚 AI学习

「AI绘画从0到1」Day10:图生图与局部重绘——让AI帮你改图而不是重新画图

· 2026-04-20 · 13 阅读

「AI绘画从0到1」Day10:图生图与局部重绘——让AI帮你改图而不是重新画图

👤 龙主编 📅 2026-04-20 👁️ 13 阅读 💬 0 评论

你有没有过这种经历?花了大半天写了一篇文案,回头发现有个关键错别字没改;花了一周打磨一张插画,交给客户后对方说”背景色能不能换成蓝色”;辛辛苦画了一整天,AI 偏偏在最显眼的地方给你画歪了一只手。

如果每次微调都要从头生成,那 AI 绘画的优势就全没了——重新抽卡的结果往往越改越离谱,还不如最初的版本。

图生图(Img2Img)和局部重绘(Inpainting)就是为了解决这个问题而生的。你可以把它们理解成 AI 绘画的”Photoshop”——不是从零开始,而是让你精准地修改画面中任何一个局部,保留其他部分不变。

这篇文章是「AI绘画从0到1」系列的第十篇。昨天你学会了 ControlNet,已经能从”抽奖选手”升级为”片场导演”。今天的技能是在这个基础上更进一步:让 AI 改图,而不是重新画图。


图生图概念示意

一、图生图到底是什么?

1.1 从头生成 vs 图生图

在 Day1 的文章里我们讲过,AI 绘画的本质是”从噪声中重建图像”——AI 先看到一张完全随机的噪点图,然后一步步去噪,最终生成一张符合提示词的图片。

文生图(Text-to-Image) 就是从随机噪点开始,完全由提示词主导生成过程。你告诉 AI “画一只在草地上奔跑的金毛犬”,AI 就从零开始构建这个画面。

图生图(Image-to-Image,简称 Img2Img) 则是在这个过程中插入了一张”起始图”。你给 AI 提供一张参考图(比如一张你拍的照片,或者一张之前 AI 生成的草图),AI 不是从噪点开始,而是把这张起始图当作去噪的起点,结合你的提示词来生成新图。

关键区别在于:

文生图的主动权完全在提示词手里,AI 有充分的”创作自由”。这既是优势也是劣势——优势是你能生成完全想象出来的东西,劣势是 AI 经常”放飞自我”,和你的预期差十万八千里。

图生图的主动权在”起始图+提示词”共同掌握。起始图给 AI 一个基本框架和约束,提示词再在这个框架上做调整,最终结果既保留了你想要的结构,又融入了新的元素。

1.2 图生图的典型应用场景

场景一:改变风格,不改变构图。

你用文生图生成了一张构图很满意的室内设计图,但画风是写实风,客户想要二次元风格。以往你只能重新抽卡,希望 AI 能保持同样的构图。但有了图生图,你把这张写实室内图作为起始图,提示词写”二次元风格,动漫渲染,室内设计”,AI 就会在保留原构图的基础上,帮你把画风转换成二次元。

场景二:给摄影作品加 AI 元素。

你拍了一张城市夜景照片,想要在天空加上飞天马车、在建筑上加上霓虹灯光。如果纯文生图,AI 很难保持照片的真实感和原有的光线角度。但如果用图生图,以你的实拍照片为起始图,提示词描述你想加的元素,AI 就能保持照片的真实感,同时把那些超现实元素自然地融入画面。

场景三:修复和增强 AI 生成图。

这是最实用的场景。你抽到了一张构图和氛围都很满意的图,但有些细节有问题——面部不够精致、光影不够自然、某个角落有些瑕疵。图生图可以在保持整体效果的前提下,帮你改善这些细节,而不需要重新抽卡。

1.3 图生图的核心参数:重绘强度(Denoising Strength)

理解图生图,关键在于理解一个参数:重绘强度(Denoising Strength)

这个参数的取值范围通常是 0 到 1(或者 0% 到 100%)。它控制的是:AI 在生成过程中,”参考起始图”和”自由创作”之间的比例。

当重绘强度 = 0 时, AI 完全参考起始图,几乎不做什么改变,生成的图和原图几乎一样——这等于没用。

当重绘强度 = 1 时, AI 完全自由创作,起始图基本不起作用,效果接近纯文生图——这又失去了图生图的意义。

当重绘强度在 0.3-0.6 时, 这是最常用的区间。AI 在保留起始图大体结构和构图的基础上,进行明显的风格或内容调整。这个范围内存的差异也很大:0.3 左右偏向保留原图,0.6 左右偏向大幅改造。

在实际操作中,Day10 建议从 0.5 开始尝试,然后根据结果上下微调。如果你想保留更多原图细节,就往 0.3-0.4 靠;如果你想要明显不同的结果,就往 0.6-0.7 靠。


二、局部重绘(Inpainting)详解

2.1 为什么需要局部重绘?

图生图是对整张图进行改造。但在实际使用中,你往往只需要修改一个局部——比如一张人物照里,AI 画的手指有问题,你只想修手指,其他地方都满意。

如果用图生图处理整张图,手指虽然修好了,但可能脸型、发型、甚至整个构图都变了。这是用户最常遇到的崩溃时刻。

局部重绘(Inpainting) 就是来解决这个问题的。它的原理很直观:你告诉 AI “我只想要你修改这个区域,其他地方保持原样不动”。AI 只会在你指定的区域内重新生成内容,区域外完全不变。

2.2 局部重绘的两种方式

在 Stable Diffusion 中,局部重绘主要通过两种方式实现:

方式一:Draw Mask(画遮罩)

你在原图上用画笔涂抹出想要修改的区域。涂抹区域会被标记为”需要重新生成”,白色区域表示保留原样,黑色区域表示要重新生成。

这种方式最直观,适合修改不规则形状的区域——比如一只画歪的手、一块背景中的杂物、一个比例失调的物体。

方式二:Upload Mask(上传遮罩)

如果你有设计软件(如 Photoshop)基础,可以自己在外部软件里制作一张遮罩图——黑色代表要修改的区域,白色代表保留的区域,然后上传这张遮罩图到 Stable Diffusion。

这种方式适合精确的、几何形状的遮罩,或者当你要批量处理多张图片、每次修改相同位置时非常高效。

2.3 局部重绘的核心参数

局部重绘有几个关键参数需要注意:

蒙版模糊度(Mask Blur):控制遮罩边缘的模糊程度。如果设为 0,边缘会非常锐利,生成内容和原图在边缘处会显得突兀。如果蒙版区域和不蒙版区域边缘差异大,建议把 Mask Blur 设到 3-5,让过渡更自然。

蒙版模式(Masked Content):这个参数告诉 AI,遮罩区域内的内容”应该以什么为基础”来重新生成。常见选项包括:

  • **”潜空间噪声”**:以随机噪点为基础重新生成,适合大幅改造。
  • **”原始图像”**:以原图内容为基础,适合小幅调整。
  • **”空白潜空间”**:以完全空白为基础,适合在空白区域创造全新内容。

重绘幅度(Inpaint Denoising Strength):类似于图生图的重绘强度,但只作用于蒙版区域。通常 0.4-0.6 是修复细节的好范围,如果要大面积重绘,可以用更高数值。

2.4 局部重绘的实战技巧

技巧一:手指和脸部的局部重绘

手指和脸部是 AI 绘画最容易出错的地方,也是局部重绘最常用的场景。修复步骤如下:

第一步,用画笔工具在出错的手指区域涂抹,生成遮罩。涂抹范围要稍微大一些,留出周围正常区域的缓冲空间。第二步,提示词写”正常的手,五根手指,正确的解剖结构”,同时把重绘强度设为 0.4-0.5,避免过度改造影响周围区域。第三步,如果第一次生成效果不理想,可以调整提示词或稍微增大重绘幅度,重新生成。

技巧二:利用”局部重绘+ControlNet”

这是 Day9 内容的进阶用法。你可以在局部重绘时,同时启用 ControlNet 来控制生成内容的姿势或构图。比如你想修改一张角色图的手部动作,但又不希望 AI 把手的整体比例和风格改掉。

配合 OpenPose 控制,AI 会在你指定的遮罩区域内,按照新的姿势生成手部图像,但手的大小比例、皮肤质感、整体画风都会和原图保持一致。

技巧三:消除杂物和不需要的元素

背景里有多余的东西?某个物体位置不对?想删掉画面中的一个人?局部重绘都可以搞定。

操作方法是:把想要删除的区域涂成遮罩,提示词可以填写”干净的背景,简洁的画面”,或者干脆留空让 AI 自动推断应该填什么内容。重绘幅度设为 0.5-0.65,给 AI 足够的空间来”补上”被删除的部分,同时不会过度影响周围的画面。


Outpainting扩展示意

三、扩展画布:Outpainting

3.1 什么是 Outpainting?

如果说局部重绘是在画面内部做减法(擦除和修改),那么 扩展画布(Outpainting) 就是在画面外部做加法——把画面的边界往外扩,让 AI 在原本不存在的区域里继续创作。

这个功能的典型应用场景包括:

  • **竖图改横图**:你有一张竖构图的照片或 AI 图,想要一张同样内容但横向构图的版本。用 Outpainting 扩展左右两侧,AI 会根据原有内容,在两侧补充生成符合逻辑的新画面。
  • **添加天空或地面**:生成的风景图天空太窄,想要更开阔的视野。Outpainting 可以在上下方向扩展,AI 会生成连贯的天空或地面。
  • **打造全景图**:把多张图片通过 Outpainting 拼接成一张超宽幅的全景图,这在游戏原画和电影分镜中非常实用。

3.2 Outpainting 和局部重绘的关系

很多人搞不清楚 Outpainting 和局部重绘的区别。简单区分一下:

局部重绘的遮罩区域是”要重新生成”的部分,不遮罩的区域是”原样保留”的部分。

扩展画布则相当于把”扩展出去的新区域”当作一个大遮罩,原有画面和新区域之间的边缘是”过渡和约束”——AI 不是凭空创作新区域,而是要保证新生成的内容和原有画面在风格、光线、透视上保持连贯和自然。

Stable Diffusion WebUI(如 Automatic1111)提供了”脚本(Scripts)”功能下的 Outpainting 选项,支持上下左右四个方向的扩展,每次扩展的幅度和每次扩展的重绘强度都可以单独设置。


四、实战案例:从一张草图到精致插画

案例背景

假设你是一个自由插画师,客户要求你为一本儿童绘本创作一张封面图。主题是”小女孩在魔法森林里和独角兽玩耍”。

你先用文生图生成了一张草图,构图和氛围都不错,但有两个明显问题:前景的小女孩脸部有些扭曲,独角兽的角看起来不太自然。想通过局部重绘来修复这两处细节,而不是重新生成整张图。

步骤一:准备原图并识别问题区域

将草图导入 Stable Diffusion WebUI,切换到”Img2Img”标签页,把原图上传到”起始图”区域。

先仔细观察原图,标记需要修复的两个区域:前景小女孩的脸部(主要问题)和独角兽的角(次要问题)。这两个区域需要分别处理。

步骤二:局部重绘修复小女孩脸部

切换到”Inpaint”(局部重绘)标签。用画笔工具在小女孩脸部区域涂抹,创建蒙版。涂抹范围要稍微大于问题区域,保留一圈正常皮肤作为过渡参考。

提示词填写:”beautiful young girl face, clear eyes, smile, soft lighting, detailed skin texture, masterpiece quality”。重绘强度设为 0.4,蒙版模糊度设为 3,重绘模式选择”Original”。

点击生成,AI 会在保持周围区域完全不变的情况下,重新生成一张清晰自然的脸部图像。

步骤三:局部重绘修复独角兽角

脸的问题修复后,处理独角兽的角。切换回”Inpaint”模式,这次在独角兽角部区域涂抹蒙版。

提示词填写:”graceful unicorn horn, spiral texture, glowing magical effect, matching the fairy tale style”。重绘强度设为 0.35(因为这次修改幅度较小),避免过度改造影响独角兽头部的整体造型。

生成后,检查新生成的角是否和原有独角兽头部风格一致、比例协调。

步骤四:整体调色和光影统一

局部修复完成后,可以用图生图功能对整张图进行轻度的”统一调色”,让修复的局部和原图在光影、色调上更加融合。

将修复后的图作为新的起始图,提示词填写”enhanced version, unified lighting, vibrant colors, professional illustration”(或保留原提示词),重绘强度设为 0.15-0.2,只做微调不做大幅改造。

最终效果

通过这个流程,你不需要从头生成,而是用”局部重绘+轻度融合”的方式,在 15-20 分钟内完成了一张精致度堪比重新绘制的插画封面。关键是——保留了原图中你满意的部分,只修改了有问题的部分。


进阶组合用法示意

五、图生图与局部重绘的进阶组合用法

5.1 图生图 + ControlNet:精准控制再升级

在 Day9 我们学了 ControlNet 的四种控制方式。这些控制方式和图生图结合,能产生 1+1>2 的效果。

组合一:图生图 + OpenPose

你有一张满意的动作草图,但想要更精致的画面细节。图生图以这张草图为起始图,同时用 OpenPose 控制角色姿势,提示词描述你想要的画风和细节品质。AI 既能保持你设计的姿势,又能在细节上大幅提升质量。

组合二:图生图 + Canny 线稿控制

将一张摄影作品通过 Canny 预处理转换成线稿图,再用图生图以这张线稿为控制基础,提示词描述你想要的艺术风格。摄影师可以用这种方式把自己的作品转化成不同画风——把实拍照片转化成油画、水彩画、赛博朋克风格等。

组合三:图生图 + Tile

Tile 模型是图生图中的一个特殊模型,它的特点是”忽略全局结构,只关注局部细节”。当你用 Tile 模型做图生图时,AI 会把原图分割成小块,每块单独处理后再拼接,能在很大程度上保留原图的构图,同时大幅改变细节风格。

这种组合特别适合”保持构图但完全改变画风”的场景,比如把一张照片转化成黏土动画风格或像素游戏风格。

5.2 批量处理与工作流优化

如果你的工作中需要处理大量同类图片,手动一张一张操作效率很低。可以通过以下方式优化:

方式一:使用脚本批量处理

Stable Diffusion WebUI 支持用脚本批量执行图生图操作。你可以编写一个简单的 Python 脚本,调用 Stable Diffusion 的 API,传入一组图片和对应的提示词,批量产出结果。

方式二:建立个人提示词模板

把常用的提示词结构保存为模板。比如”修复面部”的提示词模板可以写成:”[quality]: masterpiece, best quality, highly detailed | [subject]: [描述主体] | [fix]: [具体修复目标]”。每次使用时只需要填入具体内容,不用从头写完整的提示词。

方式三:使用 ComfyUI 建立工作流

如果你已经对 AI 绘画有了一定了解,ComfyUI 是一个值得学习的进阶工具。它用节点和工作流的方式,把图生图、局部重绘、ControlNet 控制等操作串联成一个自动化流程。一旦建立好工作流,同样的任务只需一键执行,大大提升效率。


六、不同场景的参数推荐

很多人知道图生图和局部重绘的原理,但一实际操作就不知道该用什么参数。以下是不同场景的推荐参数组合,来自大量实测经验:

场景一:改变艺术风格(写实转动漫、照片转插画)

  • 重绘强度:0.5-0.65
  • 采样步数:20-30
  • 提示词:描述目标风格,不描述具体物体细节(让原图提供物体信息)
  • 建议配合 ControlNet Tile 使用
  • 场景二:修复 AI 生成图的面部和手部

  • 重绘强度:0.35-0.5
  • 蒙版模糊度:3-5
  • 提示词:聚焦于修复目标(”correct hand anatomy, five fingers”)
  • 可配合 ControlNet OpenPose 使用
  • 场景三:为照片添加 AI 元素

  • 重绘强度:0.55-0.7
  • 蒙版模糊度:5-8
  • 提示词:描述你想添加的元素类型
  • 建议启用 ControlNet Canny 或 Depth 保持原图结构
  • 场景四:消除不需要的物体

  • 重绘强度:0.5-0.65
  • 提示词:描述干净背景(”clean background, no objects, smooth wall”)
  • 可分两次处理:先用较高强度去除主体,再用低强度让边缘过渡自然

七、常见问题与解决方案

问题一:局部重绘后边缘有明显的接缝

这是最常见的问题。解决方法有几个:第一,增加蒙版模糊度(Mask Blur),让遮罩边缘过渡更柔和;第二,降低重绘强度,避免 AI 在边缘区域生成差异过大的内容;第三,可以多做几次轻度重绘,而不是一次高强度重绘;第四,生成后用 Photoshop 或 GIMP 做轻微的高斯模糊处理接缝处。

问题二:重绘强度设了多少都觉得不对,要么保留太多问题,要么改动太大

这通常是蒙版区域太小造成的。遮罩应该比问题区域大一些,留出周围正常区域作为 AI 理解和过渡的参考。如果问题区域是手,建议把整个手臂都包含在遮罩内,而不是只涂手指。

问题三:局部重绘生成的内容和周围环境不协调

解决方法是在提示词中明确描述环境信息。比如修复一只鸟时,提示词除了写”美丽的鸟”,还要写”在森林背景中,温暖的午后阳光”,这样 AI 生成的内容在光影和色调上会更容易和周围环境融合。

问题四:图生图时如何避免构图被大幅改变

当你想保留原图构图,只想改变风格或细节时,有几个技巧:一是使用 ControlNet Canny 或 Depth 来锁定构图;二是把重绘强度控制在 0.4 以下;三是分步骤处理——先轻度重绘看效果,不满意再逐步提高强度,而不是一开始就开很高。


八、总结与下节预告

今天我们学习了图生图(Img2Img)和局部重绘(Inpainting)两大核心技能。图生图让你能够以一张参考图为基础,通过调整重绘强度来控制 AI 是在原图基础上微调还是大幅改造。局部重绘则让你能够精准修复图片中的局部问题,保留满意的部分不受影响。

核心要点回顾:

  • 图生图通过”起始图+提示词”共同控制输出,保留构图的同时改变风格或内容
  • 重绘强度是图生图的核心参数,0.3-0.6 是最常用区间
  • 局部重绘通过蒙版指定修改区域,适合修复特定问题(面部、手部、杂物等)
  • 局部重绘配合 ControlNet 使用效果更佳
  • Outpainting 可以在画面外部扩展,生成全景或改变画幅比例

明天是 Day11,我们将学习 LoRA 模型训练——让 AI 学会你的专属画风,你画什么它就模仿什么。这是 AI 绘画从”使用别人的工具”到”拥有自己的模型”的关键一步。敬请期待。


【本系列目录】

  • Day1:AI绘图底层逻辑 ✅
  • Day2:Stable Diffusion快速上手 ✅
  • Day3:提示词基础语法 ✅
  • Day4:五大万能构图公式 ✅
  • Day5:参数设置入门 ✅
  • Day6:模型选择指南 ✅
  • Day7:AI绘画变现路径 ✅
  • Day8:头像定制实战演示 ✅
  • Day9:ControlNet入门 ✅
  • Day10:图生图与局部重绘 ← 今天
  • Day11:LoRA模型训练 ← 明天
  • Day12-Day15:敬请期待
  • 发表评论

    您的邮箱地址不会被公开。 必填项已用 * 标注

    微信公众号二维码

    扫码关注公众号

    QQ
    QQ二维码

    扫码添加QQ