精致的像素级别的风格转换-Deep Image Analogy

文/Hungryof   

总说



一般情况下,笔者最适当的两张相片。,A和B′。以防A是提出,笔者刻薄的的图像与物质相似地。,不管怎样相当图像属性(比如色),相似地排队B,笔者回想起这张相片是A。,同一,笔者也可以下定义B。。

与先前风格转换的异同:

古体字 转变的方式是全面的的。,它指的是一种油漆风格。,这种转换与本土物质无什么相干。,比如,古人风景画法的油漆风格或萃取物,是风格的全面意象表达。 以防是图像属性当正中鹄的转换, 这是像素级风格。。
比如,图A有A的轮廓。,对应地位的物质快要相同的人。。不过囫囵图像的属性(如色),排队)变为B′。,它相称了暗黄色,脸的排队也被抹去了很多。。

根本手势

A:A::B:B

到站的A和B是未知的。。这样的的表现有两个约束条件。:

1. A和A完整指示。,同一地,B和B也同上。。
2. A和BB在图像字母上是相似地的。。(比如,色),排队)。



作者们以为立即的学到从A到B′的有代理人是英〉硬海滩的(白色)。这是由于A和B有不同的的视觉效应。,像素上在紊乱。以防这时有代理人使消释成

1. 有代理人A到A的相同的人地位。(这是指示的。,spatial地位上,这执意为什么A可以从反面回复的发生因果关系。

2. 款式有代理人到A to B。(这执意紊乱的在。,因而应用NNF搜索

现时下定义两个有代理人。。以防A,B,以防A,B’被有代理人。,也执意说,它将A的P点有代理人到B′的P′地位。。去,作为人家'A'亲手执意同人家地位点的有代理人(完整指示),B和B’同样指示的身负重担的人。。去,A到B的有代理人可以被看法是从A或A到B的有代理人。。同一,笔者可以将B下定义为A。。

A(p)=B(Φa→b(p))andA′(p)=B′(Φa→b(p))(1)

上文的前半分开可能是,顾虑图的P点,以防该点有代理人到B图的P′点,到站的p′=a,b,p。这两点可能是同上的。。自然,为了变高匀称约束。,可以添加双向约束。:Φb→a(Φa→b(p))=p    Φa→b(Φb→a(p))=p

A和B的解说

由于笔者有A和B。,以防我有,我也有A和B。, 后来地,笔者可以达到有代理人A,B和B A。。抱负A是A的物质组织。,它也有B′的详情。。 现时想想,以防a和a是指示的,最适当的详情不同的(本地居民排队),色等。,美国有线电视新闻网A和A的怪癖是相似地的。。因而在顶上的,立即的假说是A和A是相当的。,后来地逐步回复在美国有线电视新闻网的浅层。,回复的方式是将流畅层的特点与CH合。,相似地,可以构成电流层的B。。一次构成河床。,决赛,笔者达到了输出层的a’和b’。。

Deep PatchMatch

输出A和B, 后来地,可以达到L层的A和B’的特点。,这是先期计算的。。 倘若孵卵 images A和B (添加两个输出)。,懂得4个图像先前在。,笔者可以下定义有代理人Φa→b和Φb→a执意一次NNF(Nearest-neighbor 接)搜索。上面先前讲到,在广泛分布的顶端,笔者可以立即的闪现A和A。, B和B是同上的。。现时思索:

以防笔者先前具有L层正中鹄的4幅图片的特点。L 1L的1层特点,其思惟是将L层A的特点与特点使和好有工作的。。由于A和A的体现根本相同的人(并且不同的),去,笔者可以把A级的特点乘以必然的使负重。,作为L 1L的1层特点的一分开,B的怪癖也对建筑艺术起到了必然的功能。,总的来说,B’装修了A的详情。。后面说,B’和A’无指示。!因而笔者必要身负重担的人B。,将有代理人特点与,这可以是集成的。。

这是什么有代理人到B′?也执意说,L程度是由T计算出狱的。, 见客套话(1)

算法步



输出A’B,每个层的FlA和FLB可以先期计算。。后来地笔者假说第五级(顶上的)F5a′=F5a。,F5B=F5B′。后来地,笔者可以率先计算第五级的5A,B和5B 5B A度过搜索。。后来地再比照ϕ5a→b对F5B′停止修正(使之在无信息的地位上与A的特点相婚配)达到FLB′(ϕ5a→b),但值当注重的是,广泛分布采取VGG。。流通层,层当中是池。。因而笔者达到FLB(X 5A到B)半个的的F4A一定尺寸的。,如上图所示。以防笔者立即的榜样5A,B,膨胀两遍达到5A’B,再 FLB′(ϕ′5a→b)FB′L(ϕa→b′5),确实,会涌现成绩。。上面将对此停止更细情的解说。。

预感

VGGⅠ块的第河床对折交叠层的Relu层。这是Relul1,也执意说,Relu11, relu2_1,….relu5_1。neural 款式也应用这5层作为款式层。。它先前议论过以任何方式停止预感。。

Nearest-neighbor Field Search

在大约的程度或者数量L级,下定义:
ϕLa→b(p)=argminq∑x∈N(p),y∈N(q)(∥F¯¯¯¯LA(x)−F¯¯¯¯LB(y)∥2+∥F¯¯¯¯LA′(x)−F¯¯¯¯LB′(y)∥2)



N(P)N(P)是以PP点为心脏的小斑块。。当L=5,4,3L=5,4,3时,取3×3 L=2,1L=2,1乘5×5。F¯¯¯¯L(x)=FL(x)|FL(x)|F¯L(x)=FL(x)|FL(x)|。

当笔者达到La,B,A,BL,笔者要优美的体型L*1L 1层FL*1A'FA L* 1。

FL−1A′=FL−1A∘WL−1A+RL−1B′∘(1−WL−1A)

到站的RL的1B’是由FLB折合的。。我将才说的。,笔者应用LL层流行LAB。, 榜样,流行LA’b, FLB反作用力,获取FLB(R'LA to B),作为RL1B。所发生的RL*1b’与FL 1a不指示。。这是由于La B和L1A 1A B当中在相见。,去它们当中并责任简略的上采取就可以达到(并且L-1层与L层当中是度过对折交叠等另外用手操作的)。这是个成绩。:笔者必要达到FL 1A。, 何止必要FLA, 还必要FLB的细情信息。。前者是先期计算的。,后者与之不同。。因而笔者必要回复。。笔者可以应用LA到B的有代理人。,但总的来说,这责任L 1A B。,并且 L、1A、B不克不及简略地由La La B采样。。

A终极回复的最适当的推诿是:以任何方式应用RL La 1B流行FL’1B’与RL 1B 1B的FL指示
轮番思索,以防笔者先前达到RL 1B,它可能有着什么特点?。它可能度过L层1和L层当正中鹄的计算。,它可能是FLB(LAB)。

CNNLL(1)的下定义是中间性L 1和L程度当正中鹄的子网。。这么CNNLL−1(RL−1B′)显然是要与FLB′(ϕLa→b)放量着手处理。因而笔者可以用这时。:

LRL−1B′=∥CNNLL−1(RL−1B′)−FLB′(ϕLa→b)∥2

笔者可以达到近似的FLB’(La,b)。

回复A(或B)

上面的最适当的成绩是WL 1A达到它。,确实,它是人工操作选择的。。显然WL−1A越大则阐明笔者预料FL−1A′应用更多的FLA的物质组织,应用更少的FLB详情。
详细的选择是:

WL−1A=αL−1ML−1A

到站的,1AmAl 1AmAl 1在1AFAl统一后为FL。,后来地发射人家SigMID重大聚会。,相应地达到。

ML−1A(x)=11+exp(−κ×(|FL−1A(x)|2−τ))

到站的,Kappa=300。,τ=。

去,A(或B)的重构是三个快速地流动。:在流畅层的特点狗腿上有代理人流畅层,后来地去卷积达到下层特点。,后来地合。如下图所示:


Nearest-neighbor Field Upsampling

后面先前说了立即的从ϕLa→b上采样达到的有代理人ϕ′L−1a→b无法作为ϕL−1a→b,但它可以用作L1A B的设定初值值。。ϕL−1a→b必需品是由L−1层的4幅图的特点度过NNF搜索精整理达到的。L 1层正中鹄的NNF搜索,在P点大约的程度或者数量的必然类别内停止随机搜索。,因而苗条的L1A到B,达到L 1A B。。在大约的程度或者数量{4,3,2,1}层,搜索类别的半径为{ 6,6,4,4}。由于囫囵快速地流动是人家软骨结构肉燥的快速地流动。,去,从后者的有代理人有助于TH的有代理人。。以防随机设定初值不应用源自,那你就无法回复。。



你可以从上面通知。,以防是层 孤独词,回复的身负重担的人将会被弄乱。。

算法伪信号



笔者可以从人家约定下降到另人家约定。,达到1A,后来地,立即的1A B到A B。。这是由于ϕ1a→b与输出层当中是无pooling什么的的。spatial 一定尺寸的是同上的。。流行A后,你可以回复A。。A′(p)=1n∑x∈N(p)(B′(Φa→b(x)),到站的,n=5。。同一地,B可以被回复。

所有物显露出



所有物好于深 photo style 转变好。,还好。

连同这幅素描与真实使适合当正中鹄的转换。,成功实现的事相当还好。。


翻阅论文:Visual Attribute Transfer through Deep Image Analogy

发表评论

电子邮件地址不会被公开。 必填项已用*标注