Wasserstein GAN : arXiv 2017 | 논문 리뷰

Martin Arjovsky : https://arxiv.org/abs/1701.07875v3

Wasserstein GAN

 

1. Introduction

Unsupervised Learning은 데이터 (x)의 확률 분포 ( P(x))를 학습하는 것이다. 확률 분포를 학습한다는 것은 확률 밀도를 학습하는 것을 의미한다. ( P(x))를 parameter (θ)에 대해 아래와 같이 표현할 수 있다.

실제 데이터 분포와 파라미터로 나타내지는 밀도 사이의 거리를 최소화 해서 실제 데이터 분포에 가깝게 하는 것이다. ((KL(P_θ | P_r))을 minimize하는 방식으로 학습한다.)

그러기 위해서 model density ( P_θ)가 존재할 필요가 있다. 하지만 이러한 방법은 low dimensional manifold 환경을 구축할 수 없고, 이는 (KL) distance가 정의되기 어렵다는 것을 의미한다.

이에 대한 전형적인 해결책은 noise 를 추가하는 것이다. 하지만 기존의 연구들에서 알 수 있듯이 이미지 GAN에서 noise는 샘플의 퀄리티를 낮추고, blurry하게 만든다. maximum likelihood 접근법에는 noise가 필수적이지만, 이것이 정답은 아닐 것이다.

 

최근에 나온 방법은 확률 밀도를 직접 계산하여 분포 (P_θ)를 구하는 것이 아니라, 하나의 fixed된 분포를 정해두고 parameterized function을 통과시켜 (P_θ)의 sample들을 직접 뽑아내게 하였다. 이러한 방법은 low dimensional manifold에 맞는 분포를 뽑을 수 있게 하며, 빠르게 sample을 뽑을 수 있는 데서 이점을 갖는다. VAE, GAN과 같이 유명한 생성 모델들이 이러한 방법을 사용한다.

 

그 중 GAN은 objective 선택이 능동적이나, 이제까지의 GAN의 경우 학습이 불안정하고 mode dropping, G/D unbalance와 같은 여러 문제를 겪고 있다 : 실제 GAN에서 사용되는 objective를 이용하여 학습을 진행할 경우, 너무 빨리 포화된((saturated)) D로 인해 G가 특정 mode만을 이용하는 결과를 초래할 수도 있다. 즉, G가 비슷한 정보만을 이용하여 샘플을 만들어내어 D를 속이고, 이 과정에서 data distribution이 global한 데이터 분포 영역을 포함하고자 하는 목적과 달리 일부만을 표현하게 된다.

 

그래서 저자들은 이러한 GAN의 문제를 해결하기 위해, 저자들은 (P_θ)와 (P_real)의 distance/divergence를 구하는 measure에 접근하게 된다. 본 논문에서는 거리나 분산을 정의하는 다양한 방법에 대해 모델 분포와 실제 분포가 얼마나 가까운지를 측정하는 다양한 방법에 관심을 가진다.

• training 시 discriminator와 generator간의 균형을 주의깊게 살피고 있지 않아도 된다.
• GAN에서 일반적으로 발생되는 문제인 mode dropping을 해결 가능하다.

 

2. Different Distances

Wasserstein GAN의 알고리즘에 대해 소개하기 전에, 여기서 사용한 확률 거리 척도의 당위성에 대해 이야기 하는 부분이다.

4가지의 distance를 비교하고, 새 distance를 제안한다.

[1] 네 가지 거리 종류 정의

1. Total Variation(TV)

두 확률 분포의 측정값이 벌어질 수 있는 가장 큰 값을 뜻한다. 즉, 아래 그림에서 빨간색 A의 영역 안에 있는 A들을 대입하였을 때, Pr$(A)$와 Pg$(A)$의 값의 차 중 가장 큰 것을 뜻한다.

출처 : Wasserstein GAN 수학 이해하기 1 (하단 링크 참조)

 

2. Kullback-Leibler(KL) divergence

두 모델이 얼마나 비슷하게 생겼는지를 알기 위한 척도,

즉, 원본 데이터가 가지고 있는 정보량을 잘 보존할 수록 원본 데이터와 비슷한 모델이라는 것이다.

KL-Divergence는 근사시 발생하는 정보 손실량의 기댓값이다. 이 값이 작을 수록 더 가깝게 근사한 것이라고 할 수 있다.

 

3. Jensen-Shannon(JS) divergence

KL-Divergence는 Symmetric하지 않다. 이를 대칭적으로 개량한 것이 Jensen-Shannon Divergence이다.

두 확률 분포 사이의 distance로서의 역할을 할 수 있게 된다.

 

4. Earth-Mover(EM) distance

저자들이 새로 제안한 것으로, Pr, Pg의 가능한 모든 joint distribution set에 대해 거리의 기댓값의 하한값을 찾는다.

두 확률 분포의 결합확률분포 Π$(Pr, Pg)$중에서 d$(X, Y)$ $(x와 y의 거리)$의 기댓값을 가장 작게 추정한 값이다.

즉, 아래 그림에서 파란색 원이 X의 분포, 빨간색 원이 Y의 분포, 𝛘가 결합 확률 분포를 의미하며,

초록색 선의 길이가 ||x-y||를 의미한다. 즉, 초록색 선 길이들의 기댓값을 가장 작게 추정한 값이다.

출처 : Wasserstein GAN 수학 이해하기 1 (하단 링크 참조)

 

[2] EM distance의 타당성

논문에서는 Example 1을 통해 EM distance의 타당성을 이야기하고 있다.

임의의 distribution P0와 Pθ를 정의하고, 이들 간의 확률 거리를 구해 본 결과이다.

EM distance는 두 개의 데이터 분포에 대한 모든 joint distribution에 대하여, 한 데이터를 다른 데이터로 옮기는 데 필요한 mass를 구한다. EM distance는 이러한 계획$(transport plan)$에 필요한 최소$(optimal)$ 경비$(cost)$가 된다.

 

다른 3가지와 EM distance의 차이를 알아보기 위해, convergence: 수렴을 예시로 든다.

우선 uniform distribtuion을 갖는 Z와, 이를 통해 구성된 (P_0) = $(0,Z)$를 통해 convergence를 확인해보자.

EM distance$(맨 위  W)$를 제외한 다른 모든 function들은 0에서 continuous하지 않다. 즉, 세타 값이 0으로 갈 때 diverge: 발산하게 된다. 이를 통해 low dimensional manifold에서 EM distance만이 gradient descent를 통해 학습이 가능한 것을 알 수 있다. 나머지는 모두 divergen 하기 때문에 불가능하다.

 

Figure 1을 살펴보면, JS divergence의 경우 대부분의 케이스에서 값이 같으므로, 적절한 gradient 값을 얻기가 어렵다. 반면에, EM distance의 경우 대부분의 케이스에서 유의미한 gradient 값을 얻을 수 있게 된다.

 

[3] EM distance를 사용하기 위한 제약조건

EM distance를 loss function으로 사용하기 위해서는 미분이 가능해야 한다.

Pr은 학습하고자 하는 목표 distribution이며, (P_θ)는 학습시키고 있는 현재의 distribution으로 생각할 수 있다.

(z)는 latent variable의 space이며, 함수 (g)는 latent variable (z)를 (x)로 mapping하는 함수이다. 이 때 gθ$(z)$의 distribution이 Pθ가 된다. 

 

이 때,

1. g가 θ에 대해 연속한다면, Pr와 Pθ의 EM distance 또한 연속한다.

2. g가 Lipschitz조건을 만족한다면, Pr와 Pθ의 EM distance 또한 연속한다.

 

Lipschitz :
Lipschitz function은 얼마나 빨리 변화할지가 제한된 함수를 의미한다. $(2차원에서 직선의 기울기 == 변화율)$
즉, 어떤 함수가 Lipschitz constant라는 값보다는 항상 변화율이 작아야 한다는 뜻.
변화율을 어떤 특정 값보다 항상 작게 한다는 것은 유의미한 gradient 값을 얻기 위한.. 것 

 

WGAN은 훈련 과정에서, K-Lipschitz한 성질을 만족시키기 위해 weight을 clipping 시켜준다.

 

3. Wasserstein GAN

Kantorovich-Rubinstein duality를 이용하여 식을 바꾼것

원래 EM 식에서 inf부분을 계산할 수 없기 때문에 위의 식으로 바꾼다.

 

파라미터 추가, (P_0)를 Gθ에 대한 식으로 바꾼다.

앞의 (P_r)이 있는 행은 학습된 discriminator:사실은 critic 이기때문에, Pr의 역할을 해준다. 그리고 위와 같이 gradient update를 할 때에는 θ에 대해 미분하면 앞의 항이 사라지게 된다.

 

WGAN의 최종적인 알고리즘이다.

- (critic) 을 학습

1. (n_critic)번 만큼 진행

2. Pr과 p$(z)$ (Pθ역할)를 미니배치만큼 샘플링

3. critic의 loss function을 이용하여 parameter w: 함수 f를 update시킴

5. RMSProp 을 쓴다!

6. update 후 clip$(w, -c, c)$라는 부분이 있는데, Lipschitz조건을 만족하도록 parameter w가 [-c, c]공간에 안쪽에 존재하도록 강제하는 것, 이를 Weight clipping이라고 함.

 

clipping은 좋은 방법이 아니라고 논문에서도 주장한다. 이는 WGAN의 한계점이라고 할 수 있는데, 실험 결과 clipping parameter c 가 크면 limit$(c나 -c)$까지 도달하는 시간이 오래 걸리기 때문에, 학습하는 데 시간이 오래 걸린다. 반면 c가 작으면, gradient vanish 문제가 발생하였다고 한다.

 

[Discriminator vs Critic]

discriminator의 경우 일반적인 분류 neural net과 같이 이미지가 진짜인지, 가짜인지 sigmoid 확률값으로 판별해낸다.

그러나 critic의 경우 Wasserstein GAN 식 자체를 사용하기 때문에, scalar 값이 output이다. 이는 이미지가 진짜인지 아닌지에 대한 점수를 의미하는 것으로, sigmoid와 달리 saturation: 포화현상이 없고 좋은 gradient를 만들어 낸다.

 

따라서 진짜 optimal:최적의 지점까지 쉽게 학습이 가능하고, 앞서 언급했던

• discriminator와 generator간의 균형 맞추기
• mode dropping $(mode collapse)$ 문제

두가지가 해결된다.

 

[RMSProp 사용 이유]

실험 결과 critic을 학습 할 때 Adam과 같은 mometum 베이스 optimizer를 사용하면 학습이 unstable 하다.

이유는 loss값이 튀고 샘플이 좋지 않은 경우$(일반적으로 학습 초반)$ Adam이 가고자 하는 방향, 즉 이전에 기억했던 방향$(Adam step)$과 gradient의 방향 간의 cosine값이 음수가 된다는 것이다. 일반적으로 nonstationary 문제 $(극한값이 존재하지 않음)$에 대해서는 momentum계열보다 RMSProp이 성능이 더 좋다고 한다. $(여기서 정의한 문제도 nonstationary problem)$

 

4. Empirical Results

실험 결과와 성능에 관한 부분이다.

맨 위의 그래프들은 discriminator대신에 critic을 적용한 것이고,

왼쪽은 generator로 Multi Layer Perceptron, 오른쪽은 DCGAN을 이용한 결과이다.

sigmoid를 사용하지 않아 wasserstein거리가 점차적으로 줄어들고, sample의 결과도 훨씬 좋아진 것을 볼 수 있다.

 

아래 그림은 discriminator와 generator모두 MLP를 사용한 결과이다. Sample 그림은 무엇인지 알아보기 어렵고, 각 sample에 대해 wasserstein distance를 계산하여 보았을 때 상수값으로 변화하지 않는 것을 볼 수 있다.

 

위와 같은 모델 구조$(critic + MLP, critic + DCGAN, MLP + MLP)$를 사용하였지만 generator iteration마다 JS 거리를 측정하여 그래프를 측정한 결과를 보여준다.

sample quality가 좋아져도 JS distance는 증가하거나 상수 값을 유지하는 것을 볼 수 있다.

EM을 잘 사용했다는 것을 말하는 것이다! WGAN은 GAN역사상 처음으로 수렴$(convergence)$한 모습을 보여 준 경우라고 한다.

 

 

figure5는 일반적인 GAN과 WGAN으로 이미지를 생성한 결과이다.$(DCGAN generator 이용)$ 둘 다 좋은 질의 sample을 생성한다.

 

그러나 figure6에서는, batch normalization을 없애고 generator의 DCGAN부분에서 filter수를 고정함으로써

전체적으로 parameter수를 줄인 결과이다. WGAN에서는 여전히 잘 작동하지만, 일반적인 GAN은 그렇지 않은 것을 볼 수 있다.

 

=> 결론적으로, discriminator와 critic간의 balance를 더 이상 신경쓰지 않아도 되며,

실험에서 WGAN알고리즘을 썼을 때는 mode collapse현상이 발생하지 않았다!!!라고 한다.

 

figure7은, generator를 MLP + ReLU로 변형하여 실험한 결과이다. 왼쪽은 WGAN, 오른쪽은 일반적인 GAN의 결과로, DCGAN을 사용했을 때 보다 퀄리티는 떨어졌지만 mode collapse 현상에 대해서 비교해 볼 수 있다. 오른쪽의 경우 비슷한 그림이 많고 특정 그림에 대해서는 생성하지 못하였지만, 왼쪽은 다양한 그림을 비슷하게 생성한 것을 볼 수 있다!

 

5. Related Work

* 생략

 

6. Conclusion

우리는 전통적인 GAN training을 대체하는 WGAN이라는 알고리즘을 도입했다.

discriminator식을 EM distance를 사용하여 변형함으로써, gradient가 잘 흘러가도록 하여 GAN이 실제 optimal 지점까지 도달할 수 있도록 도왔다.

결과적으로 GAN학습을 안정화시키고 mode collapse 문제까지 해결하였다.

 

 

참조:

https://www.slideshare.net/ssuser7e10e4/wasserstein-gan-i

https://ahjeong.tistory.com/7

[논문 읽기] Wasserstein GAN

https://seokdonge.tistory.com/29

Wasserstein GAN