(미결) GAN학습 할 때 G부터? D부터? + 추론시간은 모델 크기에 비례?

2021-05-31 : 정석대로라면 보통 D부터 훈련하는게 맞다고 들었다. 그런데 BEGAN을 훈련하다보니 훈련속도가 너무 느려서 오피셜 코드와 비교하다 보니 흥미로운 사실을 발견함. 

 

아래 코드처럼 모든 코드가 같고 훈련 순서만 바꿔서 훈련해보았는데 G부터 훈련하는것이 약 8배정도 더 빠르다. 

 

빠른 코드

느린 코드

 

또한 DCGAN에서는 위의 경우가 거의 해당하지는 않았지만 G부터 훈련하는것이 약 10퍼센트정도 더 빨랐다.

        self.conv_layer.append(nn.Conv2d(128, 128, kernel_size=3, padding=1, stride=1))
        self.conv_layer.append(nn.BatchNorm2d(128,0.8))
        self.conv_layer.append(nn.LeakyReLU(0.2, inplace=True))