논문&부가지식
-
[NIPS2021]Denoised Smoothing: A Provable Defense for Pretrained Classifiers논문&부가지식 2021. 1. 11. 14:50
AI & Security study의 2주차에서 다룬 논문. Abstract & Introduction 딥러닝 분류기는 발전해왔는데 adversarial attack이 들어가면 성능저하 심하다는 점. 이 논문의 시나리오는 배포된 분류기를 robust하게 만들고 싶은데 retrain하기에는 비용도 많이 들고, 이러한 수동적인 학습은 다른 공격에 취약하기 때문에 generalization이 떨어진다는 것이 문제이다. 그래서 이 논문에서는 2가지 시나리오를 제시. 첫번째는 기존의 모델에 접근할 수 있는 white box, 두번째는 주어진 모델이분류만 할 수 있도록 모델 내부에는 관여하지 않는 black box를 제시. 물론 white box가 더 나은 성능을 낼 수 있다. 또한 모델의 재 훈련은 최소화하기를 ..
-
4가지 (Instance, Batch, Layer, Group) Normalization 기법논문&부가지식 2021. 1. 10. 00:39
결과부터 말하자면, Instance는 한개의 배치, 한개의 채널 => batch and channel-wise Batch는 모든 배치, 한개의 채널 => channel-wise Layer는 한개의 배치 모든 채널 => batch-wise Group은 한개의 배치, 몇개의 채널 이라고 할 수 있다. 1. Batch Normalization 안정적으로 수렴할 수 있다. 수렴속도가 빨라진다. 구글링으로 검색하면 나오는 식과 실제로 파이토치의 계산법이랑 다르다. 아래의 그림과 같이 나오는데 그림을 보면 위의 배치 정규화의 결과가 나오기 위해서는 평균의 사이즈가 [3 x 2 x 2]가 나오는 것이 아니라, [3x]가 나와야 한다. 즉, 같은 배치 위치에 있는 0,1,2,3과 ,12, 13, 14, 15를 이용한다..
-
[CVPR2018]MoCoGAN : Decomposing Motion and Content for Video Generation논문&부가지식 2021. 1. 9. 17:35
Motion의 Mo, Content의 Co를 딴 Motion animation GAN이다. Abstract & Introduction 가정은 하나의 이미지에 time dimension이 붙으면 동영상이 된다는 것이다. 또한 이미지 하나에는 content subspace와 motion subspace가 있다. 따라서 이 둘을 합치고 분리 할 수 있다는 것이다. 합성할 때를 예로 들어 A라는 사람이 웃는 표정을 짓는 동영상이 있고, B라는 사람이 우는 표정을 짓는 동영상이 있다. A동영상에서 보면, 동영상 하나에는 A라는 Identity를 가진 사람이 한명 나타나므로 이 동영상은 Content subspace에서 하나의 포인트에 해당한다. 마찬가지로 B라는 동영상도 Content subspace에서 보면 하..
-
[WACV20]Attention-based Fusion for Multi-source Human Image Generation논문&부가지식 2021. 1. 7. 23:15
이 논문 또한 어떻게 하면 포즈를 합성 할 수 있을까. 여기서는 알고 있는것과 달리 motion animation에서 source의 포즈를 target에 붙이는 것이 아니라 용어를 바꿔서 설명하고 있다. 즉 source의 appearance에 target의 포즈를 입히는 식이다. Abstract & Introduction & Related work 이 논문을 쓸 때까지 나온 방법론들 : 3D, segmentation, image-surface... 이런 방법들은 실제로 적용하기 어렵거나 한사람당 한 모델 즉 일대일 대응 모델이다. 하지만 저자의 방법론은 strong-supervision 방법으로 general한 모델 한개로 적용가능하다. Attention-based U-Net 먼저 들어가기 전에 nota..
-
[ICLR2018]MaskGAN : Towards Diverse and Interactive Facial Image Manipulation논문&부가지식 2021. 1. 7. 13:15
Motion animation을 연구하던 중 관련 논문 찾아보다가 Face부분에서 Mask segementation으로 Motion을 구현한 논문. 여기서는 사람 얼굴만 다루므로 Motion은 표정 = appearance로 볼 수 있다. 읽기전에 목표) source의 표정 + target의 identity를 합성한다. Abstract + Introduction MaskGAN에서 주목할 모듈 및 단어는 1. Editing Behavior Simulated Training(EBST) : 그냥 훈련 과정을 멋드러지게 쓴것. 아직 네이밍 한것의 의도는 못찾음. 2. Dense Mapping Network(DMN) : GT data와 별도의 Mask를 받아서 별도의 Mask에 해당하는 표정과 GT의 Identit..