공무공 (3) 썸네일형 리스트형 Learning Rate Scheduler Learning Rate Learning rate는 gradient를 업데이트할 때 사용되는 보폭이다. Learning rate는 성능에 영향을 주기 때문에 잘못 설정하면 아예 학습이 안되기도 한다. 그렇기 때문에 learning rate를 어떻게 설정할지는 매우 중요하다. 적절한 학습률을 찾는 것은 어렵다. 그래서 이 문제를 해결하기 위해 learning rate schedule가 도입되었다. 처음부터 끝까지 같은 learning rate를 사용할 수도 있지만, 학습 과정에서 learning rate scheduler를 사용하면 더 좋은 성능이 나올 수도 있다. 처음에는 큰 learning rate으로 빠르게 최적화를 하고, 최적값에 가까워질수록 learning rate를 줄여 미세 조정하는 것이 학습.. Feature Matching Loss 지금까지 feature matching loss는 pixel loss와 동일하다고 잘못 이해하고 있었다. Feature Matching Loss Feature matching은 실제 이미지의 features와 생성 이미지의 features 사이의 통계적 함수를 최소화하기 위해 generator의 비용 함수에 추가된다. 종종 feature vector의 평균 사이의 L2 distance를 측정한다. $$\left\| \mathbb{E}_{x~p_data}f(x)-\mathbb{E}_{z~p_z(z)}f(G(z)) \right\|_{2}^{2}$$ $f(x)$는 discriminator의 중간 계층 활성함수이다. 계층에서 추출된 feature vector이다. Feature matching은 GAN이 훈련 .. 공부하고 싶은 거 무작정 공부하기 나는 대학원생이다. 공부해야 할 주제(컴퓨터 비전)는 있지만, 구체적으로 무엇을 공부해야 할지는 내가 정해야 한다. 최근에 약간의 슬럼프를 겪었고, 지금은 슬럼프를 이겨낸 상태이지만 여전히 구체적인 공부 방향성에 대해서 헤매고 있는 중이다. 그래서 당장 방향성을 잡기보다, 내가 공부해보고 싶었던 것들을 공부하고 기록해보려고 한다. 그래서 시작한다. 공부하고 싶은 거 무작정 공부하기(공무공) 프로젝트!!! 이전 1 다음
