Weight 초기화 잘해보자

문제 해결법으로 2가지 있다.

그런데 ReLU를 사용할 때

돌릴 때 마다 결과값이 다르다.

W를 초기화할 때

[ -1 ~ 1 ] 랜덤값을 줬기 때문이다.

그러면 초기값을 0으로 주자 !

그러면 어떤 문제가 생길까?

여기서 x는 input값이기 때문에 0이 아닐수도 일수도 있다.

그런데 W를 0으로 초기화해줬기 때문에

그림의 좌상단 x쪽 부분의 미분 영역을 보면

W가 chain rule을 할 때 사용이 된다.

x라는 값과 상관없이

기울기가 0이된다.

그렇게 되면

그 뒤에 있는 모든 기울기가 0이 된다.

Q. 왜 뒤에 있는 모든 기울기가 0이 될까?

다음과 같이 구성되어 있다 가정해보자.

그러면

\( \frac{df}{dy} \) = \( \frac{df}{dx} \) * \( \frac{dx}{dy} \)

그런데 여기서

\( \frac{df}{dx} \)의 값이 0 이라는 것을 알 수 있다.

그렇기 때문에

뒤에 있는 모든 기울기는 자연스레 0이된다.

How to solve?

Xavier initialization : 2010년도 논문에서 발표
- input Count와 output Count에 맞게 초기값을 셋팅해주면 된다.

이것 저것 실행시켜보고

가장 맞는 것을 사용하면 된다.

2가지 문제가 해결되었기 때문에

딥러닝을 잘 학습시킬 수 있는

모든 조건을 갖추었다.