테스트 셋이라는 것은 모델의 입장에서는 한번도 본적이 없는 것입니다. 데이터 셋을 가지고 모델을 평가하는 것입니다. 이것이 가장 공정한 것입니다. 엑스 와이 플레이스 홀드, 웨잇과, 바이어스를 선언합니다. 하이퍼시스, 코스트, 옵티마이저는 동일합니다. 예측하는 것이 있습니다. 그리고 이것이 마는지 아닌지를 측정합니다. 그리고 정확도를 구합니다. 이런 방법은 동일 합니다. 어떤 값을 던져주는 가에 따라서 테스트 데이터를 던져서 테스트 할 수 있습니다. 세션을 열고 베리어블을 초기화하고. 엑스 데이터 |
Learning rate:너무 클때랑 너무 작을때를 나타냅니다. 학습이 되지 않고, 발산이 되는 경우가 존재합니다. 그리고 너무 작은 값이 있다면 지역 최소값에 갇히게 됩니다. 학습이 안될 수도 있습니다. 로컬 미니마에 빠지거나 학습이 안될 수 있습니다. 이전과 동일한 소스코드입니다. 러닝 레이트를 넣었습니다. 이렇게 된다음에 학습을 한번 시켜보도록 합니다. 학습을 시키게 되면, 코스트가 큰 값이 나오고 작은 값이 아니다. 그러다가 스텝 5에서 무한대로 빠져나갔습니다. 엄청나게 작은 값을 주었을때 보면 너무 작게 되거나, 학습이 안되거나, 수백번을 했을 때도 로컬 미니머에 빠졌거나, 이동되지 않는 것을 볼 수 있습니다. 미니마이즈를 하기 위해서 등산을 따라 내려오게 될텐데. 이쪽 방향으로 잘못나가게 되면. 이런 문제가 있습니다. 그래서 실제로 그렇게 되는지 살펴보도록 하겠습니다. 노말라이즈 하는 것의 중요성에 대해서 얘기합니다. |
Programming/Deep learning
