CS231n 4강 공부 및 리뷰를 시작하겠습니다. 인공지능을 준비하시는 분들에게도 도움이 되었으면 좋겠습니다. Backpropagation Gradient Descent를 구하는 방법은 2가지가 있다.실제로는 Numerical gradient로 구하면 된다. 매우 간단한 과정으로 나왔는데, 실제 Computational Graph는 굉장히 거대한 규모로 되어있다. 따라서 위의 그림처럼 늘여서 한꺼번에 계산한다는 것은 불가능하다.아래의 예시 2가지를 보면 불가능한 이유를 알 수 있다. AlexNet 예시) Neural Turing Machine + RNN 예시)위의 두 모듈처럼 매우 거대한 규모이기 때문에 한꺼번에 모두를 계산하는 것은 어렵다. 간단한 예를 들어서 module별로 계산해나가는 방법을 학습..
