Activation function (2) 썸네일형 리스트형 Lec 6-1. Activation Functions, Data Preprocessing Lecture 6, 7에 걸쳐서 neural network를 training시키는 과정에 있어 중요한 요소들을 다룬다. 이번 포스팅에서는 convolution/fc layer 이후에 수행하게 되는 activation/nonlinearity function의 종류와 특징, training data에 대한 preprocessing에 대해 정리해본다. Activation Functions General Scheme of Activation Functions with Neuron Neuron을 통과한 후 activation function을 통과하는 구조를 일반적으로 아래 그림과 같이 표현할 수 있다. 파란색, 빨간색 path는 각각 forward path, backpropagation를 나타낸다. ReLU는 .. Lec 4-2. Introduction to Neural Network Linear Classifier = Building Block of Neural Network 이전에 linear classifier 개념이 처음 도입될 때, 이것은 복잡한 neural network의 basic building block을 이룬다고 하였다. Linear classifier가 뭘 하는지를 단순하게 표현하자면 학습된 weight들을 가지고 input에 대한 score output을 내는 역할을 한다. 이 때, 학습이 완료된 weight matrix의 각 행은 하나의 label에 대한 template이라는 의미를 갖는다. input 이미지 벡터가 들어오면 각 행과 내적을 수행함으로써 template matching을 하고 그 결과를 label에 대한 score로 주는 것이다. 그런데, 이 방.. 이전 1 다음
