Wendi's Learning

Deep L-layer Neural network What is a deep neural network? 여러개의 hidden layer가 있는 NN을 Deep Neural network라고 한다. Notation 레이어 갯수 : L = 4 레이어 $l$에 있는 노드(유닛) 갯수 : $n^{[l]}$ 레이어 $l$에 있는 activations : $a^{[l]}$ $a^{[l]}=g^{[l]}(z^{[l]})$ $z^{[l]}$의 가중치 $w^{[l]}$ Forward Propagation in a Deep Network Forward Propagation $$z^{[l]}=w^{[l]}A^{[l-1]}+b^{[l]} \ A^{[l]}=g^{[l]}(z^{[l]})$$ Not vectorized$a^{[..

Neural Networks Overview What is a Neural Network? Neural Network는 여러개의 hidden layer가 연결되어 있는 Logistic Regression과 비슷하다. Backward Propagation(calculation)을 통해 cost function의 각 변수에 대한 편미분 값을 구할 수 있다. Neural Network Representation $a^{[i]}$를 통해 i번째의 layer를 나타낸다. $a_n$을 통해 n번째의 unit을 나타낸다. $$a^{[0]} = X \ , \ a^{[1]} = $$\begin{bmatrix} a_1^{[1]} \ a_2^{[1]} \ \vdots \ a_n^{[1]} \end{bmatrix}$$ \ , \ a^..

Vectorization 벡터화를 통해 for-loops을 줄여 컴퓨터가 계산을 효율적으로 할 수 있게 할 수 있다. More vectorization examples Whenever possible, avoid explicit for-loops. $$u = Av \ u_i=\sum_i\sum_j A_{ij}v_j$$ non-vectorized u = np.zeros((n,1)) for i ... for j ... u[i] += A[i][j] * v[j] vectorized u = np.dot(A,v) Vectors and matrix valued functions ex. 모든 matrix elements에 exponential operation을 해야할 때 non-vectorized u = np.zer..

Introduction to Deep Learning What is a Neural Network? Single Neural Network를 연결하여 Neural Network를 만들 수 있다. Neural Network의 모든 input feature는 노드에 연결되어 있다. Supervised Learning with Neural Networks Supervised Learning은 다양한 분야에서 사용될 수 있다. (ex. 온라인 광고, 사진 태그, 음성 인식, 번역, 자율주행) Neural Network는 Standard NN, Convolutional NN, Recurrent NN 등이 있다. 데이터의 종류에는 feature가 잘 정의되어 있는 structured data와 음성파일, 이미지, ..