Deep Learning

Three Steps

Step 1: Function Set

Lecture 5 提到的，我們可以將多個 logistic regression models 連接起來，而每一個 model 就像是一個 neuron，給定了網路架構，就定義了一個 function set。

給定了架構，再給上每個 neuron 的參數（$w^l, b^l$），整個網路就像是一個 function。

每個 $W^l$ 都是一個矩陣，都是我們可以用 GPU 的平行運算去加速矩陣運算：

$$ \begin{aligned} y & = f(x) \\ & = \sigma(W^L \cdots \sigma(W^2 \sigma(W^1x + b^1) + b^2) \cdots + b^L) \end{aligned} $$

Output Layer

Step 2: Goodness of Function

Step 3: Find the best function

我們一樣可以用 Gradient Descent 來求解，這用到 Backpropagation 的原理。

其中，

$$ \nabla L = \left[ \begin{array} { c } { \frac { \partial L } { \partial w _ { 1 } } } \\ { \frac { \partial L } { \partial w _ { 2 } } } \\ { \vdots } \\ { \frac { \partial L } { \partial b _ { 1 } } } \\ { \vdots } \end{array} \right] $$