[coursera] Neural Networks and Deep Learning: Week 2-1

고양이 사진을 입력으로 받아 고양이인지 아닌지 이진분류하는 로지스틱 회귀 모델에 대해 얘기한다.

우선 컬러 색상이 있는 이미지의 경우 이미지의 높이, 너비와 색을 표현하기 위한 R,G,B 3가지 채널로 분리되어 총 HxWx3의 숫자들로 표현된 데이터로 나타낼 수 있다.

 

따라서 모델의 목표는 HxWx3 의 크기에 해당하는 데이터를 input으로 받아 고양이가 맞다면 1 아니라면 0을 반환하는 과정을 학습하는 것이 목표다.

 

표기 정의

• $(x,y)x\in R^{n_x},y\in \{0,1\}$ - $n_x$: feature 크기, x: data, y: label
• $m:\{(x^{(1)},y^{(1)})\cdots (x^{(m)},y^{(m)})\}$ - 학습데이터 개수
• $X:R^{n_x\times m}$ - 학습데이터 배치 행렬
• $Y:R^{1\times m}$ - 정답데이터 행렬

이러한 표기 정의는 신경망을 설계하는 과정에서 복잡성을 줄여준다.

 

Logistic Regression

주어진 $x\in R^{n_x}$에 대해서 $\hat{y}=P(y=1|x)$ 확률을 계산하기를 원한다. 

간단하게 가중치 (parameters) : $w\in R^{n_x},b\in R$을 이용해 output $=\hat{y}=w^{T}x+b$를 계산 할 수 있다.

하지만 이는 0과 1사이의 확률값이 아닌 상수가 나오므로 output에 시그모이드 함수 $\sigma =\frac{1}{1+e^{-z}}$ 를 이용해 0과 1사이의 확률로 scaling 해줄 수 있다. (간단한 설명으로 표현하는것 같으나 로지스틱 회귀의 등장배경은 더 이론적인 근거가 있다.)

https://ro-ko.tistory.com/19

What is Linear Classification? [Ⅰ]

 

 

따라서 output $=\sigma (\hat{y}=w^{T}x+b)$ 로 표현할 수 있다.

 

출처: [비전공자를 위한 딥러닝] 2.4 신경망 (2) - 가중치 행렬 한방에 이해하기

이때 간단한 트릭을 소개하는데 x feature 값에 $x_0=1$을 추가해 가중치 행렬과 편향 (bias)를 합쳐 하나의 행렬 연산으로 변형 할 수 있다. 

 

output $=\sigma (\theta x),\hat{y}=\theta x$로 표현되며 이는 코드를 최적화와 병렬 연산 능력을 활용하는 좋은 방식이다.

 

Cost function

$\hat{y}=\sigma ()w^{T}x+b),\sigma (z)=\frac{1}{1+e^{-z}},z^{(i)}=w^T{x}^{(i)}+b$

주어진 모든 데이터 $\{(x^{(1)},y^{(1)})\cdots (x^{(m)},y^{(m)})\}$ 에서 모델이 얼마나 잘 예측하는지 각 데이터마다 ${\hat{y}}^{(i)}\approx y^{(i)}$ 비교하여 점수를 계산해야한다.

 

cost function: $J(w,b)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})$

이는 학습 데이터가 i.i.d(independent and identically distributed) 이라는 가정하에 maximum likelihood estimation을 통해 cost 함수를 모델링한 것을 의미한다.

Loss (error) function

각 데이터마다 loss를 계산할 수 있다. 단순하게 $L(\hat{y},y)=\frac{1}{2}(\hat{y}-y{)}^2$를 사용할 수도 있지만 적절한 함수가 아니다. 왜냐하면 convex함수가 아니기 때문에 미분이 0이 되는 지점을 찾아도 global minimum이 아닌 local minimum일수도 있기 때문이다.

 

하지만  loss function 을 $L(\hat{y},y)=-y\log \hat{y}+(1-y)\log (1-\hat{y})$ (binary cross entropy)로 사용하게 된다면 convex 가 만족한다.

자세한 설명으로 관련 글 링크를 확인해보자.

https://medium.com/@pranav.kushare2001/using-mean-squared-error-loss-mse-in-logistic-regression-bcc5e07a6d99

Using Mean squared error loss (MSE) in Logistic Regression?

 

 선형 행렬은 convex라 하더라도 sigmoid가 convex, concave도 아닌 함수이기 때문에 둘의 합성함수는 convex가 아니다.

https://www.quora.com/Is-the-composition-of-two-convex-functions-also-convex

Is the composition of two convex functions also convex?

 

logisitic regression (cross entropy) 가 convex인 이유는 아래 링크에 있다.

https://math.stackexchange.com/questions/1582452/logistic-regression-prove-that-the-cost-function-is-convex

Logistic regression - Prove That the Cost Function Is Convex

* loss 함수는 데이터 하나, cost는 모든 입력 데이터에 대한 비용계산 이라는 차이를 기억하자.

 

Convex

convex 상태를 중요시 여기는 이유는 모델이 convex하다면 어느 위치에서 가중치를 초기화하더라도 경사하강법을 이용해 global minimum값에 수렴할 수 밖에 없기 때문이다.

• $w:=w-\alpha \frac{dJ(w,b)}{dw}$, $\alpha$: learning rate
• $b:=b-\alpha \frac{dJ(w,b)}{db}$

가중치를 모델의 gradient를 통해 업데이트하면 어떻게 수렴하는지 위 그림과 함께 파악해보자. learning rate의 경우는 값이 클수록 더 빠르게 수렴하지만 부정확한 단점이 있고 작을수록 정확하지만 느리게 수렴하는 단점이 있다.

 

Computational graph

신경망은 순전파 (forward propagation)와 역전파 (backward propagation)의 단계로 진행된다.

left-to-right 연산을 forward, right-to-left 연산을 backward로 보면 된다. 예시 그림은 각 연산을 하나의 노드로 표현한 computational graph이다.

왼쪽과 같이 numeric derivatives는 error propagation의 우려와 많은 연산량을 요구한다. 하지만 오른쪽의 chain rule을 이용하면 정확하고 빠르게 계산이 가능하다.

 

logistic regression 역전파 예시

Notation

• $w_i$: accumulator로 쓰였기 때문에 superscript가 없음
• $z^{(i)}$: 각 training data 하나당 결과이기 때문에 superscript가 있음

logistic regression을 위해선 2 loop가 필요

• forward
• backward

data가 많아질수록 for loop 연산이 많아지고 이는 코드 비효율적으로 실행되게 된다. 이를 위해서 vectorization을 활용하여 병렬 연산을 통해 최적화 한다.