목록Artificial Intelligence/Deep Learning (25)
ROKO
Notation\( z^([1]) \): 1번째 layer로부터 나온 값\(z^{[1]}_1\): 1번째 layer로부터 나온 값중 1번째 node|(\z^{[1](1)}\): 1번째 training data로 계산한 1번째 layer 값\(a^{[0]}=X\)[]: subscript square bracket[]는 노드 (node)나 층 (layer)에 관련한 정보를 주는 표시이고 ()는 이전에 정의했다시피 training data에 대한 정보를 의미한다. .층이 하나인 logistic regression이 아닌 multi layer 상황을 다룬다. 각 층은 입력층 은닉층.출력층으로 구분된다. Activation function수식에서 활성함수는 g()로 표현한다. 보통 최종 출력값이 0~1이 나와야하..
Vectorizationfor loop 병목현상을 효과적으 해결하는 skill이다.보통 GPU를 활용해 병렬처리를 하는데 jupyter notebook은 기본적으로 CPU에서 돌아간다. 그럼에도 vectorization이 효과가 있는 이유는 CPU, GPU 모두 SIMD (single instruction multiple data) instruction이라는 병렬 명령어를 지원하기 때문이다. 따라서 많은 데이터를 처리하는 경우 numpy를 적극 사용하는것을 추천한다. 자세한 실험들은 아래 링크에서 확인하자.https://tech.kakao.com/posts/349 NumPy와 C++ Extensions의 성능 비교 - tech.kakao.com파이썬은 놀라운 생산성을 발휘하는 언어입니다. 하지만 성능 문..
고양이 사진을 입력으로 받아 고양이인지 아닌지 이진분류하는 로지스틱 회귀 모델에 대해 얘기한다.우선 컬러 색상이 있는 이미지의 경우 이미지의 높이, 너비와 색을 표현하기 위한 R,G,B 3가지 채널로 분리되어 총 HxWx3의 숫자들로 표현된 데이터로 나타낼 수 있다. 따라서 모델의 목표는 HxWx3 의 크기에 해당하는 데이터를 input으로 받아 고양이가 맞다면 1 아니라면 0을 반환하는 과정을 학습하는 것이 목표다. 표기 정의\((x,y) \, x \in R^{n_x},y \in \{ 0,1\} \) - \( n_x \): feature 크기, x: data, y: label\( m: \{ (x^{(1)}, y^{(1)}) \cdots (x^{(m)}, y^{(m)}) \} \) - 학습데이터 개수..
신경망 (neural networks)은 input으로부터 output을 예측하도록 하도록 하는 알고리즘이다. 이때 hidden units은 input 값에 의존적이며 구체적인 특징 값을 의미하지 않고 그저 output을 잘 예측하기 위한 임의의 값으로 학습된다. 현재 경제적 가치를 이끌어내는 딥러닝은 대부분 지도학습 (supervised learning)을 이용한 모델들이다. 지도 학습이란 input(x)에 대해 대응되는 output(y)가 존재하는것을 의미하고 모델은 input x에서 output y로 매핑하기 위한 함수를 학습한느것이 목적이 된다. 쉽게 말하면 데이터에 대한 정답이 주어진 환경을 학습하는 것을 말한다. Input (x)Output (y)ApplicationHome features (..
Unsupervised learning feed-forward neural net whose job it is to take an input x and predict x purpose : learning encoder Map high dimensional data to low dimenstions representation Learn abstract features in an unsupervised way so you can apply them to a supervised task linear autoencoder is similar as PCA input data에 대해 가중치 W를 곱해주는데 이걸 subspace로 projection후 basis U에 대해 표현한다고 생각하면 PCA가 되는것이다. W..