ROKO

Overview PCA = linear AE PCA ~ MF MF는 matrix completion 문제로 확장하여 볼 수 있다 PCA와 MF의 차이점은 무엇일까? Matrix Factorization은 SVD(Singular Value Decompostion)를 활용하기 때문에 정확히 비교하자면 PCA vs SVD를 살펴보아야한다. PCA -> \(X ≈ UZ\) SVD -> \(X = U\Sigma V^T\) \(X\)가 mXn matrix라고 했을때, \(U\)는 mXm matrix인 orthonormal columns 이다. \(V\)는 nXn matrix인 orthonormal rows이다. \(\Sigma\)은 mXn diagonal matrix로써 min(m,n) 개수(rank)만큼의 non..

mixture model 비지도 학습에는 label k가 없기에 latent z를 사용한다. \(p(x)=\sum_zp(x,z)=\sum_zp(x|z)p(z)\) 대표적인 mixture model인 GMM을 알아보자. GMM은 더 일반화된 분포를 다룰수 있다. \(p(x)=\sum_{k=1}^K\pi_kN(x|\mu_k,\sum_k),\pi_k\) : mixing coefficients \(\sum_{k=1}^K\pi_k=1,\pi_k\geq0, \forall k\) GMM은 밀도추정을 하고 universarial approximator 이다. 심지어 diagonal GMM 또한 universarial approximator이다. MLE \(lnp(X|\pi,\mu,\sum)=\sum_{n=1}^Nln(..

density modeling 중 nonparametric방식으로 latent data 없이 모두 관측 가능한 데이터셋에 대해 적용하는 기법이다. latent variable이 있거나 never observed 되는 부분이 있는 데이터라면 latent variable models이라고 부른다. Clustering 비슷한 데이터끼리 집합으로 모으는 방식으로 다른 집합끼리는 데이터끼리도 서로 다르다. label없이 데이터의 유사도끼리 grouping 하는 걸 clustering 이라고 한다. 이때 유사도를 어떤 metric으로 결정하냐에 따라서 다양한 cluster가 생성된다. 위의 예시는 multiple modes가 있으므로 multimodal distribution이라고 부른다. k-means intui..

Discriminative models : P(Y|X)을 바로 추정하는 확률모델 Generative models : P(X|Y)를 추정하는 확률 모델 생성모델의 의미 X가 어떤 class인지 확률을 아는 것보다 class를 대표하는 데이터는 어떠한 형태일까를 추정하는게 더 좋지 않을까? Bayes Classifier \(h(x)=\underset{k}{argmax}p(t=k|x)\) \(=\underset{k}{argmax}\frac{p(x|t=k)p(t=k)}{p(x)}\) \(=\underset{k}{argmax}p(x|t=k)p(t=k)\) What if x is discrete or continous? x 변수가 이산형 분포인지 연속형 분포인지에 따라 생각해보자는 의미이다. https://www...

이전 포스트에서는 MLE 방식을 통해 롹률모델을 최적화하는 방법을 알아보았다. Maximum likelihood(MLE)의 단점 Data sparsity -> overfitting 최대 가능도에 대한 확률을 데이터셋의 분포를 통해 결정하므로 데이터가 적은 경우나 편향 된 경우 잘못 추정할 수 있다. Bayesian parameter estimation MLE에서 dataset을 random variable로 보지만, parameter는 그렇지 않다. Bayesian approach는 parameters 또한 prioir로부터 얻어진 random variable로 본다. Bayesian model을 정의하기 위해서는 prior distribution과 likelihood 가 필요하다. Posterior d..

확률은 빈도주의와 베이지안 관점 2가지로 나뉜다. 빈도주의는 큰 수의 법칙을 이용해 반복적으로 관측할 수 있는 사건을 확률로 정의하고, 베이지안은 어떠한 사건이든 각각 다른 확률로 사건이 일어날 믿음의 정도를 기준으로 확률을 정의한다. 큰 차이는 빈도주의는 확률이 고정적이나 베이지안 추가적인 관측에 따라 믿음의 정도(확률)가 달라진다. 주사위에서 1이 나올 확률은 무엇일까? (빈도주의) 1/6 (베이지안) 특정 불가 Why? (빈도주의) 주사위를 반복적으로 큰 수 만큼 던지며 1/6에 근사하는 것을 보고 무한번 던지면 1/6이 될것이라고 믿는다. (베이지안) 자연계의 모든 확률을 고려하여 1이 나올 확률, 정확히는 알 수 없음 이번엔 우도,가능도의 관점에서 빈도주의와 베이지안의 차이점을 보자. 주사위에서..

MLOps 는 AI기술을 서비스에 접목시키며 발생하는 문제점들을 해결하기 위해 DevOps + AI를 합쳐 MLOps라는 개념이 탄생하게 되었다. 각 문서를 편집하여 좋은 글로 쓰는 것도 좋지만 애초에 잘 정리된 글이 있다면 그 블로그를 첨부하는 것이 좋다는 생각에 링크를 참조하였다. Don't reinvent the wheel https://mlops-for-all.github.io/docs/introduction/intro/ 1. What is MLOps? Introduction to MLOps mlops-for-all.github.io

Unsupervised learning algorithm How to? Dimension reduction Save memory / computation Reduce overfitting Visualize in 2 Dimension (must 2? well,,not necessary) Linear model with closed form Dimension reduction Projection onto a subspace \(Set-up : D=\{X^{(1)},\cdots,X^{(N)} \}\) \(\mu=\frac{1}{N}\sum_{i=1}^N X^i\) Goal : find a K-dimensional subspace \(S \in R^D s\cdot t X^i-\mu\) is well repres..

Neural Networks(NN, 신경망) 인간의 두뇌가 인식하는 과정을 모방하여 만든 모델이다. denderites(수상돌기)에서 입력을 전달 받아 axon(축삭돌기)를 통해 시냅스로 전달된다. 만약 시냅스의 신경전달물질이 임계점을 넘어가면 다른 뉴런으로 전달된다. 이 과정을 machine learning model들과 비교해보면 유사한 과정을 거치고 있다는 것을 알 수 있다. 우리의 뇌는 이러한 뉴런을 \(~10^11\)개 정도 가지고 있고, 각 뉴런은 \(~10^4\)개의 서로 다른 뉴런과 연결되어 있다. Mulilayer perceptrons a directed acyclic graph feed-forward neural network 하나의 층이 아닌 여러층이 겹겹히 쌓인 형태를 다층 퍼셉트론..

딥러닝 논문들을 보면서 experiment에 validation없이 train-test로 실험한 결과들이 다수 있었다. 이러한 방식은 overfitting에 문제가 없을까? validation을 추가해 실험하는 기법중 cross-validation은 overfitting을 막고 모델의 성능을 검증하기 위한 좋은 방법이다. cross-validation은 2가지의 목적을 가지고 있는데, validation의 선택에 따라 train-test의 데이터 분포가 편향되어 성능이 다르게 나올 수 있다. k-fold를 통해 총 성능의 평균을 기준으로 하므로 더 general한 모델을 찾기 좋다. ML의 logistic regression의 parameter인 C값과 같은 hyperparameter를 결정하는데 도움이..