ROKO

Discriminative models : P(Y|X)을 바로 추정하는 확률모델 Generative models : P(X|Y)를 추정하는 확률 모델 생성모델의 의미 X가 어떤 class인지 확률을 아는 것보다 class를 대표하는 데이터는 어떠한 형태일까를 추정하는게 더 좋지 않을까? Bayes Classifier $h(x)=\underset{k}{argmax}p(t=k|x)$ $=\underset{k}{argmax}\frac{p(x|t=k)p(t=k)}{p(x)}$ $=\underset{k}{argmax}p(x|t=k)p(t=k)$ What if x is discrete or continous? x 변수가 이산형 분포인지 연속형 분포인지에 따라 생각해보자는 의미이다. https://www...

이전 포스트에서는 MLE 방식을 통해 롹률모델을 최적화하는 방법을 알아보았다. Maximum likelihood(MLE)의 단점 Data sparsity -> overfitting 최대 가능도에 대한 확률을 데이터셋의 분포를 통해 결정하므로 데이터가 적은 경우나 편향 된 경우 잘못 추정할 수 있다. Bayesian parameter estimation MLE에서 dataset을 random variable로 보지만, parameter는 그렇지 않다. Bayesian approach는 parameters 또한 prioir로부터 얻어진 random variable로 본다. Bayesian model을 정의하기 위해서는 prior distribution과 likelihood 가 필요하다. Posterior d..

확률은 빈도주의와 베이지안 관점 2가지로 나뉜다. 빈도주의는 큰 수의 법칙을 이용해 반복적으로 관측할 수 있는 사건을 확률로 정의하고, 베이지안은 어떠한 사건이든 각각 다른 확률로 사건이 일어날 믿음의 정도를 기준으로 확률을 정의한다. 큰 차이는 빈도주의는 확률이 고정적이나 베이지안 추가적인 관측에 따라 믿음의 정도(확률)가 달라진다. 주사위에서 1이 나올 확률은 무엇일까? (빈도주의) 1/6 (베이지안) 특정 불가 Why? (빈도주의) 주사위를 반복적으로 큰 수 만큼 던지며 1/6에 근사하는 것을 보고 무한번 던지면 1/6이 될것이라고 믿는다. (베이지안) 자연계의 모든 확률을 고려하여 1이 나올 확률, 정확히는 알 수 없음 이번엔 우도,가능도의 관점에서 빈도주의와 베이지안의 차이점을 보자. 주사위에서..

생성모델이 현재 AI분야를 휩쓸면서 프롬프트 엔지니어라는 직종도 생겨나고 있다. 프롬프트 엔지니어가 무엇인지 간략히 알아보자. 스타트업이나 기업에서 생성모델을 이용해 시장을 분석하거나 서비스에 활용하기 시작했다. 아직 완벽히 검증이 끝나지는 않았지만 기존의 성능만으로 충분히 시장성이 있다는 것은 확실하다. 현재는 모든 사용자들에게 많은 사용권한을 부여하고 있는데 생성모델은 상당히 무거운 모델이다. 훈련뿐만 아니라 실제 사용시에도 필요한 자원이 많은데, 이를 효율적으로 사용하기 위한 방법이 프롬프트 엔지니어링이고 이를 직종으로 하는 사람들이 프롬프트 엔지니어이다. 프롬프트란? GUI와 같이 마우스와 그래픽 정보로 상호작용하는 것이 아닌 CLI형식처럼 명령어를 통해 컴퓨터에게 지시하는 것을 의미한다. 개념을..

MLOps 는 AI기술을 서비스에 접목시키며 발생하는 문제점들을 해결하기 위해 DevOps + AI를 합쳐 MLOps라는 개념이 탄생하게 되었다. 각 문서를 편집하여 좋은 글로 쓰는 것도 좋지만 애초에 잘 정리된 글이 있다면 그 블로그를 첨부하는 것이 좋다는 생각에 링크를 참조하였다. Don't reinvent the wheel https://mlops-for-all.github.io/docs/introduction/intro/ 1. What is MLOps? Introduction to MLOps mlops-for-all.github.io

Unsupervised learning feed-forward neural net whose job it is to take an input x and predict x purpose : learning encoder Map high dimensional data to low dimenstions representation Learn abstract features in an unsupervised way so you can apply them to a supervised task linear autoencoder is similar as PCA input data에 대해 가중치 W를 곱해주는데 이걸 subspace로 projection후 basis U에 대해 표현한다고 생각하면 PCA가 되는것이다. W..

Unsupervised learning algorithm How to? Dimension reduction Save memory / computation Reduce overfitting Visualize in 2 Dimension (must 2? well,,not necessary) Linear model with closed form Dimension reduction Projection onto a subspace $Set-up:D=\{X^{(1)},\cdots ,X^{(N)}\}$ $\mu =\frac{1}{N}\sum _{i=1}^N{X}^i$ Goal : find a K-dimensional subspace $S\in R^{D}s\cdot t{X}^i-\mu$ is well repres..

Neural Networks(NN, 신경망) 인간의 두뇌가 인식하는 과정을 모방하여 만든 모델이다. denderites(수상돌기)에서 입력을 전달 받아 axon(축삭돌기)를 통해 시냅스로 전달된다. 만약 시냅스의 신경전달물질이 임계점을 넘어가면 다른 뉴런으로 전달된다. 이 과정을 machine learning model들과 비교해보면 유사한 과정을 거치고 있다는 것을 알 수 있다. 우리의 뇌는 이러한 뉴런을 ${10}^{1}1$개 정도 가지고 있고, 각 뉴런은 ${10}^4$개의 서로 다른 뉴런과 연결되어 있다. Mulilayer perceptrons a directed acyclic graph feed-forward neural network 하나의 층이 아닌 여러층이 겹겹히 쌓인 형태를 다층 퍼셉트론..

baekjun에서 알고리즘 문제를 풀다가 리스트를 슬라이싱해 값을 대입하기 위해 코드를 구현했다. (10810번) import sys N, M = map(int, sys.stdin.readline().strip().split()) array = [0 for x in range(N)] for i in range(M): s,e,n = map(int, sys.stdin.readline().strip().split()) array[s-1:e] = n print(*array) 그 결과 Traceback (most recent call last): File "/Users/keonwoo-ro/Desktop/baekjun/Stage/Array_1/10810.py", line 9, in array[s-1:e] = n T..

python 내부에서 메모리 자원을 효율적으로 하기 위해 iterator를 return해주는 built-in function이 있다. map iterable object를 받아 함수를 적용해 return 해준다. ret = map(func, target) func : 적용시킬 함수 이름 ()빼고 입력 target : 함수에 넣은 iterator object ret : return iterator object * 만약 func을 한번 사용한다면 lambda를 사용하는것도 좋은 방법이다. (재사용을 안하니까.) filter iterator object를 받아 특정 조건식을 거친 참 값들만 return 해준다. ret = filter(func, target) func : 적용시킬 함수 이름 ()빼고 입력, r..