인공지능 확률통계 (5) 썸네일형 리스트형 Autoencoder Autoencoder의 4가지 주요 키워드Unsupervised learning - 학습방법ML density estimation - MLEManifold learning - 차원축소Generative model learning - 디코더는 생성모델 Autoencoder레이블이 지정되지 않은 데이터의 효율적인 코딩을 학습하는데 사용되는 인공신경망의 한 종류 (unsupervised learning)크게 Encoder, Decoder 두 부분으로 나뉘고, Encoder에 들어온 Input 값을 Decoder의 출력인 Output과 동일한 네트워크를 만드는 것이 목적이다. (= 입출력이 동일한 네트워크; L(x, x')를 최소화) EncoderInput 값으로 차원이 축소된 Bottleneck hidden .. Transformer (* 이미지는 https://wikidocs.net/31379, https://www.blossominkyung.com/deeplearning/transfomer-positional-encoding 것이 적당히 섞여 있으나 추후 변경 예정) 1. Input EmbeddingInput에 입력된 데이터를 vector 행렬로 변경Input 을 구성하는 각각의 단어는 그에 상응하는 인덱스 값에 매칭되고, 해당 값들은 Input Embedding에 전달된다.임베딩 크기가 512인 각 단어에 상응하는 벡터를 만든다. (예: index 3412 -> vector (0.01, 0.2, 0.03, ...,~512개~))임베딩 시 문장 내 단어의 관련성에 따라 위치가 정해지며, 유사한 단어 끼리는 비슷한 벡터공간에 위치.. Entropy, Cross-entropy, KL-Divergence Entropy - H(x)Information Theory: 표본공간(=sample space)에서 사건이 발생할 가능도(=likelihood)를 측정한 확률정보의 양; 확률변수의 불확실성을 정량화하는 척도 $$ H(x) = -\sum_{x\in\chi}P(x)\log{P(x)} = \mathbb{E}[-\log{P(x)}] $$ P(x)는 X 의 확률 질량 함수 X는 확률 변수 x가 취할 수 있는 값들의 집합 여기서 완전 랜덤한 1 bit (50%확률로 1, 나머지 확률로 0)의 정보량을 1로 unit을 맞추기 위해 loglog는 밑이 2인 로그를 사용 섀넌 엔트로피 H(x)의 성질H(x) (-logp(x)는 사건 x가 일어난 경우 얻는 정보량으로 해석 할 수 있다.H(x) 는 모든 사건에 대한 정보.. 생성형 인공지능 종류 - GPT, Diffusion, Autoencoder, GAN 1. GPT (Generative Pre-trained Transformer)주요 처리 수학식: $$L = -\sum_{i=1}^{N} \log P(y_i | x_i, \theta)$$학습 방식: GPT는 Transformer 아키텍처를 기반으로 학습됩니다. 학습 과정에서는 다음 단계를 거칩니다:텍스트 데이터 전처리: 텍스트 데이터를 토큰화하고, 각 토큰에 대한 임베딩을 생성합니다.평균 분산 손실 함수 (MSE) 최적화: 모델은 주어진 텍스트 입력에 대해 다음 단어를 예측하며, 예측된 단어와 실제 단어 간의 차이를 최소화합니다.순환 학습: 모델은 자신의 출력을 다시 입력으로 사용하여 반복적으로 학습합니다.2. Diffusion 모델주요 처리 수학식: $$x_t = \sqrt{1 - \beta_t} x_{.. 베이즈 이론 - 인공지능 확률 통계 (* 참고: https://allendowney.github.io/ThinkBayes2/chap02.html ) 베이즈 정리(Bayes rule)는 어떤 데이터 조건이 주어졌을 때의 조건부확률을 구하는 공식이다. 베이즈 정리 (Bayes rule) (= Inverse probability) \[P(Y|X) = \frac{P(X|Y)P(Y)}{P(X)}\] 베이즈 이론 (Bayes theorem) 추론 대상의 사전확률(prior)과 추가적인 정보인 가능성 정보(=가능도, likelihood)를 통해, 해당 대상의 사후확률(posterior)을 추론하는 방법 추론하는 대상을 확률변수(X)로 보아 그 변수의 확률분포(P(X))를 추정 (✏️) prior과 likelihood가 주어졌을 때, posterior는.. 이전 1 다음
