전체 글 (27) 썸네일형 리스트형 텐서플로우 활용기초 MNIST 실험 (* 참고:https://keras.io/api)예제에 주어진 요소데이터train data: 60000test data: 10000입력 차원 = 784히든레이어1 차원 = 128, 활성함수 = 시그모이드히든레이어2 차원 = 128, 활성함수 = 시그모이드히든레이어3 차원 = 128, 활성함수 = 시그모이드출력 차원 = 10, 활성함수 = 소프트맥스최적화 함수 = 확률적 경사 하강법(SGD)학습률 = 0.01손실함수 = categorical_crossentropy검증 지표 = accuracy배치 크기 = 32에포크(학습 횟수) = 10 주어진 요소의 의미와 실험항목히든레이어 - 총 3개의 히든레이어를 가진 딥러닝 구조이며 다음과 같은 실험을 진행층을 수정: 3 -> 5, 10차원 수정: 128 -> 10.. Github, colab 연동 1. Github repository 생성 2. Access token 생성Settings > Developer Settings > Personal access tokens > github 접근 옵션 설정 후 토큰 생성생성 된 토큰은 개인공간에 미리 복사해 두기 3. Colab 연동3.1. Colab 생성 및 Google drive mountColab 파일 생성 후 아래 파이썬 명령어를 실행하여 Google drive를 mount 수행.추후 Github 연동을 위한 경로도 복사해 두기 (Mount 된 Google drive 디렉토리 구조에서 마우스 우클릭 후 "경로 복사" 선택)# 실행 (Ctrl+Enter)from google.colab import drivedrive.mount('/content/dr.. Autoencoder Autoencoder의 4가지 주요 키워드Unsupervised learning - 학습방법ML density estimation - MLEManifold learning - 차원축소Generative model learning - 디코더는 생성모델 Autoencoder레이블이 지정되지 않은 데이터의 효율적인 코딩을 학습하는데 사용되는 인공신경망의 한 종류 (unsupervised learning)크게 Encoder, Decoder 두 부분으로 나뉘고, Encoder에 들어온 Input 값을 Decoder의 출력인 Output과 동일한 네트워크를 만드는 것이 목적이다. (= 입출력이 동일한 네트워크; L(x, x')를 최소화) EncoderInput 값으로 차원이 축소된 Bottleneck hidden .. Transformer (* 이미지는 https://wikidocs.net/31379, https://www.blossominkyung.com/deeplearning/transfomer-positional-encoding 것이 적당히 섞여 있으나 추후 변경 예정) 1. Input EmbeddingInput에 입력된 데이터를 vector 행렬로 변경Input 을 구성하는 각각의 단어는 그에 상응하는 인덱스 값에 매칭되고, 해당 값들은 Input Embedding에 전달된다.임베딩 크기가 512인 각 단어에 상응하는 벡터를 만든다. (예: index 3412 -> vector (0.01, 0.2, 0.03, ...,~512개~))임베딩 시 문장 내 단어의 관련성에 따라 위치가 정해지며, 유사한 단어 끼리는 비슷한 벡터공간에 위치.. Entropy, Cross-entropy, KL-Divergence Entropy - H(x)Information Theory: 표본공간(=sample space)에서 사건이 발생할 가능도(=likelihood)를 측정한 확률정보의 양; 확률변수의 불확실성을 정량화하는 척도 $$ H(x) = -\sum_{x\in\chi}P(x)\log{P(x)} = \mathbb{E}[-\log{P(x)}] $$ P(x)는 X 의 확률 질량 함수 X는 확률 변수 x가 취할 수 있는 값들의 집합 여기서 완전 랜덤한 1 bit (50%확률로 1, 나머지 확률로 0)의 정보량을 1로 unit을 맞추기 위해 loglog는 밑이 2인 로그를 사용 섀넌 엔트로피 H(x)의 성질H(x) (-logp(x)는 사건 x가 일어난 경우 얻는 정보량으로 해석 할 수 있다.H(x) 는 모든 사건에 대한 정보.. DevOps업무, CI/CD, 그리고 관련 툴 DevOps는 소프트웨어 개발(Development)과 운영(Operations)의 통합을 목표로 하는 문화와 관행을 의미합니다. CI/CD는 Continuous Integration(지속적 통합)과 Continuous Deployment(지속적 배포)의 약자로, DevOps의 핵심 요소 중 하나입니다. 이를 통해 개발팀과 운영팀 간의 협업을 강화하고, 소프트웨어 배포의 속도와 품질을 향상시킬 수 있습니다.### CI/CD의 주요 개념 1. **지속적 통합 (CI)**: - 개발자들이 코드 변경 사항을 중앙 저장소에 자주 통합하는 과정입니다. - 자동화된 빌드와 테스트를 통해 코드의 품질을 유지하고, 통합 시 발생할 수 있는 문제를 조기에 발견할 수 있습니다. 2. **지속적 배포 (CD)**.. 생성형 인공지능 종류 - GPT, Diffusion, Autoencoder, GAN 1. GPT (Generative Pre-trained Transformer)주요 처리 수학식: $$L = -\sum_{i=1}^{N} \log P(y_i | x_i, \theta)$$학습 방식: GPT는 Transformer 아키텍처를 기반으로 학습됩니다. 학습 과정에서는 다음 단계를 거칩니다:텍스트 데이터 전처리: 텍스트 데이터를 토큰화하고, 각 토큰에 대한 임베딩을 생성합니다.평균 분산 손실 함수 (MSE) 최적화: 모델은 주어진 텍스트 입력에 대해 다음 단어를 예측하며, 예측된 단어와 실제 단어 간의 차이를 최소화합니다.순환 학습: 모델은 자신의 출력을 다시 입력으로 사용하여 반복적으로 학습합니다.2. Diffusion 모델주요 처리 수학식: $$x_t = \sqrt{1 - \beta_t} x_{.. [Cloud] AWS 주요 서비스 AWS(Amazon Web Services)는 다양한 클라우드 컴퓨팅 서비스를 제공하며, 여기에는 다음과 같은 주요 서비스가 포함됩니다:1. Amazon EC2 (Elastic Compute Cloud)컴퓨팅 리소스: 가상 서버를 제공하여 사용자가 필요한 만큼 자원을 확장하고 축소할 수 있습니다. 쉽게 말해 내 컴퓨터가 온라인상에 있는 것 입니다.다양한 인스턴스 유형: 다양한 성능 및 비용에 맞는 인스턴스 유형을 제공합니다.2. Amazon S3 (Simple Storage Service)저장 서비스: 무제한 스토리지를 제공하여 사용자가 데이터를 저장하고 접근할 수 있습니다.고가용성: 데이터를 여러 지역에 복제하여 고가용성을 보장합니다.웹 인터페이스인 AWS 콘솔을 통해 파일 업로드/다운로드 가능합니다... 이전 1 2 3 4 다음
