전체 글 (214) 썸네일형 리스트형 PyTorch - (1) 기초, Tensor, Dataset 1. PyTorch 기초소형 AI 모델을 직접 만들어보기 위해 먼저 PyTorch의 기본적인 사용 방법을 알아보자.PyTorch 공식 문서의 Quickstart는 실제 머신러닝의 전체 흐름을 하나의 예제로 보여준다.공식 튜토리얼의 흐름은 다음과 같다.Dataset ↓DataLoader ↓Model ↓Prediction ↓Loss ↓Backpropagation ↓Optimizer ↓Parameter Update ↓Evaluation ↓Save / Load이 글에서는 단순히 코드를 따라 치는 것보다 각 코드가 왜 필요한지, 그리고 코드에 등장하는 인자와 Tensor의 Shape이 무엇을 의미하는지까지 이해하는 것을 목표로 한다.※ PyTorch란? - Tensor 연산, 자동.. LoRA(Low-Rank Adaptation) 1. LoRA 란?LoRA는 대규모 모델을 효율적으로 파인튜닝하기 위한 기법입니다. 핵심 아이디어는 간단합니다.모델을 파인튜닝한다는 것은 결국 원래 가중치(weight)를 얼마나, 어떻게 바꿀지를 학습하는 과정입니다. LoRA는 이 "가중치의 변화량"을 직접 통째로 학습하는 대신, 저랭크 분해(Low-Rank Decomposition)를 이용해 훨씬 작은 두 개의 행렬(업데이트 행렬, update matrices)의 곱으로 표현합니다.즉,원래의 가중치 행렬은 그대로 동결(freeze)되어 추가 학습을 받지 않습니다.새로 추가된 작은 두 행렬만 학습 대상이 되며, 이 행렬들이 새로운 데이터에 맞춰 모델을 적응시키는 역할을 합니다.학습이 끝나면, 원래 가중치와 새로 학습된 저랭크 행렬의 곱을 더해서 최종 가.. 혼자서 소형 AI 모델 만들어보기 EndToEnd - (1) 레퍼런스 및 기술 선정 PyTorch 기초PyTorch Learn the BasicsTensorsDatasets & DataLoadersBuild ModelAutogradOptimizationSave & Load ModelTransformer 기초PyTorch Transformer Building BlocksEmbeddingSelf-AttentionMulti-Head AttentionTransformer BlockCausal MaskTokenizer 구축Hugging Face Tokenizers CourseBPEWordPieceUnigramCustom Tokenizer TrainingTokenizer Save/LoadDataset 구축 / 전처리Hugging Face Datasets CourseDataset LoadDatase.. 이전 1 2 3 4 ··· 72 다음