전체 글 (213) 썸네일형 리스트형 LoRA(Low-Rank Adaptation) 1. LoRA 란?LoRA는 대규모 모델을 효율적으로 파인튜닝하기 위한 기법입니다. 핵심 아이디어는 간단합니다.모델을 파인튜닝한다는 것은 결국 원래 가중치(weight)를 얼마나, 어떻게 바꿀지를 학습하는 과정입니다. LoRA는 이 "가중치의 변화량"을 직접 통째로 학습하는 대신, 저랭크 분해(Low-Rank Decomposition)를 이용해 훨씬 작은 두 개의 행렬(업데이트 행렬, update matrices)의 곱으로 표현합니다.즉,원래의 가중치 행렬은 그대로 동결(freeze)되어 추가 학습을 받지 않습니다.새로 추가된 작은 두 행렬만 학습 대상이 되며, 이 행렬들이 새로운 데이터에 맞춰 모델을 적응시키는 역할을 합니다.학습이 끝나면, 원래 가중치와 새로 학습된 저랭크 행렬의 곱을 더해서 최종 가.. 혼자서 소형 AI 모델 만들어보기 EndToEnd - (1) 레퍼런스 및 기술 선정 PyTorch 기초PyTorch Learn the BasicsTensorsDatasets & DataLoadersBuild ModelAutogradOptimizationSave & Load ModelTransformer 기초PyTorch Transformer Building BlocksEmbeddingSelf-AttentionMulti-Head AttentionTransformer BlockCausal MaskTokenizer 구축Hugging Face Tokenizers CourseBPEWordPieceUnigramCustom Tokenizer TrainingTokenizer Save/LoadDataset 구축 / 전처리Hugging Face Datasets CourseDataset LoadDatase.. 프롬프트 엔지니어링이란? OpenAI·Claude 공식 문서로 알아보는 실전 Prompt 설계 방법(2) 하지만 실제 AI 서비스를 개발하다 보면 단순한 Prompt만으로 해결하기 어려운 문제가 등장한다.예를 들어 다음과 같은 요청을 생각해보자.최근 매출 데이터를 분석하고매출이 감소한 원인을 찾아서관련된 보고서를 참고한 뒤문제가 있다면 BI 시스템에서 새로운 분석 화면까지 만들어줘.이 요청은 단순한 질문이 아니다.실제로는사용자 요청 ↓문제 분석 ↓작업 분해 ↓필요한 데이터 탐색 ↓분석 ↓결과 검증 ↓BI 기능 실행 ↓최종 결과 생성과 같은 여러 단계의 작업이 필요하다.따라서 복잡한 AI 시스템에서는 단순히 "좋은 Prompt를 작성하는 것"만으로는 부족하다.Prompt가 어떤 정보를 받아야 하는지,어떤 순서로 문제를 처리해야 하는지,현재까지 어떤 작업이 수행되었는지,어떤 결과를 신.. 이전 1 2 3 4 ··· 71 다음