목차

Overview

추가 사전학습이란

접근 아이디어

이론 조사

DAPT/TAPT

Continual Learning

Continual Pre-Training: Rewarming

Training Regime: Learning Rate, Warmup, LR Decay, Weight Decay

실험

실습용 코드: https://github.com/lectura7942/continual-pretrain-tinyllama

데이터셋

모델