NLP 점진적 학습 기법 — Taxonomy가 살아있는 동안 모델은 어떻게 따라잡는가

Taxonomy는 고정되지 않는다. 새로운 Intent가 추가되고, 기존 경계가 재정의될 때마다 모델은 뒤처진다. 전체를 다시 학습시키지 않고 따라잡는 방법이 존재하는가.

§1. 문제 — Taxonomy 변화와 모델 갱신 비용의 충돌

Intent Taxonomy는 살아있는 구조물이다. 서비스가 확장되면 새로운 Intent가 추가되고, 운영 데이터가 쌓이면 기존 경계가 다시 그려진다. 문제는 모델이다.

Taxonomy가 바뀔 때마다 모델을 전체 재학습시키면 세 가지 비용이 발생한다.

비용 유형	내용
시간 비용	데이터 수집 → 레이블링 → 학습 → 검증 사이클이 수일~수주 소요
데이터 비용	새 Intent뿐 아니라 기존 Intent 데이터도 포함해야 Forgetting 방지 가능
운영 비용	학습 중 서비스 모델과 개발 모델의 버전 분리 관리

현재 앙상블 파이프라인(Gemma 4 E4B + Qwen3.5-4B + Phi-4-mini)은 이 문제를 분류 단계에서 해결한다. Disagreement 기반 HITL 라우팅이 경계 케이스를 사람에게 넘긴다. 그러나 새로운 Intent 자체를 모델에 반영하려면 별도 전략이 필요하다.

점진적 학습 기법은 이 갱신 비용을 구조적으로 낮추는 방법론 군이다. 재학습이 전혀 없는 방법부터, 소규모 파라미터만 추가 학습하는 방법, 전체를 재학습하되 이전 지식을 보존하는 방법까지 스펙트럼이 넓다.

§2. 재학습 없는 방법

가장 즉각적인 확장 방법은 모델 파라미터를 전혀 바꾸지 않는 것이다.

2.1 Prototypical Networks — Prototype 추가만으로 새 Intent 인식

원리: 각 Intent 클래스의 발화 임베딩 평균을 Prototype(클래스 중심 벡터)으로 정의한다. 추론 시 입력 발화의 임베딩과 모든 Prototype 간 거리를 계산하여 가장 가까운 클래스로 분류한다.

[기존 상태]
  Prototype_A = mean(embed(utterances_A))
  Prototype_B = mean(embed(utterances_B))

[새 Intent X 추가]
  Prototype_X = mean(embed(utterances_X))  ← 벡터 추가만
  기존 Prototype_A, B 불변

[추론]
  label = argmin_k  dist(embed(query), Prototype_k)

몇 개의 대표 발화만 있으면 새 Intent를 즉시 파이프라인에 투입할 수 있다. 재학습도, 재배포도 없다.

현재 파이프라인과의 통합 포인트: 앙상블의 Disagreement 케이스를 HITL로 보내는 대신, Prototypical 분류기가 임베딩 거리 기반으로 2차 판단을 내릴 수 있다. HITL에서 확정된 발화를 해당 Intent의 Prototype에 즉시 반영하면, 재학습 없이 분류 경계가 점진적으로 정교해진다.

한계: 임베딩 모델 품질에 극도로 의존한다. 유사한 Intent 간 Prototype이 임베딩 공간에서 가깝게 뭉치면 혼동이 발생한다. Intent 분류에 최적화된 임베딩 모델이 없으면 성능 보장이 어렵다.

출처: Prototypical Networks for Few-shot Learning (Snell et al., 2017)

2.2 In-Context Learning — 프롬프트에 Intent 정의를 추가

원리: LLM의 In-Context Learning 능력을 활용하여 파인튜닝 없이 새 클래스를 인식한다. 프롬프트에 새 Intent의 정의와 예시 발화를 추가하면 LLM이 즉시 해당 Intent를 분류한다.

[Intent X 추가 전]
  Intent A: "계좌 잔액 확인" — 예시: "잔액이 얼마야?"
  Intent B: "이체 요청"     — 예시: "10만원 보내줘"

[Intent X 추가 후]
  Intent X: "카드 분실 신고" — 예시: "카드 잃어버렸어요"
  → 프롬프트에 한 줄 추가만으로 즉시 분류 가능

현재 앙상블 파이프라인에서 이미 부분적으로 활용 중인 방식이라 진입 비용이 가장 낮다.

한계: Intent 수가 많아지면 프롬프트 길이가 선형 증가한다. 결정 경계가 고정되지 않아 동일 입력에서도 결과가 달라질 수 있다. 프로덕션 안정성이 요구되는 환경에서는 Prototypical이나 PEFT 방식이 더 신뢰할 만하다.

출처: A Survey on In-context Learning (Dong et al., 2023)

§3. PEFT — 소규모 파라미터만 추가 학습

Parameter-Efficient Fine-Tuning(PEFT)은 사전학습 모델 본체를 동결하고 소규모 추가 파라미터만 학습하여 도메인에 적응한다. 재학습 방법과 전체 파인튜닝의 중간 지점이다.

3.1 LoRA / QLoRA

원리: 가중치 행렬 W에 저랭크 분해 행렬 BA를 병렬로 삽입한다. W' = W + BA 형태로 적응하되, A와 B만 학습하므로 학습 파라미터 수는 원본 대비 1/100 수준이다.

QLoRA는 본체 모델을 4-bit NF4로 양자화한 뒤 LoRA를 추가하는 방식으로, VRAM 사용량을 4~8배 줄인다.

Taxonomy 점진적 확장 구조:

[도메인 A] LoRA_A.safetensors  →  금융 Intent 전용
[도메인 B] LoRA_B.safetensors  →  여행 Intent 전용
[도메인 C] LoRA_C.safetensors  →  신규 의료 Intent 전용

추론: 대상 도메인의 LoRA를 동적 로딩 (LoRA Switching)
기존 가중치 W 불변 → 이전 Intent Forgetting 없음

Gemma 4 E4B 기준 LoRA(r=16) 하나의 추가 파라미터는 약 20MB다. QLoRA로 학습할 경우 8GB VRAM에서 실행 가능하며, 단일 16GB GPU에서 앙상블 3종과 동시 운용할 수 있다.

한계: Rank(r) 선택이 성능에 민감하다. 복수 도메인 LoRA를 단일 모델에 병합할 때 오차가 누적될 수 있다.

출처: LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., 2021) / QLoRA: Efficient Finetuning of Quantized LLMs (Dettmers et al., 2023)

3.2 Adapter

원리: Transformer 각 레이어에 소규모 Bottleneck 레이어(Adapter)를 삽입한다. 원본 파라미터는 동결하고 Adapter만 학습한다.

Self-Attention
    ↓
[Adapter_domain_A]  ← 삽입
    ↓
Feed-Forward Network
    ↓
[Adapter_domain_A]  ← 삽입

도메인별 Adapter 파일을 독립적으로 학습하고 저장하므로, 새 Intent 카테고리 추가는 해당 카테고리 Adapter 신규 학습으로 완결된다. 전체 모델 재학습이 필요 없고, 도메인별 병렬 개발이 가능하다. 추가되는 파라미터는 전체의 3~5% 수준이며, Full Fine-tuning에 근접하는 성능을 낸다.

한계: 다수 Adapter 관리 복잡도가 증가한다. 레이어 삽입으로 Inference latency가 소폭 증가한다.

출처: Parameter-Efficient Transfer Learning for NLP (Houlsby et al., 2019)

3.3 Prefix Tuning

원리: 입력 앞에 학습 가능한 Continuous Prefix 벡터를 추가한다. Prefix가 Attention에서 소프트 프롬프트로 작용하여 모델 행동을 조정한다. 모델 본체는 불변이다.

Intent 그룹/도메인별 전용 Prefix 벡터를 학습하고, 추론 시 대상 도메인 Prefix를 입력에 주입하면 해당 도메인에 최적화된 분류가 수행된다. 학습 파라미터 수는 전체 모델의 0.1% 미만으로 PEFT 기법 중 가장 경량이다.

한계: 모델 크기가 작을수록(7B 미만) Full Fine-tuning 대비 성능 차이가 벌어진다.

출처: Prefix-Tuning: Optimizing Continuous Prompts for Generation (Li & Liang, 2021)

3.4 PEFT 기법 비교

기법	추가 파라미터	Forgetting	모듈식 확장	Inference 비용 변화
LoRA	~1%	없음	LoRA 파일 전환	없음
QLoRA	~1% (4-bit 본체)	없음	LoRA 파일 전환	양자화 오차
Adapter	~3~5%	없음	Adapter 파일 전환	소폭 증가
Prefix Tuning	< 0.1%	없음	Prefix 파일 전환	없음

출처: Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey (Xu et al., 2024)

§4. Continual Learning — 전체를 재학습하되 기억을 보존

모델 파라미터를 직접 업데이트하면서 이전 태스크 성능을 유지하는 방법론 군이다. 핵심 문제는 Catastrophic Forgetting이다. 새로운 태스크를 학습하면 이전 태스크에 최적화된 파라미터가 덮어씌워진다.

Stability-Plasticity Trade-off: 새것을 잘 배우려면(Plasticity 높임) 기존것을 잊게 되고, 기존것을 보존하려면(Stability 높임) 새것을 잘 못 배운다.

CL 기법의 3대 범주:

범주	핵심 아이디어	대표 기법
Regularization	중요 파라미터 변화에 패널티	EWC, SI
Replay	이전 데이터 또는 가상 샘플 재학습	LAMOL, ER
Architecture	태스크별 독립 파라미터 공간 확보	PackNet, Progressive Networks

출처: A Comprehensive Survey of Continual Learning: Theory, Method and Application (Wang et al., 2023)

4.1 EWC (Elastic Weight Consolidation)

원리: 이전 태스크에서 중요했던 파라미터를 Fisher Information Matrix로 측정하고, 그 파라미터에 L2 패널티를 부과한다.

L_total = L_new + λ Σ F_i (θ_i − θ*_i)²

F_i  : Fisher Information (파라미터 i의 이전 태스크 중요도)
θ*_i : 이전 태스크 학습 후 파라미터 값

새 Intent 추가 파인튜닝 시, 기존 Intent 분류에 중요한 파라미터가 크게 변하지 않도록 탄성 제약을 건다.

LLM에서의 한계: 모델이 클수록 Fisher Matrix 계산 비용이 선형 이상으로 증가한다. 수백억 파라미터 모델에서는 현실적으로 적용하기 어렵다.

출처: Overcoming catastrophic forgetting in neural networks (Kirkpatrick et al., 2016)

4.2 LAMOL (Generative Replay)

원리: 언어 모델이 새 태스크를 학습하면서 동시에 이전 태스크의 Pseudo-Sample을 생성하고, 그 샘플과 새 데이터를 함께 학습하는 Generative Replay다. 별도 메모리 버퍼가 필요 없다.

[T_1 학습 완료]
  모델: Intent A, B, C 분류 + 해당 발화 생성 능력 보유

[T_2 학습 시]
  1. 모델이 T_1 발화 Pseudo-Sample 생성
  2. T_2 데이터 + Pseudo-Sample 합산 학습
  → T_1 Forgetting 방지

5개 언어 태스크 순차 학습에서 Multitask 대비 2~3% 차이 내에서 성능을 유지한다.

한계: 생성 품질이 낮으면 Pseudo-Sample 노이즈가 학습을 오염시킨다.

출처: LAMOL: LAnguage MOdeling for Lifelong Language Learning (Sun et al., 2019)

4.3 PLM에서의 재발견 — 복잡한 CL 기법이 필요 없을 수 있다

2024년 연구(arXiv:2312.07887)가 중요한 발견을 보고했다. BERT/RoBERTa 등 Pre-trained Language Model은 기존 연구들이 가정한 것보다 훨씬 강력한 내재적 망각 저항성을 가진다.

20개 이상의 CL 기법을 4개 분류 태스크(텍스트, Intent, 관계 추출, NER)에서 재검증한 결과, 단순 Sequential Fine-tuning이 복잡한 CL 기법과 동등하거나 우수한 경우가 많았다.

시사점:

EWC, LAMOL 도입 전에 순차 파인튜닝을 기준선으로 먼저 측정해야 한다
Domain Shift가 극심하거나 Intent 수가 수백 개 이상인 경우에는 여전히 CL 기법이 유리

출처: Learn or Recall? Revisiting Incremental Learning with Pre-trained Language Models (Jia et al., 2024)

LLM에 특화된 CL을 Continual Pre-training, Instruction Tuning, Alignment 3단계로 분류하고 RAG, Model Editing과의 차이점을 정리한 서베이도 참조: Continual Learning for Large Language Models: A Survey (Shi et al., 2024)

§5. Active Learning — 레이블링 비용을 구조적으로 줄이기

레이블 없는 발화 풀에서 가장 정보가 많은 샘플을 선택적으로 레이블링하여 annotation 비용을 최소화하는 방법론이다. 학습 방법론이 아니라 데이터 선택 전략이지만, Taxonomy 갱신 사이클에서 핵심적인 역할을 한다.

5.1 Query Strategy — 무엇을 레이블링할 것인가

전략	핵심 아이디어	특성
Uncertainty Sampling	모델이 가장 불확실한 샘플 선택 (최대 Entropy, 최소 Margin)	단순하고 빠름, 다양성 보장 없음
Query by Committee	여러 모델 예측이 가장 불일치하는 샘플 선택	앙상블과 자연 통합
BADGE	Gradient 공간에서 다양성과 불확실성 동시 고려	배치 단위 고품질, 계산 비용 높음

현재 파이프라인과의 통합 포인트: Gemma 4 E4B + Qwen3.5-4B의 Disagreement 기반 HITL 라우팅은 Query by Committee와 동일한 원리다. 이미 Active Learning을 내포하고 있다. 불일치 발화를 HITL로 보내는 현재 흐름이 가장 정보가 많은 샘플을 사람에게 우선 전달하는 구조다.

출처: Deep Batch Active Learning by Diverse, Uncertain Gradient Lower Bounds (Ash et al., 2019) / Small-Text: Active Learning for Text Classification in Python (Schröder et al., 2021)

5.2 LLM 기반 Annotation — 사람 대신 LLM이 초안 레이블 생성

ChatGPT의 Zero-shot 정확도가 크라우드워커를 4/5 태스크에서 초과하고, 비용은 MTurk 대비 약 20배 저렴하다(건당 $0.003 미만)¹.

Taxonomy 갱신 파이프라인에 적용:

[신규 발화 유입]
      ↓
[1단계] LLM이 초안 레이블 생성
      ↓
[2단계] 앙상블이 동의 여부 판정
  동의 + 고신뢰 → 확정
  불일치        → HITL (사람이 최종 판정)

사람은 전체 발화를 레이블링하지 않고 불확실한 케이스만 검토한다. HITL 범위를 구조적으로 축소할 수 있다.

§6. Curriculum Learning — 학습 순서를 조정하기

쉬운 샘플에서 어려운 샘플 순서로 학습하는 방법론이다. 추가 계산 비용 없이 데이터 순서 조정만으로 적용 가능하다. 학습 효율과 일반화 성능이 함께 개선된다.

새 Intent 추가 파인튜닝에 적용:

[1단계] 고품질 대표 발화 — 명확한 Intent, 고신뢰 레이블
      ↓
[2단계] 일반 발화
      ↓
[3단계] 경계 케이스, 모호 발화, OOS 후보

GPT 사전학습에서 Sequence Length Warmup(짧은 시퀀스 → 긴 시퀀스 순서 학습)이 배치 크기 8x, 학습률 4x 증가에서도 안정적인 학습을 가능하게 한 사례가 있다². 새 Intent 파인튜닝에 동일한 원리를 적용할 수 있다.

출처: Curriculum Learning: A Survey (Soviany et al., 2021) / Sequence Length Warmup for Training GPT Models (Li et al., 2022)

§7. Few-shot Meta-Learning — 빠른 새 도메인 적응

완전히 새로운 Intent 도메인에 진입할 때, 소수 예제만으로 빠르게 적응하는 방법론이다.

7.1 MAML / Reptile

MAML 원리: "새 태스크에서 몇 번의 Gradient Update만으로 빠르게 적응할 수 있는 초기 파라미터를 학습"한다. 내부 루프(태스크별 adaptation) + 외부 루프(초기 파라미터 최적화) 이중 구조.

Reptile은 MAML의 2차 미분 계산을 제거한 1차 근사다. LLM 스케일에서 MAML의 2차 미분 비용은 비현실적이므로, 실용적 선택은 Reptile이다.

새 Intent 도메인에 소수 예제(5~20개)만 있을 때, 5~10 Gradient Step으로 적응이 가능하다. 이후 LoRA Fine-tuning으로 안정화하는 2단계 구조가 실용적이다.

출처: Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (Finn et al., 2017) / On First-Order Meta-Learning Algorithms (Nichol et al., 2018)

§8. 확장 시나리오별 기법 선택

시나리오	권장 기법	핵심 이유
즉시 추가, 재학습 불가	Prototypical Networks + ICL	재학습 없이 즉각 적용
도메인 단위 점진 확장	LoRA Adapter Switching	도메인별 독립, Forgetting 없음
레이블링 비용 최소화	Active Learning (Query by Committee)	앙상블 Disagreement 재활용
파인튜닝 안정성 개선	Curriculum Learning	추가 비용 없이 순서 조정만
새 도메인 Cold-start	Reptile → LoRA Fine-tuning	소수 샘플 빠른 적응 후 안정화
PLM 기반 순차 확장	Sequential FT (EWC 선택적)	PLM 내재적 Forgetting 저항 활용

§9. 현재 앙상블 파이프라인 위에 쌓는 방법

기존 Gemma 4 E4B + Qwen3.5-4B + Phi-4-mini 파이프라인에 점진적 학습 레이어를 얹는 구조:

[발화 입력]
      ↓
[Stage 1] 병렬 추론 (E4B + Qwen3.5-4B)
      ↓
[Stage 2] Disagreement 판정
  동의 + 고신뢰  →  확정 (자동)
  불일치         →  Stage 3

[Stage 3] 중재 — 선택지
  A. Phi-4-mini 중재          (기존)
  B. Prototypical 분류기      (임베딩 거리 기반 2차 판단)
  C. ICL 프롬프트 확장        (컨텍스트 재분류)
      ↓
[Stage 4] HITL (잔존 모호 케이스)
  → 확정 결과를 Prototype 업데이트에 즉시 반영
  → 누적 임계 도달 시 LoRA Adapter 점진 파인튜닝 트리거

HITL에서 확정된 발화가 Prototype 업데이트 피드백 루프에 들어가면, 별도 재학습 스케줄 없이 분류 경계가 운영 중에 점진적으로 개선된다.

§10. 열린 질문

PLM Forgetting 저항의 규모 한계: Jia et al.(2024)의 결과는 Intent 수가 상대적으로 작은 설정에서 확인됐다. 수백~수천 Intent 규모의 Taxonomy에서 Sequential FT가 여전히 충분한지는 검증이 필요하다.
Prototype vs ICL 선택 기준: Intent 간 의미적 유사도가 높을수록 Prototype 혼동 위험이 크다. 이때는 ICL의 텍스트 기반 경계 정의가 더 유리할 수 있다. 두 방법의 전환 기준을 Intent 유사도 임계값으로 설계하는 것이 실용적이다.
LoRA Merge: 여러 도메인 LoRA를 하나의 모델에 병합하는 TIES-Merging, DARE 방식이 연구되고 있으나, Taxonomy 분류 특화 검증은 아직 부족하다. 도메인 간 간섭이 얼마나 발생하는지에 따라 Merge vs Switching 전략이 달라진다.
Curriculum + Active Learning 조합: Active Learning이 선별한 고정보 샘플을 Curriculum의 "어려운 단계"에 배치하면, 두 전략의 이점이 누적될 수 있다. 이 조합의 수렴 조건 설계가 후속 과제다.

각주

출처 목록

분야	논문	출처
CL 서베이	A Comprehensive Survey of Continual Learning: Theory, Method and Application (Wang et al., 2023)	arXiv:2302.00487
CL for LLM	Continual Learning for Large Language Models: A Survey (Shi et al., 2024)	arXiv:2402.01364
PLM + Incremental	Learn or Recall? Revisiting Incremental Learning with Pre-trained Language Models (Jia et al., 2024)	arXiv:2312.07887
EWC	Overcoming catastrophic forgetting in neural networks (Kirkpatrick et al., 2016)	arXiv:1612.00796
PackNet	PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning (Mallya & Lazebnik, 2017)	arXiv:1711.05769
Progressive Nets	Progressive Neural Networks (Rusu et al., 2016)	arXiv:1606.04671
Generative Replay	LAMOL: LAnguage MOdeling for Lifelong Language Learning (Sun et al., 2019)	arXiv:1909.03329
Prompt-CL	Learning to Prompt for Continual Learning (Wang et al., 2022)	arXiv:2112.08654
Active Learning	Deep Batch Active Learning by Diverse, Uncertain Gradient Lower Bounds (Ash et al., 2019)	arXiv:1906.03671
Active Learning Tool	Small-Text: Active Learning for Text Classification in Python (Schröder et al., 2021)	arXiv:2107.10314
LLM Annotation	ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks (Gilardi et al., 2023)	arXiv:2303.15056
Curriculum Learning	Curriculum Learning: A Survey (Soviany et al., 2021)	arXiv:2101.10382
CL for GPT	The Stability-Efficiency Dilemma: Investigating Sequence Length Warmup for Training GPT Models (Li et al., 2022)	arXiv:2108.06084
LoRA	LoRA: Low-Rank Adaptation of Large Language Models (Hu et al., 2021)	arXiv:2106.09685
QLoRA	QLoRA: Efficient Finetuning of Quantized LLMs (Dettmers et al., 2023)	arXiv:2305.14314
Adapter	Parameter-Efficient Transfer Learning for NLP (Houlsby et al., 2019)	arXiv:1902.00751
Prefix Tuning	Prefix-Tuning: Optimizing Continuous Prompts for Generation (Li & Liang, 2021)	arXiv:2101.00190
PEFT 서베이	Parameter-Efficient Fine-Tuning for Large Models: A Comprehensive Survey (Xu et al., 2024)	arXiv:2403.14608
Prototypical	Prototypical Networks for Few-shot Learning (Snell et al., 2017)	arXiv:1703.05175
MAML	Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (Finn et al., 2017)	arXiv:1703.03400
Reptile	On First-Order Meta-Learning Algorithms (Nichol et al., 2018)	arXiv:1803.02999
ICL 서베이	A Survey on In-context Learning (Dong et al., 2023)	arXiv:2301.00234