Field note · 2026-04-24

프롬프트 최적화는 합의를 이해하는 것에서 시작된다

프롬프트 최적화에서 가장 흔한 실패는 기술적 오류가 아니다. 라벨 불일치, 회귀, 과적합은 실패의 증상이지 원인이 아니다. 근본 원인은 최적화 과정에서 어떤 신호를 추적하고 있는지가 정의되지 않는다는 데 있다. NLP 앙상블 시스템에서는 "어떤 출력은 투표로 모으고, 어떤 출력은 겹침을 보며, 어떤 출력은 품질 기준을 다

프롬프트 최적화는 합의를 이해하는 것에서 시작된다

요약

프롬프트 최적화에서 가장 흔한 실패는 기술적 오류가 아니다. 라벨 불일치, 회귀, 과적합은 실패의 증상이지 원인이 아니다. 근본 원인은 최적화 과정에서 어떤 신호를 추적하고 있는지가 정의되지 않는다는 데 있다.

NLP 앙상블 시스템에서는 "어떤 출력은 투표로 모으고, 어떤 출력은 겹침을 보며, 어떤 출력은 품질 기준을 다시 세운다"는 원칙이 작동한다. 프롬프트 최적화에도 동일한 원칙이 필요하다. HITL 신호, Confidence 신호, 의미론적 유사도, 과제 특정 메트릭은 각각 다른 실패 모드를 드러내며, 이들을 병렬로 추적하지 않으면 평균에 의해 특수성이 은폐된다.

이 글은 세 가지 숨은 가정의 검증, 신호 간 충돌 감지, 비용-효율 추적을 통해 APO(Automatic Prompt Optimization) 시스템의 설계 원칙을 논한다.

1. 점수는 올라간다 — 하지만 세 가지를 보지 않는다

성능이 65%에서 100%로 올라갔다고 하자. 4라운드를 거쳐서, 매번 점수 개선이 보였고, 비용도 들었고, 최종 프롬프트를 배포했다. 이 여정을 복기하면 세 가지 검증되지 않은 가정이 드러난다.

첫 번째는 라벨 일관성에 대한 가정이다. 5개 샘플 중 3개는 라벨이 일치한다. 나머지 2개는 라벨링 기준이 흐려졌는가, 샘플 자체가 경계 케이스인가, 아니면 라벨 정의가 잘못되었는가. HITL 아티클 1.1절이 제시한 앙상블 합의의 구조적 관측에서, 이 문제는 inter-annotator agreement의 하위 구조로 분석된다. 다수결 일치도가 높더라도 불일치의 패턴 — 어떤 샘플에서, 어떤 라벨러 사이에서 — 이 비균일하면 라벨 체계 자체에 문제가 있다.

두 번째는 수렴에 대한 가정이다. 라운드 1→2에서 +10%, 2→3에서 +5%, 3→4에서 +1%. 이 지수 감소가 기술적 수렴인지, 아니면 더 이상 개선 여지가 없다는 구조적 한계인지를 구분하지 않으면 비용만 누적된다. 개선도가 줄어드는 과정에서 실제로 줄어드는 것이 무엇인지 — 쉬운 샘플의 소진인지, 프롬프트 표현력의 한계인지 — 를 묻지 않는다.

세 번째는 회귀 부재에 대한 가정이다. 평균 점수가 올라갔지만 분포를 보면, 70개 샘플은 아주 좋고 30개는 여전히 형편없을 수 있다. 평균 +3%라는 수치 뒤에서 특정 하위 그룹의 -15%가 은폐된다. 앙상블 학습에서 weak learner의 가중 평균이 개별 learner의 심각한 편향을 감출 수 있는 것과 같은 구조다.

정리하면, 이 세 가정 중 하나라도 틀리면 "좋아 보이는 최적화"를 배포하는 셈이다. 실제로는 구조적 문제를 평균으로 덮은 것일 수 있다. 프롬프트 최적화의 위험은 점수를 올리는 데 있지 않고, 점수가 올라가는 과정을 제대로 보지 못하는 데 있다.

2. 단일 신호의 맹점 — 평균이 감추는 것

현재의 최적화 방식이 이 세 가정을 검증하지 않는 이유는 명확하다. 단일 점수에 의존하기 때문이다. 최적화 팀은 보통 하나의 Reward Signal만 추적한다. HITL 정확도, 또는 confidence, 또는 ROUGE 점수. "더 높으면 더 좋다"는 믿음 아래에서 이 신호가 올라가면 라운드를 통과시킨다.

이 접근이 가져오는 결과는 세 방향으로 나타난다.

라벨 불일치를 보지 못한다. 평균 정확도 88%라는 숫자 뒤에서 12개 샘플이 계속 라벨 불일치 상태로 남을 수 있다. 프롬프트가 좋아진 게 아니라 관측이 부족할 뿐이다. NLP 분류 시스템에서 macro-average F1이 높아도 특정 클래스의 recall이 0에 가까운 현상 — class imbalance가 평균에 의해 은폐되는 것 — 과 동일한 구조다.

회귀를 감추는 것을 모른다. 평균이 +3% 올라갔지만 최악의 경우는 -15%일 수 있다. 큰 그룹의 약간의 개선이 작은 그룹의 심각한 악화를 덮는다. 의료 진단 모델에서 전체 AUC가 상승하면서도 희귀 질환 감지율이 하락하는 사례가 반복적으로 보고되는 것과 같은 맥락이다.

수렴의 신호를 놓친다. 개선도가 지수적으로 감소하는데도 "최적화가 계속 진행 중"이라고 믿는다. 실제로는 비용이 효과를 초과한 상태다. gradient descent에서 학습률이 너무 작아져 loss 변화가 noise 수준에 머무는 것과 유사하다. 멈춰야 할 시점을 모르면 자원만 소모한다.

정리하면, 단일 지표에 의존하는 최적화는 그 지표의 맹점을 물려받는다. 맹점을 드러내려면 다른 각도에서 같은 현상을 보는 신호가 필요하다.

3. 네 가지 신호 — 같은 실패를 다른 각도에서 보다

프롬프트 최적화에서 사용되는 Reward Signal은 네 가지 형태를 가진다. 각각이 드러내는 실패 모드가 다르다는 점이 핵심이다.

HITL-Based Reward는 인간이 명시적으로 라벨한 정답과 오답의 비교다. 집계 방식은 다수결이며, 이 신호가 드러내는 대표적 실패 모드는 라벨 불일치와 경계 모호다. 라벨러 간 일치도가 낮은 샘플이 계속 남아 있다면, 그것은 프롬프트의 문제가 아니라 과제 정의의 문제일 수 있다.

Proxy Reward는 모델의 자체 신뢰도 점수다. 가중 평균으로 집계되며, 이 신호의 실패 모드는 보정 실패다. 모델이 틀린 답에 높은 확신을 보이거나, 맞는 답에 낮은 확신을 보이면 신뢰도 자체가 왜곡된 것이다. 이 현상은 LLM의 calibration 연구에서 반복적으로 관찰된다. Kadavath et al.(2022)은 대규모 언어 모델이 자기 확신과 실제 정확도 사이에 체계적인 괴리를 보인다고 보고했다.

Semantic Similarity는 ROUGE, BERTScore 같은 의미론적 유사도 측정이다. 분포 기반으로 집계되며, 이 신호가 놓치는 것은 표현 다양성이다. 의미적으로 동등한 두 응답이 다른 점수를 받거나, 의미적으로 다른 두 응답이 표면 유사도만으로 같은 점수를 받을 수 있다.

Task-Specific Metric은 F1, Exact Match 같은 과제 맞춤 측정이다. 과제별 맞춤 방식으로 집계되며, 이 신호의 실패 모드는 메트릭 편향과 과적합이다. 특정 메트릭에 최적화하면 그 메트릭이 측정하지 못하는 차원의 품질이 악화될 수 있다. Goodhart's Law의 전형적 발현이다.

이 네 신호는 같은 최적화 과정을 다른 렌즈로 본다. HITL-Based는 인간 판단의 일관성을, Confidence는 모델 보정의 정확성을, Semantic Similarity는 출력의 의미적 편차를, Task-Specific은 과제별 특수성을 드러낸다. 하나의 신호가 "개선"을 보일 때 다른 신호가 "악화"를 보인다면, 그것은 실제 개선이 아니라 관점의 이동이다.

정리하면, 안전한 최적화의 첫 번째 원칙은 Reward Signal을 최소 두 가지 이상 병렬로 추적하는 것이다. 단일 신호의 맹점은 다른 신호의 시야로만 드러난다.

4. 신호가 다른 방향을 가리킬 때 — 충돌의 의미

신호를 다층화하면 필연적으로 다음 문제가 나타난다. 신호들이 서로 다른 방향을 가리킨다.

HITL 정확도는 올라가는데 모델 Confidence는 떨어지는 경우가 있다. 프롬프트가 모델을 더 정확하게 만들었지만 모델 자체의 신뢰도 보정은 뒤따르지 못한 것이다. 이것은 보정 실패 신호다. 반대로 Confidence가 올라가는데 HITL 정확도가 정체하면, 모델이 더 확신에 찬 오답을 내놓고 있다는 뜻이다. 후자가 더 위험하다.

평균 정확도가 올라가는데 분산이 함께 올라가는 경우도 있다. 평균의 개선이 특정 하위 집단의 극적 개선에 의한 것이고, 나머지 집단에서는 오히려 악화가 일어났을 수 있다. 이 패턴은 과적합의 조기 경고다. 앙상블 학습에서 bias-variance tradeoff를 모니터링하는 것과 같은 원리로, 평균이 올라가더라도 분산이 함께 확대되면 일반화 능력이 약해지고 있다는 뜻이다.

가장 은밀한 충돌은 분포 편향이다. 전체 평균은 올라갔지만, 하위 10%의 성능이 기준선보다 떨어져 있는 경우다. 큰 그룹의 소폭 개선이 작은 그룹의 심각한 악화를 덮는 구조다. 이것은 사회과학에서 Simpson's Paradox로 알려진 것과 같은 집계 효과다. 전체 집단에서 관찰되는 추세가 하위 집단에서는 반전된다.

이런 충돌을 명시적으로 감지하고 보고하지 않으면, 평균이라는 단일 지표에 의해 구조적 문제가 은폐된다. 신호 충돌은 시스템의 결함이 아니라 구조적 문제의 조기 경고다. 경고를 무시하면 문제가 사라지는 게 아니라 배포 이후에 표면화된다.

정리하면, 안전한 최적화의 두 번째 원칙은 신호 간 충돌을 명시적으로 감지하고 대응하는 것이다. 모든 신호가 같은 방향을 가리킬 때만 진정한 개선이다.

5. 멈춰야 할 시점 — 비용과 수렴의 세 층위

신호를 추적하고 충돌을 감지했다면, 그 다음 질문은 계속할 가치가 있는가이다.

라운드 N에서 N+1로 넘어갈 때, 정확도가 0.80에서 0.85로 올라갔다고 하자. 개선율은 6.25%다. 이 개선을 얻기 위해 5,000 토큰 × 8 iterations = 40,000 토큰을 소비했다면, 1% 개선당 6,400 토큰이 든 셈이다. 이 수치가 사업적 임계치를 넘으면 계속 반복할 가치가 없다. 수렴이 기술적 plateau가 아니라 경제적 한계에 도달한 것이다.

그런데 수렴 판정을 비용만으로 할 수는 없다. 수렴에는 세 가지 층위가 있다. 기술적 수렴은 개선율이 2% 미만으로 떨어진 상태다. 경제적 수렴은 토큰 비용 대비 개선 효과가 사업적 임계치를 초과한 상태다. 구조적 수렴은 모든 추적 신호가 안정화되어 더 이상 의미 있는 변동이 없는 상태다.

이 세 가지가 모두 수렴을 가리킬 때만 멈추는 것이 안전하다. 기술적으로는 수렴했지만 경제적으로 아직 여유가 있고, 특정 신호가 불안정하다면 추가 라운드가 정당화된다. 반대로 경제적 한계에 도달했지만 기술적으로 아직 개선 여지가 크다면, 비용 구조를 재검토하거나 최적화 전략 자체를 전환해야 한다.

정리하면, 안전한 최적화의 세 번째 원칙은 비용-효율을 라운드마다 계산하고, 수렴을 세 층위에서 판정하는 것이다. 어느 한 층위만으로 멈추거나 계속하면 자원 낭비이거나 조기 종료다.

6. 안전한 배포 — Safety Gate와 의사결정 배분

최적화가 끝나고 배포를 결정하는 시점에서, 기본 Safety Gate는 보통 한 가지만 확인한다. 최적화된 결과와 기준선의 차이(delta)가 -0.05 이상인지. 이것만으로는 평균에 의한 은폐를 막을 수 없다.

강화된 Safety Gate는 네 가지 조건을 동시에 확인한다. 전체 delta가 -0.05 이상이고, 하위 10% 퍼센타일이 기준선 대비 -0.10 이내이며, 악화된 샘플 수가 전체의 5%를 넘지 않고, HITL 불일치율이 이전 라운드 대비 0.05 이상 증가하지 않아야 한다. 네 조건이 모두 충족되면 배포가 안전하고, 하나라도 실패하면 reflective review가 필요하다.

ENHANCED_GATE (AND 조건):
  delta ≥ -0.05  AND
  worst_case_percentile[10%] ≥ baseline - 0.10  AND
  deterioration_count ≤ 5% of total  AND
  hitl_disagreement_rate ≤ previous + 0.05

이 네 조건의 설계 근거는 각각 다르다. 첫 번째는 전체 성능의 하한, 두 번째는 최악 사례의 하한, 세 번째는 악화 범위의 상한, 네 번째는 라벨 일관성의 상한이다. 하나만으로는 다른 세 가지의 맹점을 볼 수 없다. 이것이 앞서 논한 다층 신호 추적의 의사결정 시점 적용이다.

Safety Gate를 누가 판정하느냐도 설계의 대상이다. 기준선 설정은 인간이 해야 한다. 모든 개선의 척도이므로 잘못된 선택은 전체를 오염시킨다. 신호 수집과 계산은 AI가 한다. 객관적 연산이므로 자동화가 적합하다. 그러나 신호의 해석 — AI가 감지한 충돌의 구조적 원인을 판단하는 것 — 은 인간과 AI의 협업이 필요하다. 수렴 판정, 예외 처리, 배포 결정은 인간의 영역이다. 수렴은 수치만이 아니라 비용-효과의 맥락에서 판단해야 하고, Safety Gate 실패 시의 트레이드오프는 사업적 맥락을 아는 사람만이 결정할 수 있다.

이 배분은 HITL 아티클이 제시한 "의사결정 권한으로서의 HITL"과 정확히 대응한다. HITL을 실패 관측의 도구로만 쓰면 신호 수집에 머문다. 의사결정 권한의 배분으로 설계하면, 어느 시점에서 인간의 판단이 개입해야 하는지가 명시된다.

결론

프롬프트 최적화의 위험은 두 층위에서 나타난다.

첫 번째 층위에서, 점수는 올라가지만 특정 샘플을 망쳤을 수 있다. 평균 +3%가 30% 샘플의 -15%를 감추고 있다면, 그것은 개선이 아니라 분포의 왜곡이다. 두 번째 층위에서, 점수가 올라가는 과정 자체를 제대로 보지 못한다. 라벨 불일치가 올라가는데 정확도만 추적하고, 신뢰도와 정답률이 다른 방향을 가리키는데 평균만 확인한다.

따라서 안전한 최적화는 신호를 다층화하고, 신호 간 충돌을 명시적으로 감지하며, 비용-효율을 추적하고, 강화된 안전 게이트를 적용하며, 수렴을 세 층위에서 판정하는 구조를 필요로 한다. 이 다섯 가지는 독립된 기법이 아니라 하나의 설계 원칙 — 단일 신호가 아닌 합의에 기반한 최적화 — 의 구현이다.

점수를 올리는 것이 최적화가 아니다. 점수가 올라가는 구조를 이해하는 것이 최적화다.

참고

관련 개념

  • [[2026-04-23_HITL은-두-번-설계되어야-한다_v4|HITL 아티클]] — 1.1절 "앙상블이 있을 때 — 합의의 구조적 관측"
  • [[APO-Ontology-Core|APO Core]] — 11개 엔티티와 사업 규칙의 정식 정의
  • [[APO-Ontology-Relationships|APO Relationships]] — 16개 사상과 합성 규칙

참고 문헌

  • Kadavath, S. et al. (2022). Language Models (Mostly) Know What They Know. arXiv. — LLM self-calibration 연구
  • Goodhart, C. (1975). Problems of Monetary Management. — 측정 지표가 목표가 되면 좋은 지표이기를 멈춘다
  • Simpson, E.H. (1951). The Interpretation of Interaction in Contingency Tables. JRSS. — 집계 역설
  • HITL, Ensemble Consensus, Reward Aggregation 관련 문헌
  • Prompt Optimization, LLM Fine-tuning 안전성 관련 연구