Field note · 2026-04

같은 모델을 여러 개 돌리는 건 앙상블이 아니다 — LLM Ensemble과 다양성의 수학

경량 로컬 LLM(7B13B)을 여러 개 돌려서 품질을 올리려는 시도가 늘고 있다. 그런데 같은 계열 모델을 복제해서 돌리면 효과가 없다. 앙상블의 효과는 정확도가 아니라 다양성(diversity)에서 온다. 이 글은 "왜 다른 모델이어야 하는가"를 수학적으로 확인하고, 모델 간 "다름"을 측정하는 방법, 그리고 비용 최

같은 모델을 여러 개 돌리는 건 앙상블이 아니다 — LLM Ensemble과 다양성의 수학

요약

경량 로컬 LLM(7B-13B)을 여러 개 돌려서 품질을 올리려는 시도가 늘고 있다. 그런데 같은 계열 모델을 복제해서 돌리면 효과가 없다. 앙상블의 효과는 정확도가 아니라 **다양성(diversity)**에서 온다. 이 글은 "왜 다른 모델이어야 하는가"를 수학적으로 확인하고, 모델 간 "다름"을 측정하는 방법, 그리고 비용 최적화를 위한 실전 조합 전략을 정리한다. 모델 분류 체계(4축 taxonomy), 다양성 지표(CKA, Focal Diversity, Disagreement Rate), 앙상블 패러다임(Cascade, Routing, MoA, Model Merging) 5종을 다룬다.

1. 문제: 3개 돌려도 나아지지 않는 이유

LLaMA-3-8B-Instruct를 3개 돌려서 다수결을 하면 성능이 올라갈까. 직관적으로는 그럴 것 같다. 하지만 실제로 해보면 거의 차이가 없다. 같은 모델은 같은 입력에 대해 같은 오류를 낸다. temperature를 올려서 출력을 흔들어봐야, 오류의 방향은 동일하다. 다수결을 해도 다수가 같은 방향으로 틀리기 때문이다.

이건 직관이 아니라 수학이다. Wood et al.(2023)이 JMLR에서 Ambiguity Decomposition Theorem으로 증명했다1.

앙상블 오류 = 개별 모델 평균 오류 − 모델 간 다양성

다양성 항이 0이면 앙상블 오류 = 개별 오류. 모델을 아무리 많이 붙여도 소용없다. 같은 base에서 같은 방식으로 fine-tuning한 모델끼리 묶으면 다양성 항이 0에 수렴한다. 오류 패턴이 겹치기 때문이다.

반대로, 오류 패턴이 다른 모델끼리 묶으면 다양성 항이 커지고, 앙상블 오류가 개별 오류보다 낮아진다. 이게 앙상블이 작동하는 유일한 조건이다.

경량 모델일수록 이게 더 중요하다. 개별 성능이 낮을수록 다양성에 의한 보정 여지가 상대적으로 크다. 7B 모델 3개가 70B 1개보다 나을 수 있는 건 이 때문이다 — 단, 3개가 서로 달라야 한다.

2. "다른 모델"의 정의 — 4축 분류 체계

그러면 어떤 모델이 "다른" 모델인가. 이름이 다르면 다른 건가. 아니다. LLaMA-3-8B와 LLaMA-3-8B-Instruct는 이름은 다르지만 오류 패턴이 비슷하다. base가 같기 때문이다.

모델 간 "다름"을 체계적으로 판단하기 위한 분류 축이 문헌에서 4개로 수렴한다. LLMOrbit(2026)2이 50+개 모델을 8차원으로 분류했고, 이 중 앙상블 다양성에 직접 영향을 주는 4개 축을 추출할 수 있다.

축 1: Architecture — 구조가 다르면 표현이 다르다

유형내부 처리 방식대표 모델
Dense Transformer전체 파라미터 활성화, O(L²)LLaMA 3, Qwen, Gemma
Sparse MoE게이팅으로 일부 expert만 활성화Mixtral, DeepSeek-V3
SSMO(L) 선형 시퀀스 처리Mamba, Mamba-2
HybridTransformer + SSM 결합Nemotron-H, Jamba

아키텍처가 다르면 같은 입력을 내부적으로 다르게 인코딩한다. CKA(Centered Kernel Alignment)로 측정하면 아키텍처 패밀리 간 유사도가 구조적으로 낮다3. 이건 학습 데이터나 방법과 무관하게 발생하는 차이다.

축 2: Training — 같은 base라도 정렬 방법이 다르면 행동이 다르다

방법핵심 차이
SFT지시문-응답 쌍으로 직접 학습
DPO보상 모델 없이 선호도 직접 최적화
RLHF (PPO)보상 모델 + 정책 최적화
GRPO그룹 내 상대 보상 (DeepSeek-R1)

Behavioral Fingerprinting 연구(Pei et al., 2025)4가 이걸 실험으로 보여줬다. 18개 모델의 행동을 진단 프롬프트로 프로파일링한 결과:

  • 핵심 역량(추론, 인과 분석)은 모델 간 수렴 — 잘하는 건 비슷하게 잘한다
  • 정렬 행동(sycophancy, semantic robustness)은 모델 간 극단적 발산 — 같은 base라도 DPO와 RLHF는 전혀 다르게 행동한다

앙상블에서 의미 있는 다양성은 "잘하는 것의 차이"가 아니라 "틀리는 방식의 차이"다. Training method가 이걸 결정한다.

축 3: Capability Profile — 전문 영역이 다르면 오류 영역이 다르다

프로파일특화대표 모델
Reasoning수학, 논리, CoTDeepSeek-R1, o1
Code코드 생성/분석DeepSeek-Coder, Qwen-Coder
Creative/Dialogue대화, 창작Claude, GPT-4o
Multilingual다국어Qwen, BLOOM

코드 특화 모델은 자연어 추론에서 약하고, 대화 특화 모델은 구조적 논증에서 약하다. 이 약점의 비상관성이 앙상블의 원료다.

축 4: Size Tier — 비용 설계의 축

계층용도
Micro (<3B)필터링, 라우팅
Small (7-13B)로컬 앙상블 주력
Medium (30-70B)Aggregator, cascade 상위
Frontier (>70B)API cascade 최상위

4축에서 서로 다른 사분면에 위치한 모델끼리 조합하면, 오류 비상관성(error decorrelation)이 높아지고 앙상블 효과가 극대화된다.

3. "얼마나 다른지"를 어떻게 측정하는가

4축 분류는 사전 가이드일 뿐이다. 실제로 두 모델이 "충분히 다른지"는 측정해야 한다.

3.1 CKA — 내부가 보일 때

CKA(Centered Kernel Alignment)3는 두 모델의 hidden state 표현을 커널 공간에서 비교한다. Scale-invariant하고 직교 변환에 불변. 높은 CKA = 모델이 입력을 비슷하게 인코딩 = 앙상블 이점 없음. 낮은 CKA = 상보적 = 앙상블 후보.

RSA(Representational Similarity Analysis)는 활성화를 비유사도 행렬(RDM)로 변환해서 비교한다. 모델 패밀리 간 구별력은 RSA가 CKA보다 높다5. 다만 둘 다 모델 내부 접근이 필요하다.

3.2 Focal Diversity — LLM 특화

LLM-TOPLA(EMNLP 2024)6가 제안한 Focal Diversity는 두 가지를 동시에 측정한다:

  1. 오류 다양성: 모델들이 얼마나 다른 곳에서 틀리는가
  2. 다양성-성능 상관: 그 다양성이 실제로 앙상블 성능 향상에 기여하는가

Genetic algorithm으로 N개 모델 풀에서 최적 k개 sub-ensemble을 brute force 대비 100x 빠르게 탐색한다. MMLU에서 +2.2%, XSum에서 +38 ROUGE-1.

3.3 Disagreement Rate — 가장 실용적

도메인 대표 probe set(100-500건)을 준비하고, 후보 모델들에 돌려서, 출력이 불일치하는 비율을 센다. 모델 내부 접근이 불필요하다. API 모델에도 적용 가능하다.

3.4 Behavioral Fingerprinting — 프로파일 기반

진단 프롬프트 세트를 돌려서 18개 차원의 레이더 차트를 만든다4. 추론, 코드, 창의성, sycophancy, robustness 등을 프로파일링. 두 모델의 레이더 차트가 다르면 앙상블 후보.

4. 앙상블 패러다임 — 어떻게 조합하는가

모델을 골랐으면, 어떻게 합치느냐. 문헌에서 실전적으로 검증된 패러다임은 5가지다.

4.1 Cascade — 싼 모델부터, 안 되면 올린다

가장 비용 효율적. 7B 모델에 먼저 보내고, 신뢰도가 임계값 이하이면 13B로, 그래도 안 되면 API로 전달.

FrugalGPT(Chen et al., 2023)7가 이 구조로 GPT-4 동등 성능을 최대 98% 비용 절감으로 달성했다. 또는 동일 비용에서 +4% 정확도. Hybrid LLM(ICLR 2024)8은 22% 쿼리만 소형 모델로 처리하고 <1% 품질 저하를 보였다.

핵심 전제: 쿼리의 대부분(>60%)이 쉬운 쿼리여야 한다. 쉬운 쿼리 비율이 낮으면 cascade의 비용 이점이 줄어든다.

4.2 Routing — 쿼리마다 최적 모델을 고른다

Cascade는 순차적이지만, Routing은 쿼리를 분석해서 처음부터 최적 모델에 보낸다.

RouteLLM(ICLR 2025)9은 Chatbot Arena의 인간 선호도 데이터로 라우터를 학습했다. MT-Bench에서 85%, MMLU에서 45% 비용 절감(GPT-4 품질 95% 유지). 가장 놀라운 발견: GPT-4/Mixtral 쌍으로 학습한 라우터가 Claude 3/LLaMA 3에도 일반화된다. 라우터가 학습하는 건 모델 특성이 아니라 쿼리 난이도다.

Select-then-Route(EMNLP 2025)10는 2단계 접근이다. Task taxonomy로 모델 풀을 먼저 좁히고, 풀 안에서 confidence cascade를 돌린다. 91.7% → 94.3% 정확도, 추론 비용 4x 절감.

IRT-Router(ACL 2025)11는 심리측정학의 Item Response Theory를 차용했다. 쿼리 난이도와 모델 능력을 잠재 변수로 모델링. 해석 가능성이 높고, cold-start 문제를 의미 유사도 기반 warm-up으로 해결한다.

RouterEval(EMNLP 2025 Findings)12은 2억+ 성능 기록, 8,500+ LLM, 12 task 도메인의 대규모 벤치마크다. 여기서 발견된 모델 수준 스케일링 법칙: 풀 크기가 커지고 라우터가 유능하면, 앙상블이 풀 내 최고 단일 모델을 초과하는 성능을 달성할 수 있다.

4.3 Mixture-of-Agents (MoA) — 제안하고 종합한다

Wang et al.(2024)13이 제안한 구조. 여러 LLM이 "proposer"로 독립 응답을 생성하고, "aggregator" LLM이 이를 종합한다.

핵심 현상이 있다. LLM collaborativeness — 약한 모델의 출력이라도 컨텍스트로 제공하면 강한 모델의 출력이 개선된다. 이유는 명확하지 않지만, 다양한 관점이 aggregator의 attention에 anchor를 제공하는 것으로 추정된다.

결과: 오픈소스 모델만으로 AlpacaEval 2.0에서 65.1% 달성. GPT-4o(57.5%)를 초과. 로컬 7B×3 proposer + 13B aggregator 구성에 직접 적용 가능하다.

4.4 Model Merging — 추론 비용 0 추가

런타임 앙상블은 비용이 N배다. 이걸 우회하는 오프라인 대안이 있다. 여러 모델의 weight를 병합해서 단일 모델을 만드는 것이다14.

기법방식
TIES-Merging작은 업데이트 제거, 부호 합의, 정렬된 파라미터만 병합
DARE델타 파라미터 90-99% drop, 나머지 rescale
SLERP두 모델 간 구면 선형 보간
Model Soup여러 체크포인트의 weight 평균

추론 시에는 단일 모델이므로 추가 비용이 0이다. 다만 런타임 앙상블보다 성능 상한이 낮고, merge 후 성능 저하(destructive interference)가 발생할 수 있다. WARM(ICML 2024)15은 보상 모델에 weight averaging을 적용해서 단일 RM 대비 79.4% win rate를 달성했다.

4.5 Majority Voting — 분류 태스크의 기본값

분류나 선택형 태스크에서는 단순 다수결도 효과적이다. 경량 LLM 여러 개의 다수결이 단일 고비용 모델을 매칭한다는 직접적 증거가 있다16. 단, 이건 출력이 이산적(분류 라벨, 선택지)일 때만 적용 가능하다. 생성 태스크에서는 다수결의 정의 자체가 모호해진다.

5. 실전 — 로컬 7B-13B 앙상블 설계

5.1 모델 선택

4축에서 겹치지 않게 고른다:

[Proposer 1] Mistral-7B-Instruct
  → Dense Transformer / SFT / Dialogue

[Proposer 2] DeepSeek-Coder-7B
  → Dense Transformer / SFT / Code

[Proposer 3] Qwen2-7B
  → Dense Transformer / DPO / Multilingual

[Aggregator]  LLaMA-3-13B-Instruct
  → Dense Transformer / RLHF / General

Architecture는 동일하지만, Training(SFT/DPO/RLHF)과 Capability(Dialogue/Code/Multilingual)에서 분산되어 있다. Disagreement rate를 probe set으로 사전 측정해서 실제 다양성을 확인한다.

5.2 전략 선택

조건전략기대 효과
쉬운 쿼리 비율 높음 (>60%)Cascade (7B → 13B)비용 40-60% 절감
품질 최우선, 지연 허용MoA (7B×3 + 13B)최고 단일 모델 초과
추론 비용 추가 불가Model Merging (7B×3 → 1)비용 0 추가, 성능 개선
분류/선택형 태스크Majority Voting (7B×5)+3-5% 정확도

5.3 검증

RouterEval12의 12 task 도메인에서 라우팅 성능을 비교하거나, LLM-TOPLA6의 focal diversity + genetic algorithm으로 최적 sub-ensemble을 탐색한다.

6. 열린 질문

6.1 다양성-정확성 트레이드오프

다양성이 높지만 개별 정확도가 너무 낮은 모델은 앙상블에 해가 된다. 최적 균형점은 태스크 의존적이고, 아직 일반화된 가이드라인이 없다.

6.2 MoE × Ensemble 상호작용

Mixtral 같은 내부 MoE 모델을 외부 앙상블에 넣으면 어떻게 되는가. 내부 expert 다양성과 외부 모델 다양성이 상호작용하는 방식은 아직 충분히 연구되지 않았다.

6.3 Cold-start

새로운 도메인에서 라우팅 데이터가 없을 때. TRouter(2026)17가 계층적 task taxonomy + 합성 데이터로 접근하지만, 실전 검증은 부족하다.

6.4 Scaling Law의 한계

RouterEval이 발견한 모델 수준 스케일링 법칙은 "풀이 커지면 성능이 올라간다"인데, 이건 라우터가 유능할 때만 성립한다. 라우터 자체의 성능이 bottleneck이 되는 지점이 어디인지는 아직 모른다.

7. 함의 — Agentic AI에서의 앙상블

이 논의가 단순한 비용 최적화를 넘어서는 지점이 있다. Agentic AI에서 Agent chain의 각 노드에 서로 다른 모델을 배치하는 것은, 곧 chain 전체의 오류 상관성을 줄이는 것이다.

Agent A(Reasoning specialist)의 출력이 Agent B(Code specialist)의 입력이 되고, Agent C(Creative specialist)가 최종 편집을 하는 구조에서, 세 Agent가 같은 모델이면 동일한 blind spot을 공유한다. 오류가 보정 없이 증폭된다 — 이전 연구에서 확인한 sycophancy propagation과 semantic drift18가 바로 이 메커니즘이다.

서로 다른 모델을 배치하면 Agent 간 오류 비상관성이 확보되고, chain 전체의 robustness가 올라간다. 앙상블의 수학은 추론 파이프라인 단일 노드에만 적용되는 게 아니라, Agent chain 전체의 아키텍처 설계 원리로 확장된다.

BELLA(2026)19의 skill profile 기반 라우팅과 Select-then-Route의 task taxonomy 기반 사전 선택이 이 방향의 초기 시도다. 각 Agent 노드에 "이 노드의 태스크에 최적인 모델"을 할당하되, chain 전체에서 모델 다양성을 최대화하는 설계.

이건 아직 실전 검증이 부족하다. 하지만 수학은 명확하다. 다양성이 앙상블을 작동시키고, Agent chain은 시간축으로 펼쳐진 앙상블이다.

각주

Footnotes

  1. Wood, D., Mu, T., Webb, A.M., Reeve, H.W.J., Luján, M., & Brown, G. (2023). A Unified Theory of Diversity in Ensemble Learning. JMLR, 24(359). https://jmlr.org/papers/v24/23-0041.html ↩

  2. Patro, B.N. & Agneeswaran, V.S. (2026). LLMOrbit: A Circular Taxonomy of Large Language Models — From Scaling Walls to Agentic AI Systems. arXiv:2601.14053. https://arxiv.org/abs/2601.14053 ↩

  3. Kornblith, S., Norouzi, M., Lee, H., & Hinton, G. (2019). Similarity of Neural Network Representations Revisited. ICML 2019. https://arxiv.org/abs/1905.00414 ↩ ↩2

  4. Pei, Z. et al. (2025). Behavioral Fingerprinting of Large Language Models. arXiv:2509.04504. https://arxiv.org/abs/2509.04504 ↩ ↩2

  5. ACM Computing Surveys (2025). Similarity of Neural Network Models: A Survey of Functional and Representational Measures. DOI:10.1145/3728458. https://dl.acm.org/doi/full/10.1145/3728458 ↩

  6. Tekin, S.F., Ilhan, F., Huang, T., Hu, S., & Liu, L. (2024). LLM-TOPLA: Efficient LLM Ensemble by Maximising Diversity. Findings of EMNLP 2024. https://arxiv.org/abs/2410.03953 ↩ ↩2

  7. Chen, L., Zaharia, M., & Zou, J. (2023). FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance. TMLR. https://arxiv.org/abs/2305.05176 ↩

  8. Ding, D. et al. (2024). Hybrid LLM: Cost-Efficient and Quality-Aware Query Routing. ICLR 2024. https://arxiv.org/abs/2404.14618 ↩

  9. Ong, I. et al. (2024). RouteLLM: Learning to Route LLMs from Preference Data. ICLR 2025. https://arxiv.org/abs/2406.18665 ↩

  10. Shah, S. & Shridhar, K. (2025). Select-then-Route: Taxonomy Guided Routing for LLMs. EMNLP 2025 Industry Track. https://aclanthology.org/2025.emnlp-industry.28/ ↩

  11. IRT-Router: Effective and Interpretable Multi-LLM Routing via Item Response Theory. ACL 2025. https://arxiv.org/abs/2506.01048 ↩

  12. Huang, Z. et al. (2025). RouterEval: A Comprehensive Benchmark for Routing LLMs to Explore Model-level Scaling Up in LLMs. Findings of EMNLP 2025. https://arxiv.org/abs/2503.10657 ↩ ↩2

  13. Wang, J. et al. (2024). Mixture-of-Agents Enhances Large Language Model Capabilities. arXiv:2406.04692. https://arxiv.org/abs/2406.04692 ↩

  14. Yang, E. et al. (2026). Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities. ACM Computing Surveys. https://arxiv.org/abs/2408.07666 ↩

  15. Ramé, A. et al. (2024). WARM: On the Benefits of Weight Averaged Reward Models. ICML 2024. https://arxiv.org/abs/2401.12187 ↩

  16. Majority Rules: LLM Ensemble is a Winning Approach for Content Categorization. arXiv:2511.15714 (2025). https://arxiv.org/abs/2511.15714 ↩

  17. Task-Aware LLM Routing with Multi-Level Task-Profile-Guided Data Synthesis for Cold-Start Scenarios. arXiv:2604.09377 (2026). https://arxiv.org/abs/2604.09377 ↩

  18. Kasprova et al. (2026). Multi-agent sycophancy propagation; Agent Drift (2026) — semantic, coordination, behavioral drift. ↩

  19. Okamoto, M., Erol, A.K., & Matlin, G. (2026). Trust by Design: Skill Profiles for Transparent, Cost-Aware LLM Routing. arXiv:2602.02386. https://arxiv.org/abs/2602.02386 ↩