article · 2026-06-11

전문가란 무엇인가?

AI가 위키 전체를 삼켰는데, 왜 전문가는 사라지지 않는가. 여러 논문을 겹쳐 보면 답이 나온다. 전문가는 정보를 많이 가진 사람이 아니다. 그리고 그 정의가 바로, 무엇이 AI에게 넘어가고 무엇이 끝까지 인간에게 남는지를 가른다.

요약

질문을 바꿔야 한다. "AI가 전문가를 대체할까"는 답이 안 나오는 질문이다. 먼저 물어야 할 것은 전문가란 무엇인가다.

상식적인 답은 "많이 아는 사람"이다. 그렇다면 위키 전체를 컨텍스트에 넣은 LLM은 이미 전문가여야 한다. 그런데 아니다. 여러 논문을 겹쳐 보면 그 이유가 한 방향으로 수렴한다. 전문성은 정보의 양에 있지 않다. 컨텍스트 윈도우를 다루는 연구(NoLiMa, RULER), 사실의 합성을 보는 연구(Two-Hop Curse), 전문성의 사회학(Collins & Evans), 롱테일의 데이터 의존성(Kandpal)이 따로 출발했는데 같은 결론에 닿는다. 저장 ≠ 사용, 정보 ≠ 전문성. 이 두 부등식이 전문가의 정의를 다시 그리고, 동시에 AI 대체의 첫 경계선을 긋는다.

1. 잘못된 질문: "대체할까"

"AI에게 대체될까"는 답하기 나쁜 질문이다. 직무는 단일한 덩어리가 아니라 여러 종류의 작업이 섞인 묶음이고, 그 작업들의 어려움은 서로 다른 종류다. 어떤 어려움은 연산과 형식의 문제라서 모델이 커지면 풀린다. 다른 어려움은 데이터와 접지와 적응의 문제라서 모델을 키운다고 풀리지 않는다.

그래서 직무를 통째로 점치는 대신 더 근본적인 질문을 먼저 던진다. 전문가를 전문가로 만드는 것은 정확히 무엇인가. 이 질문에 답하면, 그 답의 어느 부분이 ⓐ(풀리는 병목)이고 어느 부분이 ⓑ(안 풀리는 병목)인지가 따라 나온다.

2. 전문가는 정보를 가진 사람이 아니다

전문성의 사회학에는 오래된 구분이 있다. Collins와 Evans는 전문성을 두 층으로 나눈다. 분야의 언어에 유창해 그럴듯하게 말할 수 있는 능력(interactional expertise)과, 실제로 그 분야에 기여하는 체화된 역량(contributory expertise)이다. 앞은 담론에 몰입하면 습득되고, 뒤는 실천과 사회화를 통해서만 길러진다.

LLM은 앞쪽에서 인간을 빠르게 따라잡는다. 그래서 "전문가처럼 말한다." 그러나 Collins가 직접 LLM을 비판하며 지적한 핵심은, 인터넷 학습은 사회화가 아니라는 것이다. 텍스트로 학습한 시스템은 원리적으로 interactional은 가능해도 contributory에는 도달하지 못한다. 집단이 공유하지만 아무도 적어두지 않은 암묵지(collective tacit knowledge)에 접근할 길이 없기 때문이다.

여기에 사실 합성의 측정이 겹친다. 모델은 "A의 B는 C"와 "C의 D는 E"를 따로 외워도, 그 둘을 머릿속에서 이어 "A의 B의 D"를 답하는 2단계 추론에서 우연 수준으로 떨어진다(Two-Hop Curse). 더 결정적인 것은 이 실패가 모델 크기로 잘 스케일되지 않는다는 점이다. 정보는 들어 있는데 그 정보를 가로질러 결론을 합성하지 못한다. 정보의 양과 전문성은 다른 축이다.

3. "그럼 다 넣어주면 되잖아"라는 반론

자연스러운 반론이 있다. "모델이 합성을 못 한다면, 필요한 자료를 컨텍스트에 통째로 넣어주면 되지 않나. 1M 토큰 윈도우가 있으니." 이 반론은 광고된 윈도우와 실효 윈도우를 혼동한다.

세 연구가 같은 방향을 가리킨다. 긴 입력의 중간에 놓인 정보는 양 끝보다 잘 잊히고, 정답 위치만 바꿔도 정확도가 크게 출렁인다(Lost in the Middle). 모델이 32K, 128K를 광고해도 실제로 신뢰성 있게 쓰는 길이는 그 절반 안팎이며, 단순 검색은 완벽해도 멀티홉이나 집계로 가면 훨씬 일찍 무너진다(RULER). 그리고 단어 매칭으로 답을 찾을 수 있는 문제를 걷어내 연상 추론을 강제하면, GPT-4o의 정확도는 99.3%에서 69.7%로 떨어지고 실효 컨텍스트는 약 1K 토큰으로 주저앉는다(NoLiMa).

즉 넣을 수 있는 것과 쓸 수 있는 것은 다른 능력이다. 저장 용량이 커진다고 그 용량을 가로지르며 통합하는 능력이 같은 속도로 커지지 않는다. "자료를 다 넣었으니 전문가는 필요 없다"는 결론은, 자료를 찾는 일과 자료 전체를 가로질러 합성하는 일을 하나로 뭉갠 것이다.

4. 그렇다면 전문가는 어디에 사는가

논문들을 겹치면 전문성의 거처가 드러난다. 정보의 양이 아니라 세 군데다. 맥락 전체를 가로지르는 합성, 적어둔 규칙이 적용되지 않는 경우의 판단, 글로 쓰이지 않은 암묵지. 그리고 이 셋이 정확히 스케일과 컨텍스트가 가장 못하는 영역이다.

의료 평가 하나가 이 경계를 선명하게 보여준다. 까다로운 소화기내과 케이스 67건에서, 진단 후보를 넓게 펼치는 능력(coverage)은 Claude 3.5 Sonnet이 76.1%로 위장내과 의사 22명을 앞섰다. 그런데 그 후보 중 옳은 것을 골라내는 정확도는 48.9%에 그쳤고, 의사의 정확도는 경력에 따라 올라갔다. 넓이는 모델이 이기고, 예외 수준의 정확도와 조용한 실패의 회피는 사람이 이긴다.

왜 정확도가 무너지는가. 롱테일 때문이다. LLM의 정확도는 그 사실을 사전학습에서 본 빈도에 인과적으로 비례하고, 빈도 낮은 사실은 경쟁력 있는 수준에 도달하려면 수십에서 수백 배의 데이터가 더 필요하다(Kandpal). 전문가가 값진 이유가 바로 여기 있다. 전문가는 흔한 경우가 아니라 드문 예외에서 값을 한다. 그리고 드문 예외는 정의상 데이터가 적은 롱테일이다.

5. 두 갈래 병목: 풀리는 것과 안 풀리는 것

이 패턴에 이름을 붙이면 나머지 시리즈가 쉬워진다. 모델의 한계는 두 종류다. ⓐ 연산과 형식의 병목은 검증 가능한 닫힌 작업의 정확도, 추론의 깊이, 탐색과 계획이며, 모델이 커지면 실제로 밀려난다. 같은 흐름에서 검증 가능한 수학 문제 풀이가 단기간에 크게 도약한 사례가 대표적이다(DeepSeek-R1이 AIME를 15.6%에서 71%로 끌어올렸다). ⓑ 데이터와 접지와 적응의 병목은 빈도 낮은 롱테일 예외, 글로 안 쓰인 암묵지, 규칙 바깥의 판단이며, 연산을 재배치한다고 생기지 않는다.

1부의 두 부등식은 모두 이 ⓐ/ⓑ 선을 가리킨다. 저장에서 사용으로, 정보에서 전문성으로 넘어가는 길목마다 ⓐ는 풀리고 ⓑ는 남는다.

6. 종합: 전문가란 무엇인가

서로 다른 갈래의 연구가 한 정의로 수렴한다. 전문가는 정보를 많이 가진 사람이 아니라, 정보가 부족한 자리에서 판단하는 사람이다. 흔한 경우는 누구나, 그리고 이제 모델도 처리한다. 전문가의 값은 규칙이 안 통하는 예외, 데이터가 희박한 롱테일, 말로 옮겨지지 않는 암묵의 판단에서 나온다. 그리고 그 자리가 정확히 ⓑ다.

그래서 대체의 첫 경계는 직무와 직무 사이가 아니라 한 직무 안을 지난다. 가능성을 펼치고, 초안을 채우고, 자료를 모으고, 형식을 맞추는 작업은 ⓐ 쪽으로 이미 기울었다. 펼쳐진 것 중 무엇이 옳은지 판단하고, 예외를 책임지고, 틀렸는데 그럴듯한 답을 잡아내는 작업은 ⓑ 쪽에 남는다.

남는 질문은 이것이다. ⓑ는 왜 안 풀리는가. 단지 아직 데이터가 부족한 것인가, 아니면 원리적으로 닫혀 있는 것인가. 2부는 이 질문을 정면으로 다룬다. 물리 세계를 다루는 AI는 빠르게 오는데, 인간의 마음을 다루는 AI는 왜 더 난해한지로 들어간다.

1부 한 줄. 전문가는 많이 아는 사람이 아니라, 정보가 부족한 자리에서 판단하는 사람이다. 저장 ≠ 사용, 정보 ≠ 전문성. AI는 흔한 경우를 가져가고, 예외와 암묵지는 남긴다. 그 경계가 곧 전문성의 정의다.

출처 (1차)

본문의 모든 수치는 아래 1차 문헌으로 추적된다. 신뢰도(H/M)는 원 리서치의 표기를 따른다. 다수 arXiv가 환경 제약(HTTP 403)으로 검색 스니펫(원문 직접 인용) 기반이라, 공개 인용 전 PDF 재확인을 권한다.

전문성의 사회학 (정보 ≠ 전문성)

  • interactional vs contributory expertise: Collins & Evans, Rethinking Expertise (2007); Collins, Synthese 2026 (LLM은 사회화 결여로 collective tacit knowledge 미접근) (H)
  • Two-Hop Curse (CoT 없이 A→C를 chance-level로 실패, 모델 크기로 스케일 안 됨): 2024, arXiv:2411.16353 (H)

저장 ≠ 사용 (실효 컨텍스트 ≪ 광고 컨텍스트)

롱테일 = 데이터 문제 (전문가 = 예외 처리자)

  • 정확도 ∝ 사전학습 빈도, 빈도 낮은 사실은 수십~수백 배 스케일 필요: Kandpal et al. 2022, arXiv:2211.08411 (H)

검증 가능한 닫힌 작업의 도약 (AIME 15.6%→71%)

의료 예외 정확도 (넓이는 모델, 정확도는 사람)

  • 67 challenging GI cases에서 Claude 3.5 Sonnet 진단 coverage 76.1% vs 정확도 48.9%(도구 쓴 의사 37.8%), 위장내과 의사 22명 대조: 원 리서치 context-window-vs-expertise가 인용한 GI 진단 비교 연구. 정량은 2차 집계라 1차 논문 재확인 권장 (M-H)