행동을 완벽히 예측당해도 대체되지 않는 자리

요약

1부는 전문가를 정보가 아니라 판단으로 다시 정의했고, 2부는 피지컬 AI가 빠르고 뇌지컬 AI가 난해한 이유를 닫힘과 열림으로 갈랐다. 3부는 가장 날카로운 부등식으로 닫는다. 예측 ≠ 이해.

사회 시뮬레이션은 집계 수준에서 인간 행동을 놀랍도록 잘 재현한다. 상관이 0.85에서 0.90을 넘는다. 숫자만 보면 인간을 이해한 것처럼 보인다. 그런데 같은 시뮬레이션이 동조나 복종 같은 고전 실험의 결과는 재현하면서 과정의 메커니즘은 어긋난다. 여러 논문을 종합하면 결론은 하나다. 행동을 정확히 맞히는 것과 그 사람을 이해하는 것은 다른 일이다. 마지막 돌파 후보인 월드모델은 이 선 앞에서 비대칭적으로 멈춘다. 바깥 층위(물리 상식, 행동 예측)는 점점 도달 가능하지만, 안쪽 층위(가치의 공동구성, 집단 암묵지, 정서적 공감)는 표적이 예측에 적응하기 때문에 구조적으로 막힌다. 그리고 이 진단은 하나의 처방으로 이어진다.

---

1. 마지막 부등식: 예측 ≠ 이해

2부에서 열린 집합을 다뤘다. 그중에서도 가장 미끄러운 자리가 사회와 의미의 영역이다. 미끄러운 이유는, 이 영역에서 모델이 겉보기로는 매우 잘하기 때문이다. 잘하는 것처럼 보이는 만큼 착시가 강하다.

부등식은 이렇게 깨진다. "행동을 정확히 예측하면 이해한 것이다"라는 등식은 직관적으로 그럴듯하다. 누군가의 다음 행동을 늘 맞힌다면 그를 안다고 말하고 싶어진다. 그러나 결과를 맞히는 것과 그 결과를 낳는 내부 과정을 이해하는 것은 분리된다. 이것이 중국어방 논변의 핵심이기도 하다. 규칙에 따라 올바른 출력을 내놓는다고 그 의미를 이해한 것은 아니다. 사회 인지의 맥락에서 이 구분은 3인칭으로 행동을 예측하는 것(theory-theory)과 자기 정서기제로 재연해 이해하는 것(simulation-theory)의 차이로 나타난다. 곧 predict와 understand의 차이다.

---

2. 0.85의 착시: 결과는 맞고 과정은 어긋난다

근거는 측정에 있다. 다수의 행위자를 시뮬레이션해 사회 현상을 재현하려는 시도에서, 집계 수준의 상관은 약 0.85에서 0.90에 이른다. 숫자만 보면 거의 이해한 것처럼 보인다.

그러나 결을 들여다보면 갈라진다. 동조 실험(Asch)이나 복종 실험(Milgram) 같은 고전을 시뮬레이션하면, 최종 결과는 그럴듯하게 재현되는데 그 결과에 이르는 과정의 메커니즘은 실제 인간과 어긋난다. 생성 행위자를 다룬 대표 연구(Generative Agents)가 스스로 밝힌 한계가 이 점을 못박는다. 그 연구의 측정 변수는 인간처럼 보이는가(believability)이지, 실제 인간처럼 행동하는가(validity)가 아니다. 집계 상관이 0.85를 넘어도, 왜 그런 행동이 나왔는지의 인과는 어긋나 있을 수 있다.

이것이 왜 대체의 문제인가. 결과만 맞으면 되는 작업(시장 반응의 대략적 예측, 집계 트렌드의 추정)은 모델 쪽으로 넘어간다. 그러나 왜 그런지를 책임지고 설명해야 하는 작업, 한 사람의 맥락을 그 사람의 이유로 이해해야 하는 작업, 틀린 메커니즘이 위험을 낳는 작업은 0.85의 착시 너머에 남는다.

---

3. 월드모델: 물리 자물쇠의 키, 그러나 사회 자물쇠는 아니다

2부에서 본 피지컬 AI의 성공이 사회로 번질 수 있을까. 월드모델의 형식적 핵심은 물리적이지 않으므로(Ha & Schmidhuber), "사회 월드모델"이라는 개념은 원리적으로는 범주 오류가 아니다. 문제는 키가 키이되 물리 자물쇠의 키라는 점이다.

사회 예측은 물리보다 구조적으로 더 어렵다. 이유는 2부의 재귀성이다. 표적이 예측에 적응한다. 그리고 이 재귀성에는 형식적 천장이 있다. 한 모델이 자기 예측으로 세상의 분포를 바꾸는 상황을 형식화한 연구(Performative Prediction)에 따르면, 세상의 반응이 충분히 약할 때만 안정점에 수렴하고, 피드백이 강해지면 문제가 계산적으로 다루기 힘든 영역으로 넘어간다. 피드백 강도 1 근처에서 상전이가 일어난다. 즉 내 예측이 세상을 거의 안 바꿀 때는 예측이 안정되지만, 내 예측이 세상을 강하게 바꾸기 시작하면 예측 자체가 불안정해진다. 사회는 본질적으로 후자다.

---

4. 층위의 비대칭: 바깥은 도달 가능, 안쪽은 막힘

그래서 사회·인지 영역의 대체 판정은 한 덩어리가 아니라 층위별로 비대칭이다.

바깥 층위는 점진적으로 도달 가능하다. 물리 상식, 행동의 예측, 타인의 믿음을 추론하는 인지적 마음이론. 이쪽은 모델이 점점 잘하게 된다.

안쪽 층위는 ill-posed이거나 구조적으로 막힌다. 가치를 상대와 함께 만들어가는 재귀적 공동구성, 집단이 공유하지만 아무도 적어두지 않은 암묵지, 정서적이고 체화된 공감. 이쪽은 표적이 움직이고 규칙이 변하므로, 더 큰 모델로 닫히지 않는다.

공정하게 보면 낙관 측에도 강한 논거가 있다. 체화와 상호작용 스트림과 접지된 보상으로 의미를 공급하면 "원리적 장벽은 없고 엔지니어링 문제일 뿐"이라는 입장이다(Era of Experience). 이는 중국어방의 로봇 반론(감각운동 접지를 더하는 것)을 실제로 구현하는 길이고, 행동과 인지의 갭을 실제로 침식한다. 그러나 회의 측이 지목하는 안 풀리는 핵이 남는다. 집단 암묵지는 정의상 명시화 불가에 사회화를 요구하고(Collins), 정서적 공감은 패턴 인식이지 고통받을 수 있는 몸에서 나오는 경험이 아니다. 행동을 완벽히 예측해도 이해가 따라오지 않을 수 있다는 사회 인지의 중국어방이 여기서 가장 단단하다.

---

5. 네 부등식을 한자리에

세 편을 가로지른 진단은 하나로 압축된다. 모델의 한계는 두 갈래다. 연산·형식·물리의 병목(ⓐ)은 스케일과 하네스와 추상 reasoning과 월드모델이 실제로 밀어낸다. 데이터·접지·적응·재귀의 병목(ⓑ)은 그것들이 못 연다. 네 부등식은 같은 이야기를 층마다 다시 말한 것이다.

저장 ≠ 사용. 넣을 수 있다고 쓸 수 있는 게 아니다. 정보 ≠ 전문성. 정보를 준다고 전문가가 되는 게 아니다. 닫힘 ≠ 열림. 불변성으로 압축되는 물리와, 재귀로 적응하며 의미로 구성되는 인간은 형식이 다르다. 예측 ≠ 이해. 행동을 완벽히 예측해도 이해가 따라오지 않을 수 있다.

대체되는 자리는 ⓐ, 남는 자리는 ⓑ. 끝까지 인간에게 남는 일은 직무 이름으로 정해지지 않고, 이 ⓐ/ⓑ 선을 따라 모든 직무 안을 가로지른다.

---

6. 처방: 한쪽 도구로 양쪽을 풀려 하지 않는다

진단이 ⓐ/ⓑ 분리라면, 논문들이 함의하는 처방은 자명하다. 어느 한 도구로 모든 한계를 풀려는 시도를 멈추고, 병목마다 맞는 도구를 결합한다.

여기서 온톨로지(기호 지식 구조)의 자리가 정직하게 잡힌다. 온톨로지는 LLM 한계의 전부를 극복하지 않는다. 검증 가능한 제약과 예외 강제, 멀티홉, 큐레이션된 롱테일 사실성이라는 특정 슬라이스를 보완한다. 그것도 병목을 없애는 게 아니라 이동시킨다. 지식 획득의 병목이 온톨로지 구축과 영구 유지보수의 병목으로 옮겨갈 뿐이다. 그리고 온톨로지는 구성상 명시적이고 명제적이므로, 글로 안 쓰인 암묵지는 못 잡는다. 이것이 논문들이 도달한 가장 균형 잡힌 지점이다. 순수 스케일도, 순수 기호도 답이 아니고, 각 병목에 맞춘 결합이 답이다.

---

7. 봉합하지 않은 긴장

종합은 출처의 신중한 헤지를 매끄럽게 뭉개 과신을 만들기 쉽다. 이 시리즈도 모든 것을 해소하지는 않는다. 살아있는 전선을 살아있게 둔다.

• 암묵지는 절대 불가인가, 부분 포착인가. 텍스트 학습의 원리적 천장을 말하는 쪽(Polanyi, Collins)이 있고, 일부 암묵지는 명시화·복원된다는 증거(Ericsson의 think-aloud, Othello-GPT)도 있다. 정직한 진술은 정도의 문제(graded)다. 갭은 집단적·체화된 암묵지에서 가장 강하고, 관계적·폐쇄규칙 도메인에서 가장 약하다.
• 행동과 인지의 갭은 접지로 침식된다. 감각운동 경험을 더하면 중국어방의 일부는 녹는다. 그러나 집단 암묵지와 정서 공감이 자명하게 녹는지는 현재의 미해결 전선이다.
• 추상 reasoning의 붕괴는 스냅샷이다. 2부에서 본 한 자릿수 성적과 전이 실패가 구조적 천장인지 아직 미해결인 연구 전선인지는 정해지지 않았다.

판정을 출처보다 더 정리된 것처럼 제시하지 않는다. 다만 한 가지는 분명하다. ⓑ의 문은 reasoning의 형식이 아니라 표현·적응·접지의 결합이 여는데, 그 문은 아직 안 열렸다. 그 문이 닫혀 있는 동안, 우리가 끝까지 쥐는 일이 어디인지를 이 네 부등식이 알려준다.

---

3부 한 줄. 예측 ≠ 이해. 집계 상관 0.85도 이해가 아니다. 월드모델은 물리 자물쇠만 열고 사회 자물쇠는 재귀성의 천장에 막힌다. 그래서 처방은 결합이다. ⓐ는 모델에, ⓑ는 기호 게이트와 사람에. 대체의 지도는 직무가 아니라 ⓐ/ⓑ 선을 따라 그려진다.

---

출처 (1차)

신뢰도(H/M)는 원 리서치 표기를 상속한다. 월드모델 앵글에는 환각 arXiv ID(미래 날짜·검증 불가)가 검색에 다수 섞여 원 리서치가 이미 본문에서 걷어냈다. 아래 중 2026년자(26xx 계열) ID는 스니펫 기반이라 PDF 확인 전 인용에 주의한다.

월드모델의 형식 정의 (도메인 무관)

• 행동-조건부 관측 결과 예측: Ha & Schmidhuber 2018, arXiv:1803.10122; 고전 기반 POMDP/PSR (H)
• 입증된 스케일 성공은 전부 물리 도메인: DreamerV3 arXiv:2301.04104; Genie 3 (2025-08) (H)

예측 ≠ 이해 (결과는 맞고 과정은 어긋남)

• 집계 상관 r≈0.85~0.90이어도 Asch 동조·Milgram 복종의 과정 메커니즘은 괴리: 2025, arXiv:2504.02234 (H)
• believable ≠ valid (측정 변수가 인간처럼 보이는가이지 행동하는가가 아님): Generative Agents, Park et al. 2023, arXiv:2304.03442 (H)
• 중국어방 (행동을 완벽히 예측해도 이해가 따라오지 않을 수 있음): Searle; SEP Chinese Room (H, 단 논쟁 미해결)

재귀성의 형식적 천장

• Performative Prediction (모델이 자기 분포를 유도, 예측이 표적을 움직임): Perdomo, Hardt et al. 2020, arXiv:2002.06673 (H)
• ρ=1 상전이 (ρ>1이면 PPAD-hard, 약한 피드백에서만 tractable): arXiv:2601.20180 (M, 미검증·2026 ID로 PDF 확인 필수)

층위 비대칭과 steelman

• 낙관 측 steelman (체화·grounded reward로 접지 공급, "원리적 장벽 없음"): Silver & Sutton, "Era of Experience" 2025 (중국어방의 로봇 반론 구현)
• 회의 측 핵 (집단 암묵지는 정의상 명시화 불가 + 사회화 요구): Collins, collective tacit knowledge; Dreyfus

처방의 기호 슬라이스 (검증 가능 부분만)

• 멀티홉·글로벌 집계: MS GraphRAG, arXiv:2404.16130 (H)
• 예외·불변식 형식 검증 게이트 (OWL/SHACL): arXiv:2406.07962 (H)
• 온톨로지는 암묵지를 못 잡고 병목을 제거가 아니라 이동시킴 (Polanyi는 양날): 원 리서치 §6 균형점 (H)