Field note · 2026-05-06

Agentic Workflows and Human Capability: Thinking vs. Understanding

공각기동대(Ghost in the Shell)는 1989년 시로 마사무네의 만화에서 시작된 SF 세계관이다. 워쇼스키 자매가 매트릭스를 만들기 전 가장 먼저 참고했다고 밝힌 작품으로, 매트릭스의 직접적인 모티브가 된 애니메이션이다. 이 세계에서 인간은 뇌의 일부 또는 전부를 전자 회로로 대체한다 — 이것이 '전뇌(電腦)'

Agentic Workflows and Human Capability: Thinking vs. Understanding

어디까지가 내 능력인가

공각기동대(Ghost in the Shell)는 1989년 시로 마사무네의 만화에서 시작된 SF 세계관이다. 워쇼스키 자매가 매트릭스를 만들기 전 가장 먼저 참고했다고 밝힌 작품으로, 매트릭스의 직접적인 모티브가 된 애니메이션이다. 이 세계에서 인간은 뇌의 일부 또는 전부를 전자 회로로 대체한다 — 이것이 '전뇌(電腦)'다. 전뇌를 가진 인간은 네트워크에 직접 접속하고, 기억을 저장하고 불러오며, 다른 사람의 전뇌에 접근할 수도 있다. 능력의 확장이지만 동시에 취약점이다. 전뇌는 해킹된다.

가장 무서운 장면은 전투가 아니다. '고스트 해킹(ghost hacking)'이다. 누군가의 전뇌에 침입해 기억을 심거나 지운다. 피해자는 그 기억이 자신의 것임을 의심하지 않는다. 평범하게 살고 있던 사람이 알고 보면 처음부터 없었던 기억을 자신의 경험으로 믿고 살아왔다. 정체성의 근거가 바깥에서 입력된 것이었다는 사실을 본인은 모른다.

주인공 쿠사나기 소령은 육체 대부분이 의체(義體)로 교체된 사이보그다. 그녀가 끊임없이 스스로에게 묻는 것은 이것이다. 내 기억 중 얼마가 진짜이고 얼마가 입력된 것인가. 내가 지금 내리는 판단은 나의 것인가, 아니면 어딘가에서 흘러온 데이터인가. 능력이 확장될수록 "나"의 경계가 흐릿해진다. 어디까지가 나이고, 어디서부터가 시스템인가.

이 질문이 SF의 것이 아니게 됐다.

오늘 전략 기획자가 AI 에이전트로 시장 분석 보고서를 만들었다. 두 시간. 예전이라면 사흘이 걸리던 작업이었다. 그 보고서를 임원에게 브리핑했고, 임원은 사인을 했다. 한 달 뒤 그 전략이 어긋났을 때 누구의 판단이 틀린 것인지 아무도 명확하게 말하지 못했다. EY가 전 세계 15,000명을 조사했더니 88%의 직원이 이미 AI를 쓰고 있었다. 그런데 변혁적 성과를 낸 조직은 28%였다. 도구가 없어서가 아니다. "내가 어디까지 하는 것인지"를 정의하지 않았기 때문이다.

thinking은 자연스럽게 외주화된다

철학자 Clark과 Chalmers는 1998년에 이것을 이론화했다. 외부 시스템이 인지의 일부가 되는 조건은 세 가지다 — 상시 접근 가능하고, 검증 없이 의존 가능하며, 내가 능동적으로 인준할 것. 이 조건이 충족되면 외부 시스템은 뇌의 연장이 된다. 뇌가 기억을 저장하고 인출하듯, 스마트폰의 연락처는 이미 우리 인지의 일부다. 그것을 잃으면 단순히 불편한 것이 아니라 기억 자체를 잃는 것처럼 느껴진다.

LLM은 이 조건을 너무 쉽게 충족한다. 언제나 열려 있고, 대체로 그럴 듯하며, 우리는 그것을 내 생각처럼 쓴다. 그리고 이 통합은 천천히, 아무도 눈치채지 못하는 방식으로 깊어진다. 처음에는 AI가 초안을 쓰고 내가 검토했다. 얼마 후 검토가 형식이 됐다. 다시 얼마 후 AI가 결론을 내리고 내가 승인 버튼을 눌렀다. 각각의 순간에는 별다른 결정이 없었다. 그냥 바빴고, AI가 더 빠르게 맞는 것 같았다. 임계점이 있지 않다. 어느 날 갑자기 경계가 사라진 것이 아니라 처음부터 경계를 긋지 않았던 것이다. 아무 기준 없이 의존이 깊어질수록 비판적 검증 능력은 빠져나간다. 연구자들은 이 상태를 Cognitive Bloating이라 부른다. 확장이 원래의 나를 대체하는 역설이다.

문제는 thinking이 외주화된다는 사실 자체가 아니다. thinking과 understanding을 같은 것으로 착각하는 데 있다.

기억을 꺼낼 수 있다고 해서, 이해한다고 말할 수 있는가

Andrej Karpathy는 LLM Wiki를 만들었다. AI 에이전트가 논문을 읽고, 강의를 정리하고, 구조화된 위키를 작성한다. Karpathy 자신은 그것을 읽는다. 흥미로운 것은 역할의 분리 방식이다. 그는 위키 파일을 거의 직접 수정하지 않는다. 작성은 AI의 영역이다. 그런데 읽는 것은 반드시 자신이 한다. 쓰는 것은 맡겨도, 읽고 이해하는 것은 맡기지 않는다. Tesla와 OpenAI를 거친 AI 연구자가 왜 이 수고를 피하지 않는가.

에이전트 메모리는 정교해졌다. 사건을 타임스탬프와 함께 저장하는 에피소딕 메모리, 개념과 관계를 구조화하는 시맨틱 메모리, 어떻게 하는지를 저장하는 절차적 메모리. 필요한 순간 꺼낼 수 있다. Zep의 Temporal Knowledge Graph는 팩트에 valid_at와 invalid_at 타임스탬프를 붙여 상태 변화까지 추적한다. Mem0는 벡터 유사도와 키워드 검색, 엔티티 매칭을 결합해 정밀도를 높인다. 전뇌처럼 — 기억은 저장되고, 필요할 때 꺼내어진다.

그런데 검색은 이해가 아니다.

어떤 개념을 설명할 수 있다고 해서 이해했다고 말할 수는 없다. 새로운 상황에 적용할 수 있을 때 비로소 이해한 것이다. 이해는 인출(retrieval)이 아니라 구성(construction)이다. 정보들 사이의 관계를 스스로 연결하고, 예상하지 못한 맥락에서 그것을 재배치하는 과정. 공각기동대에서 기억이 심어진 사람이 두려운 이유도 여기 있다. 기억을 '갖고 있는 것'과 그 기억으로부터 진짜로 '이해한 것'이 일치하지 않을 수 있다는 가능성. Karpathy가 AI가 쓴 위키를 직접 읽는 것은 그 간극을 좁히는 행위다. AI는 정보를 정리한다. 이해는 읽는 사람이 만든다. thinking은 위임할 수 있지만 understanding은 위임할 수 없다.

이해하지 못하는 것에 책임질 수 있는가

어디까지가 내 능력인지는 결국 어디까지 내가 이해하고 책임질 수 있는지와 같은 질문이다. Clark & Chalmers는 외부 시스템이 인지와 통합되면 그것이 내 것이 된다고 기술적으로(descriptively) 설명했다. 그런데 이것은 관찰이지 기준이 아니다. 기능적으로 통합되었다는 사실이 그것에 대한 책임을 자동으로 부여하지는 않는다. 그래서 규범적(normative) 질문이 필요하다. 통제 가능성 — 내가 개입하고, 수정하고, 중단시킬 수 있는가. 책임 가능성 — 그 결과에 대한 책임을 내가 수용할 수 있는가. 이 두 조건이 Self Boundary를 구성한다.

그런데 이해하지 못한 것을 통제할 수 있는가.

AI 보고서에 서명만 했다면 서명만 내 것이다. 그 보고서의 논리가 틀렸을 때, 왜 틀렸는지 설명하지 못한다면 그 판단을 내 능력이라 할 수 없다. 반대로 AI가 수백 개의 변수를 처리했더라도 내가 그 시스템의 설계를 결정하고, 결과의 책임을 지겠다고 선택했다면 — 그리고 무엇이 잘못되었을 때 원인을 거슬러 올라갈 수 있다면 — 그 범위가 내 능력이다. 이해가 없으면 개입할 수 없고, 개입할 수 없으면 통제할 수 없으며, 통제하지 못하는 것에 책임질 수 없다.

Dell'Acqua 등의 연구는 이것을 수치로 드러낸다. 758명의 컨설턴트를 대상으로 한 실험에서, AI 역량이 닿는 문제에서는 AI를 쓴 집단이 성과를 40% 높였다. 그런데 AI 역량이 닿지 않는 문제에서는 오히려 19%p 낮은 성과를 냈다. AI를 쓴 사람이 쓰지 않은 사람보다 못한 결과를 낸 것이다. AI가 자신있게 틀린 답을 내놓고, 그것을 이해하지 못한 채 수용했기 때문이다. 능력 있는 사람과 그렇지 않은 사람의 차이는 AI를 쓰느냐가 아니었다. 어느 문제에서 AI가 통하고 어느 문제에서 통하지 않는지를 이해하느냐였다. 이해의 범위가 책임의 범위이고, 그것이 능력의 실체다.

경계를 정한다는 것은 이해를 전제한다

잘 되고 있는 조직들의 공통점은 하나다. "AI가 할 수 있는 것"이 아니라 "AI가 해서는 안 되는 것"을 먼저 정했다. 경계의 안쪽이 아니라 바깥을 먼저 그렸다.

PwC는 에이전트 AI 도입 지침에서 allow/deny 목록 — 에이전트가 취할 수 있는 행동과 취할 수 없는 행동의 명시적 목록 — 을 설계의 출발점으로 제시한다. 이것은 기술 문서가 아니다. 무엇을 AI에게 맡길 수 있고 무엇은 맡길 수 없는지에 대한 판단이다. 싱가포르 IMDA가 2026년 초 발표한 세계 최초의 에이전트 AI 거버넌스 프레임워크는 이것을 "bounding by design"이라 부른다. 에이전트의 도구 접근 권한과 행동 범위를 사전에 제한하고, 실질적 영향을 미치는 행동에는 반드시 인간 승인 체크포인트를 내장한다. 형식적인 HITL이 아니라 판단이 실제로 가능한 지점을 설계에 박아두는 것이다. Eightfold.ai는 이 역할을 전담으로 둔 조직이 에이전트 생산성을 65% 빠르게 확보했다고 보고한다. 어떤 에이전트에 어떤 권한을 줄 것인지, 어디서 인간이 개입해야 하는지를 아는 사람이 있기 때문이다.

이 경계를 정하는 행위 자체가 이해를 전제한다. 어떤 결정에 인간이 개입해야 하는지를 모르면 체크포인트를 설계할 수 없다. AI가 어느 지점에서 틀리는지를 알아야 deny 목록을 만들 수 있다. 이해 없이 경계를 그으면 그것은 규칙이 아니라 직감이고, 직감은 사고가 났을 때 책임의 근거가 되지 않는다. 이해하지 못한 것의 경계는 정할 수 없다.

전뇌가 진짜 내 것이 되는 조건

공각기동대에서 고스트 해킹의 피해자들은 대부분 자신이 해킹되었다는 사실을 모른다. 주입된 기억이 자연스럽고, 그 기억에서 나온 판단이 자신의 것처럼 느껴지기 때문이다. 쿠사나기가 두려워하는 것도 이것이다. 내가 이해했다고 믿는 것이 사실은 입력된 것일 수 있다는 가능성. 이해한다는 감각과 실제로 이해하는 것 사이의 간극.

지금 AI를 쓰는 방식이 이것과 다르지 않을 수 있다. thinking을 AI에게 맡기고, 그 결과물을 검토한 뒤, 이해한 것처럼 느끼는 상태. 그런데 물어보면 설명하지 못한다. 다른 맥락에 적용하지 못한다. 판단의 근거를 재구성하지 못한다. 고스트 해킹의 피해자처럼, 자신의 것이라 믿지만 실제로는 외부에서 온 것이다.

Karpathy가 AI가 쓴 위키를 직접 읽는 이유가 여기 있다. thinking은 AI에게 맡길 수 있다. 이해는 자신이 해야 한다. 이해하지 않으면 판단할 수 없고, 판단하지 않으면 책임질 수 없으며, 책임지지 않는 능력은 능력이 아니다.

전뇌가 진짜 내 것이 되는 조건은 전뇌를 쓴다는 사실이 아니다. 전뇌로 내리는 결정을 내가 이해하는 순간이다. 그 경계를 스스로 정하는 것이, AI 시대에 능력을 정의하는 방식이다.

참고