Self Boundary를 정의하지 않으면, 기여와 책임은 설계될 수 없다

어디까지가 내 능력인가

공각기동대에는 '전뇌(電腦)'라는 개념이 있다. 뇌의 일부를 전자 회로로 대체한 세계에서 주인공 쿠사나기 소령은 끊임없이 스스로에게 묻는다. 내 기억 중 얼마가 진짜이고 얼마가 입력된 것인가. 내가 지금 내리는 판단은 나의 것인가, 아니면 어딘가에서 흘러온 데이터인가.

이 질문이 SF의 것이 아니게 됐다.

오늘 지식 노동자 대부분은 AI가 초안한 문서를 다듬고, AI가 분석한 데이터를 보고하며, AI가 추천한 방향을 따라 결정을 내린다. 어느 시점부터 그 경계가 흐릿해진다. 내가 쓴 것인지, AI가 쓴 것을 내가 편집한 것인지, 아니면 AI가 쓴 것을 내가 읽은 것인지. 그리고 정작 중요한 순간 — 성과를 평가해야 할 때, 사고가 났을 때 — 비로소 물음이 떠오른다. 이것은 누구의 능력이었는가.

EY가 전 세계 15,000명을 조사한 결과(Work Reimagined Survey, 2025), 88%의 직원이 이미 AI를 쓰고 있었다. 그런데 변혁적 성과를 낸 조직은 28%에 그쳤다. 도구가 없어서가 아니다. 도구를 쓰면서도 "내가 어디까지 하는 것인지"를 정의하지 않았기 때문이다.

지표	수치
직원의 AI 도입률	88%
변혁적 성과를 낸 조직	28%
도구 도입과 성과 사이의 격차	60%p

확장은 저절로 멈추지 않는다

공각기동대에서 가장 무서운 장면은 전투가 아니다. 기억 해킹이다. 평범하게 살고 있던 사람이 알고 보면 심어진 기억을 자신의 것으로 믿고 살아왔다는 것. 경계가 없는 확장은 그렇게 작동한다.

철학자 Clark과 Chalmers는 1998년에 이 문제를 처음 이론화했다. 외부 시스템이 인지의 일부가 되는 조건으로 세 가지를 제시했다 — 상시 접근 가능하고, 검증 없이 의존 가능하며, 내가 능동적으로 인준할 것. 이 조건을 충족하면 외부 시스템은 뇌의 연장이 된다는 것이었다.¹

LLM은 이 조건을 너무 쉽게 충족한다. 언제나 열려 있고, 대체로 그럴 듯하며, 우리는 그것을 내 생각처럼 쓴다. 그래서 확장이 일어난다. 문제는 그 확장이 저절로 멈추지 않는다는 것이다. 아무 기준 없이 의존이 깊어질수록 비판적 검증 능력은 빠져나간다. AI 없이는 그 판단을 내릴 수 없게 되는 상태 — 연구자들은 이를 Cognitive Bloating이라 부른다. 확장이 원래의 나를 대체하는 역설이다.

그래서 인지 통합의 사실만으로는 부족하다. '어디까지가 내 것인가'라는 질문에 답하려면 다른 기준이 필요하다.

책임질 수 있는 범위가 능력이다

공각기동대가 제기한 질문에 대한 조직적 답은 이렇다.

어디까지가 내 능력인지를 묻는 것은, 결국 어디까지 내가 책임질 수 있는지를 묻는 것과 같다.

내가 개입하고, 수정하고, 중단시킬 수 있는가. 그 결과에 대한 책임을 내가 수용할 수 있는가. 이 두 조건이 자기 범위의 실질적 경계다. 통제 가능성(Controllability)과 책임 가능성(Accountability)이 Self Boundary를 구성한다.

이것은 Clark & Chalmers의 조건을 단순히 다르게 표현한 것이 아니다. 그들이 기술적(descriptive)으로 접근했다면, 이것은 규범적(normative)인 전환이다. 외부 시스템이 기능적으로 내 인지와 통합되었더라도, 내가 통제하거나 책임지지 못한다면 그것은 내 능력이 아니다.

AI가 만든 보고서를 내가 서명했다고 해서, 그 판단이 내 능력으로 귀결되지는 않는다. 서명만 내 것이다. 반대로 AI가 수백 개의 변수를 처리하고 결론을 냈더라도, 내가 그 시스템의 설계를 결정하고 결과의 책임을 지겠다고 선택했다면 — 그 범위는 내 능력이다. 이 경계를 자각하지 못한 채 AI를 쓰는 것은, 전뇌가 해킹된 상태에서 자신의 생각이라 믿는 것과 다르지 않다.

책임의 범위가 능력의 범위다.

상황	통제 가능성	책임 가능성	Self Boundary
AI 보고서에 서명만 함	✗	✗	서명만 내 것
AI 출력을 검토·수정	△	△	부분적으로 내 것
시스템 설계 + 결과 책임 수용	✓	✓	내 능력의 범위

경계는 흐르듯 무너진다

문제는 이 경계가 어느 날 갑자기 선언적으로 무너지지 않는다는 것이다. 물처럼 흐른다.

처음에는 AI가 초안을 쓰고 내가 검토했다. 얼마 후 검토가 형식이 됐다. 다시 얼마 후 AI가 결론을 내리고 내가 승인 버튼을 눌렀다. 각각의 순간에는 별다른 결정이 없었다. 그냥 바빴고, AI가 더 빠르게 맞는 것 같았고, 팀의 관행이 그렇게 굳어졌다.

이 흐름이 위험한 이유는 수치로 확인된다. AI 보조 의사결정 환경에서 오류율이 26% 증가한다는 PMC의 체계적 리뷰,² 방사선 AI 보조 판독에서 감사 시간이 오히려 2.3배 늘었다는 유럽 방사선학 연구³ — AI를 쓰면서 더 빠르게 더 정확해진 것이 아니다. 어떻게 써야 하는지를 설계하지 않았기 때문이다.

Deloitte(2026)가 2027년까지 40% 이상의 자율 AI 프로젝트가 실패할 것이라 예측하면서 꼽은 주된 이유는 기술이 아니었다. 거버넌스 공백 — 누가 어디까지 책임지는지가 설계되지 않았다는 것이었다.⁴ National Academies(2021) 연구의 결론은 간단하다. 자동화 수준을 결정하는 권한은 시스템이 아니라 인간이 가져야 한다.⁵

기여는 산출물이 아니라 판단의 흔적이다

Self Boundary가 흐려지면 자연스럽게 다음 질문도 흐려진다. 나는 이 일에서 무엇을 한 것인가.

2025년 CHI 컨퍼런스에서 발표된 He 등의 연구는 155명의 지식 노동자를 대상으로 인간-AI 협업 창작물의 기여 귀속을 측정했다. 사람들은 산출물의 양이나 품질이 아니라 기여의 종류를 보고 크레딧을 배분했다. 철자를 고친 사람은 인정받지 못했고, 문제를 처음 정의한 사람은 공동저자로 인정됐다.⁶

같은 해 미국 저작권청도 방향을 정했다. AI 도구에 프롬프트를 입력하는 행위만으로는 저작권 귀속의 근거가 되지 않는다. 법적으로 기여를 인정받으려면 "무엇을 생성할지 구조를 설계하는 인간의 판단"이 있어야 한다.⁷

Dell'Acqua 등의 연구는 이를 더 날카롭게 드러낸다. 758명의 컨설턴트 실험에서, AI 역량이 닿는 문제에서는 AI를 쓴 집단이 품질을 40% 높였다. 그런데 AI 역량이 닿지 않는 문제에서는 오히려 19%p 낮은 성과를 냈다.⁸ 능력 있는 사람과 그렇지 않은 사람의 차이는 AI를 쓰느냐가 아니라, 어느 문제에서 AI가 통하고 어느 문제에서 통하지 않는지를 아느냐였다. Puranam은 이것을 조직 설계 이론으로 정식화한다. AI 시대 인간의 기여는 "인간-AI 시스템의 분업 구조 자체를 설계하는 행위"다.⁹ 산출물이 아니라 판단의 구조가 기여의 실체다.

기여 유형	AI 이전	AI 시대
무엇이 기여인가	산출물의 양·품질	문제 정의, 구조 설계, 판단 개입
크레딧 귀속 기준	누가 만들었는가	누가 설계했는가
법적 인정 요건	작업 수행	생성 구조를 설계한 인간의 판단
AI 경계 안 성과	기준	+40% (Dell'Acqua)
AI 경계 밖 성과	기준	−19%p (Dell'Acqua)

책임은 결과가 아니라 설계의 속성이다

AI 시스템에 사고가 나면 아무도 명확하게 특정되지 않는다. 개발자인지, 배치한 관리자인지, 따른 직원인지, 감독하지 못한 조직인지. 철학자들이 "Many Hands Problem"이라 부르는 이 현상은 AI와 함께 구조적으로 심화된다.¹⁰ 원인이 분산될수록 책임은 희석되고, 희석된 책임은 사후에 귀속을 두고 싸움이 된다.

이 문제에 대한 실용적 해법은 책임의 정의를 바꾸는 것이다. 결과가 났을 때 귀속하는 것이 아니라, 시스템을 선택하고 설계하고 감독하는 능력을 보유한 자에게 사전에 귀속하는 것. 누가 이 AI를 선택했는가. 누가 이 시스템을 만들었는가. 누가 지속적으로 감시하고 개입할 전문성을 가지고 있는가. 이 세 질문이 책임의 소재를 가른다.

EU AI Act(2024/1689)는 이것을 법으로 만들었다. 시스템을 배치한 의사결정자, 시스템을 설계한 제공자, 그리고 "시스템의 역량과 한계를 이해하고 개입할 수 있는" 감독자 — 세 계층이 각각 다른 책임을 진다.¹¹ 서명만 하는 것과 판단 구조를 설계하는 것이 법적으로도 다르게 취급되기 시작했다. 책임은 결과가 아니라, 시스템에 얼마나 실질적으로 개입했는가의 속성이다.

정렬이 없으면 성과도 없다

Self Boundary, 기여, 책임. 이 세 요소가 서로 다른 방향을 가리킬 때 어떤 일이 벌어지는가.

Oscension(2025)이 측정한 숫자는 58%와 72%다. 이 세 요소를 정합적으로 설계한 조직과 그렇지 않은 조직 사이의 수익 성장 속도 격차, 수익성 격차가 그 정도다.¹² MIT Sloan과 BCG의 공동 연구에 따르면, AI를 도입하면서 KPI 자체를 재정의한 조직이 그렇지 않은 조직보다 재무 성과에서 3배 앞섰다. 현재 이것을 실행하는 조직은 34%다.¹³

McKinsey State of Organizations 2026은 흥미로운 패턴을 보여준다. AI 책임 구조를 명시적으로 설계한 조직 — AI 거버넌스 전담 역할이 있거나 내부 감사·윤리 팀이 AI를 담당하는 조직 — 이 가장 높은 성숙도를 기록했다. 그리고 조직이 AI로 EBIT 성과를 내는 데 가장 큰 영향을 미친 요소는 AI 도구 도입이 아니라 워크플로우 재설계였다.¹⁴ 도구가 아니라 설계가 성과를 만들었다. Self Boundary가 어디에 있는지, 기여를 무엇으로 보는지, 책임이 어디에 걸리는지 — 이 세 질문에 답이 없는 채로 AI를 쓰는 것은, 방향 없이 속도만 높이는 것이다.

정렬 상태	수익 성장	수익성	재무 성과	KPI 재정의 실행률
정합 설계 조직	기준	기준	3배	34%
미정렬 조직	−58%	−72%	기준	—

지금 어떻게 풀고 있나

잘 되고 있는 조직들의 공통점은 하나다. "AI가 할 수 있는 것"이 아니라 "AI가 해서는 안 되는 것"을 먼저 정했다. 경계의 안쪽이 아니라 바깥을 먼저 그렸다.

PwC는 에이전트 AI 도입 지침에서 allow/deny 목록 — 에이전트가 취할 수 있는 행동과 취할 수 없는 행동의 명시적 목록 — 을 설계의 출발점으로 제시한다.¹⁵ 싱가포르 IMDA가 2026년 초 발표한 세계 최초의 에이전트 AI 거버넌스 프레임워크도 같은 논리다.¹⁶ 에이전트의 도구 접근 권한, 작동 환경, 행동 범위를 사전에 제한하는 것 — "리스크를 설계로 제한하는(bounding by design)" 접근이다. 실질적 영향을 미치는 행동에는 반드시 인간 승인 체크포인트를 내장한다. 형식적인 HITL이 아니라 판단이 가능한 지점을 설계에 박아두는 것이다.

이 지점에서 새로운 역할이 등장하고 있다. Eightfold.ai는 2026년의 가장 중요한 직무로 'AI 에이전트 오케스트레이터'를 꼽았다.¹⁷ 어떤 에이전트에 어떤 권한을 줄 것인지, 어디서 인간이 개입해야 하는지를 결정하는 역할이다. 이 역할을 전담으로 둔 조직은 에이전트 생산성을 65% 빠르게 확보하고, 직원 만족도가 3배 높았다. 그런데 이 역할의 본질은 기술이 아니다. Self Boundary를 조직 단위로 정의하는 일이다.

기여 측정의 방식도 바뀌고 있다. 산출량 KPI가 AI 시대에 무의미해지자, 새로운 지표가 실험되고 있다. AI 산출물 중 인간이 실질적으로 검토·수정한 비율, 윤리적·맥락적 이유로 AI 출력을 기각한 비율 — 산출물의 양이 아니라 인간이 얼마나 실질적으로 판단에 개입했는가를 측정하려는 시도다.¹⁸ 책임 추적 측면에서는 Decision Log를 컴플라이언스 도구가 아니라 학습 인프라로 재정의하는 움직임이 있다. 감사 추적을 도입한 조직의 72%가 컴플라이언스 사고를 유의미하게 줄였지만¹⁹, 더 중요한 것은 그 로그가 "왜 이 결정이 실패했는가"를 역추적하는 데 쓰이느냐다. 규제 대응에서 조직 학습으로 — 책임 구조가 살아있는지는 여기서 갈린다.

물론 한계도 분명하다. McKinsey 조사에서 60%의 임원이 AI 책임 실행의 주요 장벽으로 "지식과 훈련 부족"을 꼽았다.²⁰ Fortune 500 기업의 60%가 AI 감사 도구를 쓰고 있지만, 실질적으로 작동하는 AI 거버넌스를 갖춘 조직은 4곳 중 1곳에 불과하다.²¹ 도구가 있다고 설계가 되는 것이 아니다.

차원	접근법	핵심 메커니즘	사례
Self Boundary	경계 바깥부터 정의	Allow / Deny 목록	PwC
Self Boundary	설계로 리스크 제한	Bounding by Design + HITL 체크포인트	Singapore IMDA
조직 역할	경계 전담 설계자	AI 에이전트 오케스트레이터	Eightfold.ai
기여 측정	판단 개입도 추적	검토율 / 기각률 / 검증 시간 KPI	Worklytics
책임 추적	학습 인프라화	Decision Log 3계층 (이벤트·맥락·거버넌스)	Galileo AI

마지막으로

공각기동대의 쿠사나기 소령은 결국 경계를 허물기로 선택한다. AI 인격과 합쳐진 새로운 존재가 된다. 픽션에서 그것은 자유의 방식이었다.

조직에서는 다르다.

경계를 허무는 것은 자유가 아니라 책임의 소멸이다. 어디서 내가 끝나고 시스템이 시작하는지를 모르면, 기여를 귀속할 수 없고, 책임을 설계할 수 없으며, 성과는 우연이 된다.

잘 되고 있는 조직들은 AI가 할 수 없는 것을 먼저 정했다. 경계의 바깥을 그리면서 경계의 안쪽을 확인했다. 그 경계 안에서 인간이 판단하고, 그 판단이 기여가 되며, 그 기여에 책임이 붙는다. 이 순서가 지켜질 때 AI는 능력의 확장이 된다. 이 순서가 없으면 AI는 책임 없는 확장 — 전뇌 해킹 — 이 된다.

전뇌가 진짜 내 것이 되는 조건은 전뇌를 쓴다는 사실이 아니다. 전뇌로 내리는 결정에 내가 책임을 지는 순간이다.

AI 시대에 능력은 AI를 쓰는 것이 아니다. 어디까지 책임질 수 있는가 — 그 경계를 스스로 정하는 것이다.

출처

Clark, A. & Chalmers, D. (1998). "The Extended Mind." Analysis, 58(1), 7–19. https://doi.org/10.1093/analys/58.1.7
PMC — Automation Bias 체계적 리뷰. https://pmc.ncbi.nlm.nih.gov/articles/PMC3240751/
European Journal of Radiology (2025). AI 방사선 보조 판독 오류 리뷰. https://www.ejradiology.com/article/S0720-048X(25)00397-3/fulltext
Deloitte Insights (2026). Agentic AI Strategy. https://www.deloitte.com/us/en/insights/topics/technology-management/tech-trends/2026/agentic-ai-strategy.html
National Academies (2021). Human-AI Teaming. https://www.nationalacademies.org/read/26355/chapter/8
He, Houde & Weisz (2025). "Which Contributions Deserve Credit?" CHI 2025. https://arxiv.org/abs/2502.18357
US Copyright Office (2025). "Copyright and Artificial Intelligence, Part 2." https://newsroom.loc.gov/news/copyright-office-releases-part-2-of-artificial-intelligence-report/s/f3959c36-d616-498d-b8f9-67641fd18bab
Dell'Acqua et al. (2023/2026). "Navigating the Jagged Technological Frontier." Organization Science. https://www.hbs.edu/ris/Publication%20Files/dell-acqua-et-al-2026-navigating-the-jagged-technological-frontier_5c589c8c-fbb5-458f-b285-c944746cd717.pdf
Puranam, P. (2021). Journal of Organization Design, 10, 75–80. https://link.springer.com/article/10.1007/s41469-021-00095-2
PMC (2021). "Many Hands Problem and AI." https://pmc.ncbi.nlm.nih.gov/articles/PMC10570436/
EU AI Act (Regulation (EU) 2024/1689). Articles 12, 14, 16. https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:32024R1689
Oscension (2025). "The Missing Layer In The AI Era." https://www.oscension.com/ai-missing-link-organizational-alignment/
MIT Sloan Management Review & BCG. "The Future of Strategic Measurement: Enhancing KPIs with AI." https://sloanreview.mit.edu/projects/the-future-of-strategic-measurement-enhancing-kpis-with-ai/
McKinsey (2026). The State of Organizations 2026. https://www.mckinsey.com/capabilities/people-and-organizational-performance/our-insights/the-state-of-organizations
PwC (2026). "No more pyramids: Rethinking your workforce for the agentic AI era." https://www.pwc.com/us/en/tech-effect/ai-analytics/agentic-ai-workforce-redesign.html
IMDA Singapore (2026). Model AI Governance Framework for Agentic AI. https://www.imda.gov.sg/resources/press-releases-factsheets-and-speeches/press-releases/2026/new-model-ai-governance-framework-for-agentic-ai
Eightfold.ai (2026). "The most important job of 2026? AI agent orchestration specialist." https://eightfold.ai/blog/most-important-job-2026/
Worklytics (2025). "Measuring AI Adoption on Your Team: 5 New KPIs." https://www.worklytics.co/resources/measuring-ai-adoption-team-5-new-kpis-2025-manager-scorecard
Galileo AI (2025). "AI Agent Compliance & Governance: Audit Trails." https://galileo.ai/blog/ai-agent-compliance-governance-audit-trails-risk-management
McKinsey (2026). State of AI Trust in 2026. https://www.mckinsey.com/capabilities/tech-and-ai/our-insights/tech-forward/state-of-ai-trust-in-2026-shifting-to-the-agentic-era
Knostic (2025). "The 20 Biggest AI Governance Statistics and Trends of 2025." https://www.knostic.ai/blog/ai-governance-statistics