AI 시스템은 사용자를 성장시키는가

Human-AI System co-evolve 관점에서 본 사용자 성장의 조건

0. 질문을 조금 바꿔야 한다

AI 시스템은 사용자를 성장시키는가.

처음엔 꽤 낙관적인 질문처럼 들린다. 좋은 AI를 쓰면 사람이 더 똑똑해지고, 더 빠르게 배우고, 더 나은 판단을 하게 되는가. 그러나 이 질문에 바로 "그렇다"고 답하면 너무 성급하다. AI는 사용자를 자동으로 성장시키지 않는다. 오히려 잘못 설계된 AI는 사용자의 판단 근육을 약하게 만들 수 있다. 추천을 너무 빨리 주고, 선택지를 너무 빨리 좁히고, 불확실성을 매끄러운 문장으로 지워버리면 사용자는 성장하기보다 의존하게 된다.

그래서 질문을 이렇게 바꿔야 한다.

어떤 구조의 AI 시스템이 사용자의 mental model을 점진적으로 바꾸는가.

이 관점에서 보면 사용자의 성장은 모델 성능의 직접 결과가 아니다. 그것은 Human-AI System 전체가 함께 진화하는 과정의 부산물이자 산출물이다. AI가 사용자를 직접 교육하는 것이 아니라, 시스템이 interaction을 바꾸고, interaction이 사용자의 문제정의 방식과 판단 기준을 바꾸며, 그 변화가 다음 decision을 바꾸는 식이다.

즉 핵심은 AI 단독이 아니라 공진화 루프다.

Oracle
↓
System Evolution
↓
Interaction Evolution
↓
User Mental Model Evolution
↓
Next Decision

용어 각주

• Mental model: 사용자가 문제를 이해하고 판단할 때 머릿속에서 쓰는 개념 지도와 기준.

• Human-AI System co-evolve: 사용자와 AI 시스템이 서로의 행동, 기준, 구조를 바꾸며 함께 진화하는 과정.

• Oracle: 다음 판단을 위해 무엇이 사실에 가까운지 알려주는 검증 원천. 사람, 규칙, KPI, 평가 모델 등이 될 수 있다.

1. 성장은 답을 얻는 것이 아니라 기준이 바뀌는 것이다

AI를 쓰고 나서 사용자가 성장했다면 무엇이 달라져야 할까.

단순히 더 많은 산출물을 만들었다는 것은 성장의 충분한 증거가 아니다. 더 빨리 요약하고, 더 빨리 초안을 쓰고, 더 많은 옵션을 검토했다는 것도 생산성 지표일 뿐이다. 성장은 사용자의 내부 기준이 바뀔 때 일어난다.

예를 들어 사용자가 처음에는 이렇게 묻는다.

이 문서 정리해줘.

몇 번의 협업 이후 질문이 이렇게 바뀐다.

이 문서에서 실제 decision에 영향을 주는 전제, 아직 검증되지 않은 주장, 후속 action으로 분리해줘.
그리고 내가 놓친 반대 관점도 표시해줘.

이 변화는 단순한 프롬프트 숙련이 아니다. 사용자가 문서를 보는 mental model이 바뀐 것이다. "정리"를 정보 압축으로 보던 사람이, 이제는 decision substrate로 보기 시작한다. 무엇을 묻는지가 바뀌면 무엇을 볼 수 있는지도 바뀐다.

따라서 사용자 성장은 다음과 같은 변화로 관찰된다.

성장은 더 똑똑한 답을 받는 순간이 아니라, 더 좋은 질문을 하게 되는 순간에 드러난다.

용어 각주

• Decision substrate: 판단이 만들어지는 바탕 재료. 단순 정보가 아니라 전제, 근거, 위험, 선택지를 포함한다.

• Constraint: 선택이나 실행을 제한하는 조건. 시간, 비용, 정책, 권한, 품질 기준 등이 여기에 속한다.

• Evidence: 주장을 뒷받침하거나 반박할 수 있는 확인 가능한 근거.

2. AI는 직접 사용자를 성장시키지 않는다

Enterprise AI Operating Loop 관점에서 Oracle는 judge가 아니다. Oracle는 다음 decision을 위한 truth source다. Human expert, rule, LLM judge, simulation, KPI, user feedback은 모두 OracleSignal이 될 수 있지만, 그 자체가 성장은 아니다.

Oracle가 하는 일은 사용자를 직접 바꾸는 것이 아니다. Oracle는 system을 바꾼다.

실행 결과에서 telemetry가 나오고, 그 telemetry가 evidence가 되고, evidence가 evaluation을 거쳐 workflow, policy, ontology, prompt, memory 같은 Knowledge Asset을 갱신한다. 이 갱신이 system evolution이다. 그리고 system이 바뀌면 interaction이 바뀐다. UI의 기본값, 에이전트의 질문 방식, 검증 checkpoint, source trace 노출, hand-back 방식이 바뀐다.

사용자가 바뀌는 지점은 바로 여기다.

사용자는 추상적인 AI의 지능을 통해 성장하지 않는다. 바뀐 interaction을 반복적으로 통과하면서 성장한다. 시스템이 매번 source를 보여주면 사용자는 출처를 보는 습관을 갖게 된다. 시스템이 매번 trade-off를 분리하면 사용자는 선택의 비용을 묻기 시작한다. 시스템이 중요한 action 앞에서 permission, policy, state를 확인하면 사용자는 실행을 function call이 아니라 state transition으로 보기 시작한다.

즉 사용자의 성장은 다음 구조를 따른다.

better model
  not enough

better interaction loop
  changes user behavior

repeated changed behavior
  changes user mental model

AI가 사용자를 성장시키는 것이 아니라, 잘 설계된 Human-AI interaction loop가 사용자를 성장시킨다.

용어 각주

• Enterprise AI Operating Loop: AI 사용을 단일 모델이 아니라 의사결정, 상호작용, 실행, 검증, 지식 갱신이 반복되는 운영 루프로 보는 관점.

• Telemetry: 시스템 실행 중 남는 관측 데이터. 로그, 이벤트, 사용 패턴, 성능 지표 등이 포함된다.

• Knowledge Asset: 조직이 재사용할 수 있는 지식 자산. ontology, workflow, policy, prompt, memory, capability catalog 등이 해당한다.

• State transition: 시스템이나 업무 자산의 상태가 실제로 바뀌는 일. 단순 호출보다 책임과 검증이 크다.

3. 성장 루프와 의존 루프는 같은 자리에서 갈라진다

여기서 중요한 점은 성장과 의존이 같은 기술에서 나온다는 것이다.

AI가 사용자의 인지 부담을 줄여주는 것은 좋은 일이다. 문제는 어떤 부담을 줄이느냐다. 단순 반복, 검색, 형식 변환, 초안 작성 부담을 줄이면 사용자는 더 높은 수준의 판단에 에너지를 쓸 수 있다. 그러나 문제정의, 기준 선택, trade-off 검토, 책임 판단까지 시스템이 매끄럽게 대신해버리면 사용자는 성장하지 않는다. 오히려 판단 과정에서 빠져나간다.

성장 루프는 이렇게 생긴다.

AI가 초안을 만든다
→ 사용자가 기준을 검토한다
→ AI가 반례와 trace를 보여준다
→ 사용자가 판단 기준을 정교화한다
→ 시스템이 그 기준을 다음 workflow/policy/memory에 반영한다

의존 루프는 이렇게 생긴다.

AI가 초안을 만든다
→ AI가 추천도 한다
→ AI가 불확실성도 지운다
→ 사용자는 승인만 한다
→ 다음에도 같은 방식으로 맡긴다

둘 다 겉으로는 생산성이 오른다. 그러나 하나는 사용자의 판단 구조를 풍부하게 만들고, 다른 하나는 사용자의 판단 개입을 줄인다.

그래서 AI 시스템 설계에서 가장 위험한 착각은 friction을 모두 제거하는 것이다. 좋은 friction은 성장을 만든다. 나쁜 friction은 피로를 만든다. 성장형 AI 시스템은 사용자를 귀찮게 하지 않으면서도, 중요한 판단 지점에서는 멈춰 세운다.

용어 각주

• 인지 부담: 사용자가 이해, 비교, 판단, 기억을 위해 써야 하는 정신적 에너지.

• Trade-off: 하나를 얻기 위해 다른 것을 일부 포기해야 하는 선택 구조.

• Friction: 흐름을 잠시 늦추는 마찰. 검증, 확인, 재질문처럼 불편하지만 판단 품질을 높일 수 있는 장치도 포함한다.

4. 성장형 AI 시스템의 다섯 가지 조건

4.1. Source trace를 보여준다

사용자가 성장하려면 결과만 보아서는 안 된다. 결과가 어디서 왔는지 볼 수 있어야 한다. source trace는 사용자가 시스템의 판단 재료를 되짚는 통로다.

source trace가 없으면 사용자는 결과를 믿거나 버리는 두 선택지만 갖는다. source trace가 있으면 사용자는 판단을 학습할 수 있다. 어떤 근거가 강하고, 어떤 근거가 약하며, 어떤 근거가 빠졌는지 볼 수 있기 때문이다.

4.2. Semantic trace를 남긴다

출처만으로는 충분하지 않다. 같은 source도 어떤 category, relation, summary frame으로 묶느냐에 따라 전혀 다른 판단 재료가 된다. semantic trace는 시스템이 source를 어떤 의미 구조로 조직했는지 보여준다.

이것이 없으면 semantic bias가 decision bias로 조용히 전파된다. 사용자는 raw data가 아니라 semanticized input 위에서 판단하기 때문이다. 성장형 시스템은 무엇을 봤는가뿐 아니라 어떤 의미 구조로 묶었는가를 드러낸다.

4.3. Option space를 보존한다

AI는 종종 가장 그럴듯한 하나의 답을 먼저 제시한다. 이것은 편리하지만 위험하다. 사용자가 선택지를 보기도 전에 선택 공간이 접힌다. option collapse가 일어난다.

성장형 시스템은 primary option만 보여주지 않는다. secondary option, reviewable option, excluded option을 함께 남긴다. 사용자는 왜 어떤 선택지가 중심이 되었고, 왜 어떤 선택지는 제외되었는지 보면서 판단 기준을 배운다.

4.4. Hand-back을 설계한다

AI가 모든 결정을 끝까지 밀고 가면 사용자는 성장하지 않는다. 중요한 판단 지점에서는 hand-back이 필요하다. 여기서 hand-back은 단순히 사람 승인 필요가 아니다. 사용자가 판단할 수 있도록 decision frame, 근거, 불확실성, trade-off를 돌려주는 것이다.

좋은 hand-back은 사용자를 방해하지 않는다. 오히려 사용자가 자신이 판단해야 할 것을 더 잘 보게 만든다.

4.5. Knowledge Asset을 갱신한다

마지막으로, 좋은 interaction은 일회성으로 사라지면 안 된다. 사용자가 더 좋은 기준을 만들었다면 그것은 prompt 한 줄에만 남아서는 부족하다. ontology, workflow, policy, memory, capability catalog 같은 Knowledge Asset에 반영되어야 한다.

그래야 다음 interaction이 달라진다. 그리고 interaction이 달라져야 사용자 mental model도 반복적으로 달라진다.

용어 각주

• Source trace: 결과가 어떤 원천 자료에서 왔는지 되짚을 수 있게 남기는 추적선.

• Semantic trace: 원천 자료가 어떤 분류, 관계, 요약 프레임으로 재구성되었는지 보여주는 의미 추적선.

• Option space: 현재 고려 가능한 선택지의 전체 범위. 중심 선택지뿐 아니라 보류, 제외, 재검토 선택지도 포함한다.

• Hand-back: AI가 판단을 끝까지 밀고 가지 않고, 사람이 판단할 수 있도록 근거와 선택 구조를 돌려주는 설계.

• Semantic bias: 의미 구조를 만드는 과정에서 특정 해석이 반복적으로 중심이 되는 편향.

5. 사용자의 성장은 측정될 수 있는가

사용자 mental model은 직접 관찰하기 어렵다. 그러나 간접 신호는 측정할 수 있다.

중요한 것은 사용자가 AI 없이 아무것도 못 하게 되는지가 아니라, AI와 함께 일할수록 판단 기준을 더 잘 설명하고, 더 잘 검증하고, 더 잘 수정하게 되는가다.

성장은 output quantity가 아니라 decision quality의 변화로 보아야 한다.

용어 각주

• Request granularity: 사용자의 요청이 얼마나 세밀한 조건과 판단 기준을 포함하는지의 정도.

• Terminology shift: 사용자가 시스템의 개념어를 점점 더 정확하게 이해하고 재사용하게 되는 변화.

• Escalation quality: 사람의 개입이 필요한 지점을 얼마나 적절하게 구분하고 요청하는지의 품질.

• Decision reversibility: 결정을 보류, 되돌림, 재검토할 수 있도록 선택 구조가 열려 있는 정도.

6. 결론: 성장시키는 것은 AI가 아니라 루프다

AI 시스템은 사용자를 성장시키는가.

답은 조건부다.

AI가 답을 대신 내리는 구조라면 사용자는 성장하지 않는다. 더 빨리 의존하게 될 뿐이다. AI가 의미를 너무 빨리 고정하고, 선택지를 접고, 불확실성을 지우고, 실행을 매끄럽게 밀어붙이면 사용자는 판단 과정에서 빠져나간다.

그러나 AI가 source trace와 semantic trace를 보여주고, option space를 보존하고, 중요한 지점에서 hand-back을 설계하고, interaction에서 얻은 학습을 Knowledge Asset으로 갱신한다면 이야기는 달라진다. 그때 사용자는 단순히 AI를 쓰는 사람이 아니라, AI 시스템과 함께 자신의 판단 구조를 갱신하는 사람이 된다.

그래서 더 정확한 결론은 이것이다.

AI는 사용자를 직접 성장시키지 않는다.

잘 설계된 Human-AI Operating Loop가 사용자와 시스템을 함께 성장시킨다.

이 관점에서 사용자 성장은 교육 기능의 부가 효과가 아니다. Enterprise AI 운영 모델의 핵심 성과 지표가 될 수 있다. 시스템이 진화했는데 사용자의 질문, 판단, 검증 방식이 그대로라면 그 시스템은 아직 조직 안에 깊이 들어온 것이 아니다. 반대로 사용자의 mental model이 바뀌고, 그 변화가 다시 system evolution으로 돌아온다면, 그때 우리는 비로소 Human-AI System이 co-evolve하고 있다고 말할 수 있다.

용어 각주

• Human-AI Operating Loop: 사람의 판단과 AI 시스템의 실행, 검증, 학습이 반복적으로 연결되는 운영 루프.

• System evolution: 실행 결과와 평가를 바탕으로 workflow, policy, ontology, memory 같은 시스템 구성요소가 갱신되는 과정.

• Decision quality: 판단의 속도가 아니라 근거, 선택지, 검증 가능성, 책임 구조까지 포함한 판단의 질.

---

1차 출처

내부 원천

• my-knowledge-base/paper/research/2026-07-09-enterprise-ai-operating-loop/2026-07-09_enterprise-ai-operating-loop_prd-v0.2.md

• my-knowledge-base/paper/research/2026-07-09-enterprise-ai-operating-loop/2026-07-09_enterprise-ai-operating-loop_research-map.md

• my-knowledge-base/ontology/explain/concept/enterprise/enterprise-ai-operating-loop/concept__enterprise-ai-operating-loop.md

• my-knowledge-base/ontology/system/semantic/enterprise/enterprise-ai-operating-loop.classes.ttl

• my-knowledge-base/ontology/system/semantic/enterprise/enterprise-ai-operating-loop.abox.ttl

• my-knowledge-base/ontology/system/semantic/workflow-ops/artifact-stream.classes.ttl

• my-knowledge-base/ontology/system/semantic/workflow-ops/artifact-stream.abox.ttl

• my-knowledge-base/ontology/explain/concept/workflow/agentic-workflow/artifact-stream-prov-o-profile.md

• my-knowledge-base/ontology/explain/concept/technical/agent-system/safety/governance/concept__semantic-bias-propagation.md

표준·연구 원천

• NIST AI Risk Management Framework: https://www.nist.gov/itl/ai-risk-management-framework

• Model Context Protocol — Tools: https://modelcontextprotocol.io/specification/2025-06-18/server/tools

• BPMN 2.0.2 Specification: https://www.omg.org/spec/BPMN/2.0.2/

• OpenTelemetry Signals: https://opentelemetry.io/docs/concepts/signals/

• AgentOps: Enabling Observability of LLM Agents: https://arxiv.org/abs/2411.05285

• PROV-O: The PROV Ontology: https://www.w3.org/TR/prov-o/

• RDF 1.1 Concepts and Abstract Syntax: https://www.w3.org/TR/rdf11-concepts/

• OWL 2 Web Ontology Language Document Overview: https://www.w3.org/TR/owl2-overview/

용어 각주

• TBox: ontology에서 개념, 클래스, 관계의 구조를 정의하는 영역.

• ABox: TBox가 정의한 개념 구조에 실제 사례나 인스턴스를 채워 넣는 영역.

• PROV-O: 데이터와 산출물이 어떤 활동, 주체, 원천에서 만들어졌는지 표현하는 provenance ontology.

• RDF/OWL: 지식 그래프와 ontology를 기계가 읽을 수 있게 표현하기 위한 웹 표준.