토큰 맥싱을 권했던 이유, 요즘은 다르게 답한다

1. 토큰 맥싱을 권하는 이유

Agentic Workflow를 잘 모르는 사람에게 나는 토큰을 아끼지 말라고, 차라리 맥싱하라고 권한다. 이유는 단순하다. 생산성이다. 아껴 쓰며 감을 잡는 것보다 충분히 부어보며 체득하는 쪽이 빠르다. 한도를 신경 쓰느라 시도를 줄이면, 정작 배워야 할 실패를 못 겪는다.

그런데 이 말을 반복하다 보면 다음 질문이 따라온다. 그렇게 맥싱해서 대체 무엇에 익숙해지는가. 내 답은 이렇다. AI-Native하게 일한다는 건 결국 개발자처럼 일하는 것이다. 도구를 하나씩 쓰는 단계에서, 업무의 흐름 자체를 개발하고 운영하는 단계로 넘어간다. 토큰 맥싱은 그 전환의 입장료다.

2. 진짜 일은 유지보수와 업데이트, 그리고 데이터 이해다

프로토타입 하나를 만드는 건 이제 누구나 빠르게 한다. 문제는 그다음이다. 만든 걸 계속 돌아가게 하는 일, 바뀌는 요구에 맞춰 업데이트하는 일, 그 안에서 흐르는 데이터가 무엇인지 이해하는 일. 여기서부터가 개발자의 방식이고, AX를 제대로 쓰려면 넘어야 하는 층이다. 개발자가 더 힘들다는 말이 아니다. 이 층을 이해하지 못하면 AI로 만든 것도 오래 못 간다는 말이다.

특히 데이터 이해가 핵심이다. 같은 숫자라도 무엇의 숫자인지, 같은 단어라도 어떤 맥락의 단어인지 모르면, 아무리 좋은 모델도 엉뚱한 답을 확신에 차서 내놓는다. 최근 두 사례가 정확히 이 지점이었다.

3. 사례

두 사례는 서로 다른 질문에 답한다. 온톨로지는 무엇을, 왜를 설명하고, 이상탐지는 언제, 얼마나를 설명한다.

3.1 온톨로지: 무엇을, 왜

같은 부모라도 해석이 갈린다.

대규모 텍스트에서 개념을 뽑아내는 신호 온톨로지의 개념 수를 500%대로 늘렸다. 온톨로지 TTL 하나를 SSOT로 두고 rdflib로 파싱한 뒤, 실제 조회는 Python set 기반 해시 룩업으로 처리했다.

핵심은 구조만으로는 부족하다는 것이다. NaverPay·KakaoPay·TossPay는 결제수단이고, NaverShopping·KakaoShopping·TossShopping은 구매 채널이다. 온톨로지 구조로만 보면 이 여섯 개는 전부 Naver·Kakao·Toss라는 조직·서비스의 subClassOf다. 하지만 부모 클래스 하나로는 아무것도 구분되지 않는다. "페이"로 끝나느냐 "쇼핑"으로 끝나느냐에 따라 완전히 다른 개념으로 이어져야 한다. 부모가 같다고 자식의 해석까지 같아지지 않는다. 이걸 코드로 강제하려면 데이터를 실측으로 이해하고 접미사 규칙을 명시적으로 박아야 한다.

BERT나 임베딩을 쓰지 않은 것도 데이터 이해에서 나온 선택이다. Aho-Corasick 알고리즘은 사전에 등록된 문자열 여러 개를 텍스트 하나에서 선형 시간에 찾는다. 신경망 추론을 한 번도 돌리지 않고. 이름 있는 개체를 찾는 작업에서도 사전 기반 gazetteer는 라벨링된 학습 데이터보다 만들기 쉽고, 지금도 신경망과 나란히 프로덕션에서 쓰인다는 게 Wikidata 기반 gazetteer 연구의 결론이다. 실측으로도 BERT는 LLM 기반 추출보다 20배 가까이 빠르고 수십 배 저렴했다. 해시 룩업은 그보다 더 내려간 비용이다. 개념을 정확히 알고 있으면 무거운 모델이 필요 없는 자리가 많다.

3.2 이상탐지: 언제, 얼마나

기준을 캘린더가 아니라 사건에 맞춘다.

두 번째는 시계열 이상탐지다. 예전에 뉴스·공시 데이터를 다룰 때, 이상치를 캘린더 날짜 기준으로 잡으면 매번 공시 발표 시점에 몰렸다. 그건 이상이 아니라 예정된 이벤트가 만드는 정상 스파이크였다. 그래서 비교 기준을 캘린더가 아니라 공시 발표 시점으로 옮겼다. 같은 이벤트가 반복되는 주기에 기준선을 맞춰야 정상 변동과 진짜 이상이 갈린다.

이번에도 같은 원리를 썼다. 기준을 요일·시간대라는 반복 주기에 맞췄다. 달라진 건 검증 비용이다. Agent가 있으니 이상탐지 알고리즘을 통째로 갈아 끼우는 게 무거운 일이 아니었다. 트레일링 평균, 요일·시간대 매칭, 계절 분해까지 여러 후보를 실측으로 비교하다, 트위터가 자기 인프라에 쓴 Seasonal-Hybrid ESD 논문과 같은 결론에 하루 만에 닿았다. 평균과 표준편차 대신 median/MAD를 쓰면 이상치 하나에 기준선이 끌려가지 않는다는 것. 논문을 먼저 읽고 따라한 게 아니라, 데이터를 여러 방식으로 만져보다 이미 검증된 답에 도달한 거였다.

4. Agent만으로는 불가능하다, 그러나 Agent 없이는 비현실적이다

두 사례에서 정작 답을 낸 건 Agent가 아니었다. median/MAD도, subClassOf 규칙도, 해시 룩업도, 이미 있던 통계와 자료구조와 온톨로지였다. Agent 혼자서는 이런 판단을 정확히 내리지 못한다. 어떤 계절성을 분해할지, 어떤 접미사가 개념을 가르는지는 데이터를 이해한 사람의 몫이다.

그런데 반대도 참이다. Agent가 없었다면 이 모든 걸 하루에 못 했다. 여러 기법을 갈아 끼우며 실측 비교하는 일, 온톨로지의 개념 구조에 실제 사실을 채우는 일, 곧 ABox를 채우는 일, 근거 문헌을 찾아 붙이는 일 전부 Agent가 비용을 확 낮춘 덕에 현실이 됐다. LLM 기반 지식그래프 구축 서베이가 정리하듯, LLM 파이프라인은 사람 개입을 최소화하며 온톨로지의 사실을 채운다.

그래서 정량과 정성이 한 그래프에서 만난다. median/MAD가 잡은 "이상치"는 언제 얼마나의 정량 판정이고, 해시 룩업이 잡은 "결제수단이냐 구매채널이냐"는 무엇을 왜의 정성 분류다. 원래 다른 도구, 다른 파이프라인의 일이었는데 지금은 같은 그래프 위에서 조인된다. 이상치가 잡힌 시점에 실제로 어떤 개념이 몰렸는지를 한 번의 질의로 물을 수 있다. 이게 설명 가능한 그래프 모델링이다. Agent만으로도 안 되고 Agent 없이도 안 되는 자리. 그 사이에서 무엇을 Agent에, 무엇을 알고리즘에, 무엇을 자료구조에 맡길지 고르는 게 지금의 일이다.

5. 그래서 MSO를 다듬는다

이 모든 게 내가 만든 MSO 스킬팩 위에서 돈다. 저장소 여러 개에 흩어진 작업을 work-memory로 잇고, 리서치에서 evidence, 온톨로지, 콘텐츠로 가는 파이프라인을 워크플로로 규정하고, 결정과 사고를 append-only로 쌓는 층이다. 도구를 고르는 게 아니라 업무의 운영체제를 설계하는 일이다.

이번 작업이 그 운영체제의 구멍을 드러냈다. 2번에서 말한 유지보수와 데이터 이해가 여기서 되돌아온다. 온톨로지 신호를 늘려 추출 엔진을 고도화하거나 이상탐지 기준선을 바꾸면, 예전에 내려둔 판단이 조용히 낡는다. "median/MAD로 간다", "해시 룩업이 맞다" 같은 결정이 work-memory에 쌓여 있는데, 엔진이 바뀌면 그중 무엇이 더 이상 안 맞는지가 어디에도 안 적혀 있었다. 다음 세션은 낡은 결정을 멀쩡한 컨텍스트인 척 다시 받는다.

그래서 MSO v0.9.0을 올렸다. 이름은 Work-Memory Release Governance다. work-memory에 상태 축을 더해, 릴리스가 전제를 바꿀 때 어떤 교훈이 더 이상 동작하지 않는지를 저장하는 대신 그래프에서 도출한다. release-note 타입을 새로 뒀고, 아직 성립하면 verified-in, 더 이상 성립하지 않으면 invalidated-by 엣지로 교훈의 유효기간을 기록한다. 상태는 저장하지 않고 쿼리로 뽑고, 롤백은 append-only 이벤트로만 남긴다. 세션이 열릴 때 도는 SessionStart 훅이 현재 릴리스 버전과 무효화된 교훈, 재유효 후보를 컨텍스트로 밀어 넣는다. 낡은 교훈이 새 세션을 오염시키지 않게 막는 게 핵심이다.

6. 마무리

여기서부터는 문헌이 아니라 내 판단이다. 정보경제학자 허버트 사이먼은 1971년에 정보가 풍부한 세계에서는 그 풍요가 주의력의 빈곤을 낳는다고 썼다(Attention Economy). 사이먼은 에이전틱 AI를 말한 적이 없으니, 이 문장을 지금 맥락에 가져다 쓰는 건 내 확장이다.

그래도 이렇게 잇는다. Agent가 만드는 비용을 계속 낮추는 지금, 남는 희소 자원은 계산력이 아니다. 무엇을 채울 가치가 있는지, 지금 Agent와 알고리즘과 자료구조 중 무엇을 써야 하는지, 그리고 그 판단의 재료인 지식이 아직 유효한지를 아는 일이다. 남은 병목은 계산 능력이 아니라 주의력과 지식이다. AI는 점점 더 많은 일을 처리하지만, 무엇에 집중하고 무엇을 근거로 판단할지는 여전히 시스템의 경쟁력을 가른다.