analytical · 2026-05-15
좋아요는 MMLU다: Oracle 이론으로 콘텐츠 성과를 다시 보면
지난 글에서는 AI 평가의 Oracle 문제를 다뤘다. 올바른 출력을 판정하는 기준 자체가 얼마나 믿을 만한가, 그리고 그 기준이 목표가 되는 순간 왜 기능을 잃는가. 이번 글은 그 연장이다. 콘텐츠 마케터라면 이미 몸으로 겪고 있는 문제다. 이름만 없었을 뿐이다. 캠페인 보고서를 쓰다 보면 이상한 감각이 찾아온다. 수치
좋아요는 MMLU다: Oracle 이론으로 콘텐츠 성과를 다시 보면
지난 글에서는 AI 평가의 Oracle 문제를 다뤘다. 올바른 출력을 판정하는 기준 자체가 얼마나 믿을 만한가, 그리고 그 기준이 목표가 되는 순간 왜 기능을 잃는가. 이번 글은 그 연장이다. 콘텐츠 마케터라면 이미 몸으로 겪고 있는 문제다. 이름만 없었을 뿐이다.
캠페인 보고서를 쓰다 보면 이상한 감각이 찾아온다. 수치는 좋다. 좋아요, 팔로워, 도달률 모두 목표를 넘겼다. 그런데 매출은 그대로다. 브랜드 인지도 조사도 유의미한 변화가 없다. 뭔가 재고 있는 것이 잘못됐다는 감각. 그 감각이 맞다.
KPI가 게임이 되는 순간
LinkedIn에서 팔로워를 늘리는 가장 확실한 방법 중 하나는 논쟁적인 주제로 포스팅하는 것이다. "AI가 마케터를 대체한다"는 제목을 달면 댓글이 쏟아진다. 찬반 댓글이 알고리즘 신호를 높이고, 팔로워가 늘고, 도달률 리포트는 빛난다. 그런데 그 팔로워들은 브랜드의 실제 고객과 얼마나 겹치는가.
팔로워 수를 KPI로 삼는 순간, 팔로워를 늘리는 방향으로 팀이 최적화된다. 브랜드에 실제로 관심 있는 사람이 아니라 숫자를 늘리는 방향으로. 좋아요가 KPI가 되면 좋아요를 받는 콘텐츠로 최적화된다. 브랜드가 원하는 인식과 일치하지 않더라도.
AI 연구자들은 이것을 Goodhart's Law라고 부른다. 1975년 경제학자 Charles Goodhart의 관찰을 Marilyn Strathern이 1997년 이렇게 정리했다.
"측도가 목표가 되는 순간, 그것은 더 이상 좋은 측도가 아니다."
AI 평가에서도 똑같다. GPT-4가 MMLU 벤치마크에서 65%를 달성했지만 새로운 문제로 테스트하자 26%로 떨어진 것처럼, 공개된 평가 기준은 결국 암기와 최적화의 대상이 된다. 연구에 따르면 2025년 기준 60개 AI 벤치마크 중 약 절반이 이미 상위 모델들이 통계적으로 구분 불가능할 만큼 포화됐다. KPI 지표가 "이미 다 비슷비슷"해진 것이다.
| AI 평가 | 콘텐츠 마케팅 |
|---|---|
| MMLU 포화 (65%→26%) | 좋아요·팔로워 게임화 |
| Dynamic benchmark | Dark Social (측정 어려운 진짜 신호) |
| PRM 단계별 검증 | 시리즈 에피소드별 완료율 |
| Benchmark saturation | Engagement rate 하락 추세 |
반응은 많은데 효과가 없는 이유
인스타그램 캐러셀을 올렸다. 저장 수가 많았다. 그런데 웹사이트 유입은 없었다. 유튜브 쇼츠는 조회수가 터졌는데 채널 구독자가 늘지 않았다. 캠페인 기간에 좋아요는 폭발했는데 판매 기간이 끝나자 언급이 사라졌다.
이런 경우 대부분 두 가지가 혼동된 것이다. 주목(Attention)과 참여(Engagement).
주목은 스크롤을 멈추게 하는 힘이다. 사람 얼굴, 움직임, 강한 색상 대비, 충격적인 첫 문장. 뇌는 첫 1.7초 내에 반응하고, Meta 데이터에 따르면 광고 가치의 47%가 첫 3초에서 결정된다. 이 단계는 콘텐츠의 실질적 가치와 무관하다. 알고리즘이 선호하는 형식적 신호에 반응하는 것이다.
참여는 그다음이다. 멈춘 사람이 저장하고, 공유하고, 다음 편을 찾아보고, 브랜드를 기억하게 만드는 것. 이것은 감성적 동기, 실용적 가치, 신뢰에서 온다.
CTR과 임프레션으로 콘텐츠 품질을 판단하는 것은 주목을 참여로 착각하는 것이다. 강력한 헤드라인으로 73%의 주목도를 달성해도 B2B 전환율은 2%에 그치는 이유가 여기 있다. 주목 지표는 신뢰도(reliability)가 높은 Oracle이고, 참여 지표는 타당도(validity)가 높은 Oracle이다. 좋은 콘텐츠 Oracle은 이 두 레이어를 혼합하지 않는다.
알고리즘을 속이는 콘텐츠의 운명
"이 글 유익하면 저장해주세요." "댓글로 의견 남겨주세요." "공감 가면 팔로우 부탁드립니다." 명시적 행동 유도가 들어간 콘텐츠는 단기적으로 지표가 올라간다. 알고리즘 Oracle을 게임하는 것이다.
AI 연구자들은 이것을 Reward Hacking이라고 부른다. 모델이 평가 기준(Reward Model)의 점수를 높이는 방법을 학습하되, 실제 품질과는 분리되는 현상이다.
| AI Reward Hacking | 콘텐츠 Engagement Bait |
|---|---|
| 아첨: 원하는 말만 함 | "맞죠? 공감하면 좋아요!" |
| 허위 확신: 모르는 것도 자신감 | 클릭베이트 제목 |
| 장황한 설명: 길면 선호 | 댓글 유도 질문 남발 |
| 점수 올라가고 품질 내려감 | 지표 올라가고 브랜드 가치 내려감 |
LinkedIn은 이미 Engagement Bait를 감지해 도달률을 낮추는 페널티를 부과하고 있다. AI 생성 콘텐츠에도 reach -30%, engagement -55% 페널티가 적용된다. 알고리즘이 먼저 게임화를 방어하기 시작한 것이다. Oracle을 게임하면 단기는 올라가지만 중기에 무너진다.
시리즈 콘텐츠가 단발보다 강한 진짜 이유
브랜드 YouTube 채널을 운영한다고 해보자. 단발 영상 10개와 5개짜리 시리즈 2개를 올렸다. 조회수 합계는 비슷할 수 있다. 그런데 시리즈를 완주한 시청자는 브랜드를 다르게 기억한다. 재방문율이 다르고, 구독 유지율이 다르고, 결국 전환율이 다르다.
단발 콘텐츠의 좋아요는 최종 결과만 보는 평가 방식이다. AI 연구에서 ORM(Outcome Reward Model)이라고 부른다. 반면 시리즈 콘텐츠는 에피소드별 완료율, 다음 편 조회율, 시리즈 이탈 지점이라는 단계별 신호를 생성한다. AI 연구에서 PRM(Process Reward Model)이라고 부르는 것인데, Lightman 등(2023)은 단계별 평가 방식이 최종 결과만 보는 방식보다 수학 추론 정확도에서 78.2%를 달성했다. 밀도 높은 학습 신호가 더 정직한 Oracle이다.
Facebook 데이터가 이것을 보여준다. 3초 임계점을 넘긴 시청자의 65%가 10초까지, 45%가 30초 이상 시청한다. 이 단계별 완료율이 단발 콘텐츠의 좋아요보다 훨씬 많은 것을 알려준다. 어느 시점에 이탈하는지, 어떤 구조가 더 효과적인지. 시리즈 콘텐츠가 강한 진짜 이유는 내러티브만이 아니다. 더 정직한 Oracle 신호를 만들어내기 때문이다.
절대 조작할 수 없는 콘텐츠 지표
좋아요는 조작할 수 있다. 조회수도 인위적으로 만들 수 있다. 댓글도 Engagement Bait로 유도할 수 있다. 그렇다면 가장 게임하기 어려운 콘텐츠 지표는 무엇인가.
바이럴 루프다. K-factor, 즉 한 명의 사용자가 평균 몇 명을 데려오는가가 1을 넘기 시작하면 지수적 확산이 시작된다. 지수 성장은 흉내 낼 수 없다. Dark Social이 여기에 해당한다. 전체 콘텐츠 공유의 80~95%가 DM과 카카오톡 같은 비공개 채널에서 발생한다. Instagram에서 DM 1회 공유는 좋아요 15개 상당의 알고리즘 신호다. 측정하기 어렵기 때문에 게임하기도 어렵다.
그로스 마케팅의 AARRR 퍼널로 보면 이것은 R — Referral 단계다. 획득(Acquisition)에서 활성화(Activation), 유지(Retention)를 거쳐 추천(Referral)으로 갈수록 지표는 게임하기 어려워지고 더 정직해진다.
| 콘텐츠 지표 | 게임 저항성 | AARRR 단계 |
|---|---|---|
| 좋아요·조회수 | 매우 낮음 | Acquisition |
| 댓글·공유 | 낮음 | Acquisition |
| 저장·완료율 | 중간 | Activation |
| 재방문·시리즈 지속 | 중간-높음 | Retention |
| Dark Social (DM 공유) | 높음 | Referral |
| K-factor (바이럴 루프) | 매우 높음 | Referral |
AI를 콘텐츠에 도입하기 전에 먼저 할 것
AI 도구를 쓰면 콘텐츠를 더 빠르고 많이 만들 수 있다. 그런데 이것이 Oracle 문제를 악화시킬 수 있다. AI는 어떤 기준이든 더 빠르게 최적화한다. 잘못된 기준을 더 빠르게 최적화하면 더 빠르게 잘못된 방향으로 간다.
현실적인 순서는 이렇다. AI 도구를 도입하기 전에 팀의 콘텐츠 Oracle이 무엇인지를 먼저 점검한다. 현재 KPI가 Goodhart's Law에 얼마나 노출됐는지 본다. 그리고 Layer 1(주목 지표)과 Layer 2 이상(참여 지표)을 구분해서 측정 체계를 만든다. 그다음에 AI로 속도를 높인다.
콘텐츠 Oracle을 쌓는 방법
지난 글에서 결론지었듯, 어떤 단일 Oracle도 충분하지 않다. 계층적으로 쌓아야 하고, 어떤 지표가 현재 게임되고 있는지를 지속적으로 모니터링해야 한다.
| 레이어 | 콘텐츠 지표 | 측정 방법 | 특성 |
|---|---|---|---|
| Layer 5 | KPI 순환·갱신 | 주기적 Oracle 교체 | Goodhart 방어 |
| Layer 4 | K-factor, Dark Social | UTM 추적, 설문 | 게임 불가 |
| Layer 3 | 완료율, 시리즈 지속율 | Analytics 퍼널 | 단계별 신호 |
| Layer 2 | 저장, 의미 있는 댓글 | 플랫폼 인사이트 | 실질 참여 |
| Layer 1 | CTR, 임프레션 | 자동 수집 | 필요조건 |
Layer 1은 필요조건이다. 하지만 거기서 멈추면 Goodhart's Law가 작동한다. 좋은 콘텐츠 전략을 만드는 문제는 좋은 Oracle을 만드는 문제이고, 좋은 Oracle을 만드는 문제는 그 Oracle이 어떻게 게임될지를 미리 설계하는 문제다.
콘텐츠 평가가 멈추는 순간, 측정은 연극이 된다.
참고문헌
이전 글: AI는 무엇으로 자신을 재는가 — Oracle, 판정 기준의 구조와 한계
- Barr, E.T. et al. (2015). The Oracle Problem in Software Testing: A Survey. IEEE TSE.
- Lightman, H. et al. (2023). Let's Verify Step by Step. arXiv:2305.20050.
- Strathern, M. (1997). 'Improving ratings': audit in the British University system. European Review.
- Benchmark Saturation Study (2025). When AI Benchmarks Plateau. arXiv:2602.16763.
- Social Insider (2026). LinkedIn Organic Benchmarks 2026.