왜 AI 연구를 게임 안에서 했을까?

저희는 AI로 게임을 만든 것이 아니라, AI 제안에 대한 사람의 수용을 측정하는 실험환경을 게임의 형태로 설계하고 검증했습니다.

실제 문제

AI 에이전트가 제안하고 사람이 승인하는 루프는 이제 코드 리뷰, 업무 자동화, 에이전트 운영 등에서 나타납니다. 저희는 AI 제안의 수용과 거부를 반복 가능한 조건에서 기록할 실험환경을 만들고자 했습니다. 여기서 직접 센 것은 신뢰라는 마음 자체가 아니라 제안 수용과 규칙 선택 행동입니다.

AI 제안 수용을 실험으로 관찰한 선행 사례로는 199명이 참여한 과수용 비교실험인 Buçinca et al. (2021)과 모델 예측·설명 노출을 달리한 속임수 탐지 실험인 Lai & Tan (2019)이 있습니다. 이 두 사례는 체계적 문헌 고찰이나 같은 게임기구의 존재 증명이 아닙니다. 이번 프로젝트의 기여는 반복 실패–규칙 수정 과정을 게임으로 구현하고 그 안의 선택을 기록한 데 있습니다.

만든 것

REMAKE DAY는 실패→설명→AI 제안→사람의 승인→규칙 수정→재실행 루프를 가진 추리 게임이며 이 루프에서 정의한 선택·제출·규칙 적용 이벤트를 기록하는 반복 실행 가능한 Human–AI Interaction 실험환경입니다. 이벤트 종류와 측정 상태는 실험환경 설계에 정리했습니다. 내적 판단이나 로그의 완전성까지 검증한 것은 아닙니다.

게임은 이 연구의 실험기구입니다. 반복 플레이를 통해 AI와의 판단 루프에 참여하도록 설계했습니다. 자발적 반복과 몰입의 정도, 다른 실험환경 대비 속도는 측정하지 않았습니다.

실제로 수행한 검증

이 환경으로 두 층의 검증을 실측으로 수행했습니다.

① 시스템 검증: 16GB GPU 예산 안에서 로컬 모델 후보를 5단계 게이트(스키마 통과율·폴백률·지연 p95·동시 상주·루프 완주)로 실측해 Core/NPC 모델 채택을 결정했습니다. → Exp 1

② 행동 관찰: 기존 6판(확정 5·유력 1)에서 적용된 규칙 20건 중 AI 계열은 14건(원숭이손 수락 6·추천 옵션 8, 70%), 직접 작성은 6건(30%)이었습니다. 같은 판의 반복 선택이 포함된 탐색적 집계이며 기구 버전이 섞여 있어 경향을 주장하지 않습니다. 후속 9/16 사례 1판은 별도로 제시합니다. 판수는 고유 참가자 수가 아닙니다. → Exp 2

원칙은 하나입니다: 측정하지 않은 것은 주장하지 않는다.

게임에서 모델과 사람의 선택을 함께 검증하다

새 모델이 나올 때마다 “우리 서비스에 충분한가?”를 판단하는 비용은 계속 커집니다. 저희는 게임이라는 반복 루프를 검증 벤치로 사용해 모델 교체 결정(Core gemma4:12b 채택 기록은 9/14, NPC kanana → gemma4:12b 교체 기록은 9/15)을 하루 단위 실측으로 내렸습니다. 9/17 개발 구성에는 다시 kanana1.5:8b가 기록돼 있습니다. 복귀 결정·적용 시점과 정책 버전은 아직 연결 확인이 필요하므로 이 기록을 현재 구성으로 통일하지 않습니다.

심사용 서빙을 외부 API로 옮길 때도 같은 평가 체계를 사용했고 어댑터·러너를 수정했습니다. 측정한 의미 품질 게이트는 통과했으나 지연 게이트는 1회·3회 반복에서 엇갈렸습니다. 여기서 비열등은 사전 통과선에 따른 운영 판정이며 통계적 비열등성 검정이 아닙니다. 2026-09-17 제출 조합(Core Sonnet 5 · NPC Haiku 4.5)을 확정했고 원숭이손·채점 캘리브레이션·누설 평가는 남아 있습니다. → Exp 1 · A.19

이 게임 환경에서 모델 교체를 하루 단위로 평가하고 사람의 선택도 관찰했습니다.