AI 제안 수용 측정을 위한
게임 기반 Human–AI 상호작용
실험환경의 설계 및 검증

Abstract

사람 판 14판(2026-09-18 재집계)에서 적용 규칙 60건의 출처를 집계했다(AI 계열 48·직접 작성 12). 5회차 완주 10판의 회차별 게임 점수를 기록했다. 기존 6판·20건 집계는 병기한다.

Agentic systems increasingly place humans in loops where AI suggests interventions and humans accept, reject, or revise them. However, this reliance is difficult to observe repeatedly under controlled and reproducible conditions.

We introduce REMAKE DAY, a game-based experimental testbed that reproduces an execution–failure–explanation–revision loop. The environment records defined choice, submission, and rule-application events. We report exploratory counts of applied-rule sources (48 of 60 AI-linked across 14 human sessions, 10 of which completed all five rounds) and per-round game-score records. Rationale effects, side-effect recognition, question quality, and understanding change remain unmeasured or require operational definitions.

The game supports repeated execution and behavioral recording for studying human–AI decision making. Independent reproduction of behavioral results and validation of psychological measures remain to be established.

포지셔닝

이 프로젝트가 보여주려는 것은 “AI를 이용해 게임을 만들었다”가 아니다.

AI Agent가 개입하는 반복적 실패–수정 환경을 만들고 그 안에서 사람이 AI의 제안을 수용·거절하고 규칙을 선택했는지를 행동 기록으로 관찰했다.

We built a repeatable game environment that records defined choices about AI-generated interventions; the current behavioral evidence is exploratory.

                    REMAKE DAY

┌──────────────────────────────────────────┐
│ 1. GAME                                  │
│ 실제 플레이 가능한 제품                  │
└──────────────────────────────────────────┘
                    │
                    ▼
┌──────────────────────────────────────────┐
│ 2. EXPERIMENT DASHBOARD                  │
│ Acceptance / Rationale / Understanding   │
│ Side-effect / Question Quality           │
└──────────────────────────────────────────┘
                    │
                    ▼
┌──────────────────────────────────────────┐
│ 3. RESEARCH REPORT                       │
│ Question → Hypothesis → Method           │
│ → Results → Limitations                  │
└──────────────────────────────────────────┘

Contributions

C1 — Experimental Environment. 실패 → 설명 → AI 제안 → Human Approval → 규칙 수정 → 재실행 과정을 반복 가능한 게임환경에서 실행·기록할 수 있도록 구현했다(operationalize).

C2 — Behavioral Measurement. 정의한 선택·제출·규칙 적용을 event-level trace(이벤트별 기록)로 남겼다. AI 계열 규칙과 직접 작성 규칙의 출처를 14판 60건에서 집계했다(기존 6판 20건 병기). explanation exposure(설명 표시 여부)는 향후 Rationale A/B의 조건이며 질문 품질·이해 변화·부작용 인지는 로그 보유만으로 측정 완료라고 하지 않는다.

C3 — Reproducible Evaluation. LLM 판단과 deterministic domain logic(같은 입력에 같은 결과를 내는 게임 규칙)을 분리했다. 반복 실행과 행동 기록을 지원하며 공개한 집계는 명시된 수집 시점·기구 조건의 기록을 기준으로 한다. 독립 재현 묶음과 행동 척도의 타당도는 별도 과제다. → 재현 범위와 한계

미측정 항목

부작용 인지율은 NOT RUN이며 측정 가능성부터 미해결이다. Rationale A/B는 사전등록·미실행이고 질문 품질·이해도 변화는 조작적 정의와 분석이 아직 확정되지 않았다.

현재 상태

이 사이트의 원칙은 하나다. 측정하지 않은 것은 주장하지 않는다. 미측정 항목은 NOT RUN으로 표기하고 표본이 작으면 작다고 쓴다.