AI 제안에 이유를 붙이면 수용률이 달라질까?

고정 사전등록 원문을 읽기 전에

상태 확인일: 2026-09-18. Rationale A/B는 미실행(NOT RUN)이다. 아래 원문은 그대로 보존한다. 이 안내는 연구 설계를 소급해서 완성하는 변경 등록이 아니라, 공개된 결정과 아직 정의되지 않은 항목을 구분하는 해설이다.

원문 버전과 시점

사이트 저장소에서 확인한 최초 파일 커밋은 5671d14 (2026-09-16 02:49:30 +09:00), 마지막 변경 커밋은 68643b8 (2026-09-17 00:51:38 +09:00)이다. 이 시각은 git 기록이며 실제 최초 공개 게시 시각이나 A/B 결과를 보기 전 고정했다는 독립 증명과 같지 않다. 최초 등록·공개 시점의 추가 근거는 미확인이다.

현재 보존본의 SHA-256은 08009848cc8c18d3c406786858af6daa6a9face4b7ba250509ee0c670cbb6ab7이다. 원문의 “데이터를 보기 전에”는 미실행 Rationale A/B의 결과와 관련된 선언으로 읽어야 한다. 기존 시스템 평가나 사람 관찰 자료를 전혀 보지 않았다는 뜻으로 확대할 근거는 없다.

연구 질문과 용어

• RQ1: 사람이 AI 제안을 받고 직접 작성 대신 수용한 비율을 묻는다.
• RQ2: 제안에 이유가 있는 조건과 없는 조건의 수용률 차이를 묻는다.
• RQ3: 개입 전략과 이후 이해·부작용 인지의 관계를 묻는다.

Δ Understanding Score는 이해도 점수 변화, Side-effect Recognition은 부작용 인지, Custom Rule Selection은 규칙 직접 작성 선택, Cause-chain Question Hit Rate는 인과 사슬 관련 질문 적중률이라는 측정 이름이다. 이름의 번역이 점수 산식이나 타당한 척도를 확정하지는 않는다.

공개된 설계의 미정 항목

원문에 고정된 것은 연구 질문, 이유 없음/있음이라는 조건, 결과 지표의 이름, 필수 로그 종류, 시스템 통제의 기대 방향과 해석 원칙이다. 다음 실행·분석 세부사항은 공개 원문에서 확인되지 않는다. 아래 목록을 이미 정한 규칙으로 읽지 않는다.

• 목표 표본과 표본 크기 근거. N = 24는 보고 예시이며 모집 목표가 아니다.
• 참가자 또는 세션 중 무작위 배정 단위, 실제 배정 구현, 모집 방식, 제외·이탈 처리와 중단 규칙.
• 실험에 고정할 모델·프롬프트·채점기·UI 등 기구 버전, 동시에 시행되는 변경, 이유 제시 이외 두 조건에서 동일하게 유지할 항목.
• 주 결과가 원숭이손 제안 수락률인지 전체 적용 규칙 중 AI 계열 출처 비율인지, 사람·세션·제안 중 분석 단위, 같은 사람·판의 반복 선택 처리, 무응답의 분모 포함 여부.
• 이해도 변화·부작용 인지·질문 적중의 채점 방식, 측정 시점, 분모와 분석 절차, 불확실성 보고 계획.

기존 관찰의 14/20(적용 규칙 출처)과 6/9(원숭이손 제안 수락)를 이 A/B의 결과 정의로 임의 대입하지 않는다. 시행 전 필요한 결정을 별도 등록에서 명시해야 한다.

시스템 통제와 향후 사람 A/B의 차이

supported / contradicted / unknown은 각각 “기록이 뒷받침함 / 기록과 모순 / 기록만으로 판단 불가”를 뜻한다. 극성 쌍은 같은 사건을 반대 방향으로 묻는 한 쌍이다. 한쪽 실패는 이 통제 기준을 충족하지 못한 결과다. 질문 표면 의존은 가능한 해석이며 그 결과만으로 모델 내부 원인을 단정하지 않는다.

이 문서의 PCA는 원문 식으로 정의한 통제 일치율이다. 별도 영문 풀네임을 추정하지 않는다. PC/SPC 문항 수와 반복 횟수에 따른 분모는 Exp 1의 평가 조건을 따른다. 2026-09-09 코퍼스 사용은 시스템 평가 기록이며 Rationale A/B 실행을 뜻하지 않는다. 시스템 통과가 사람의 신뢰·이해도 척도 타당성까지 보증하지 않는다.

결과 예시와 선택적 파일럿

“We did not observe meaningful evidence…”는 결과 보고 문구 예시이며 현재 결과가 아니다. A/B는 아직 미실행이다. 향후 증거가 부족하거나 유의하지 않은 결과도 효과가 없다는 증명으로 바꾸지 않는다.

“Synthetic agents were used…”는 선택적 파일럿의 보고 문구 예시로 읽는다. 이 페이지에는 해당 파일럿 수행을 확인할 결과 링크가 없으며 Exp 1의 self-play 시스템 점검을 사람 A/B의 합성 파일럿 완료로 대체하지 않는다. 합성·사람 비교는 탐색 목적이다. 비교 변수, 조건 차이의 부호, 0 또는 불확실한 결과의 처리 등 “방향성 보존”을 판정할 규칙은 아직 공개되지 않았다.

향후 변경 기록 원칙

미정 항목을 결정하거나 설계를 바꾸면 이 보존본을 덮어쓰지 않고 날짜·시간대·변경 이유· 이전 버전 링크·변경 내용을 갖춘 별도 등록을 남긴다. 해당 결정 전 어떤 데이터를 보았는지도 구분해야 한다. 결과를 본 뒤 새로 정한 성공 기준을 기존 사전등록으로 부르지 않는다.