인문학을 학습한 AI는
늑대인간 게임에서 더 잘 추리할까

영상으로 먼저 보기

하네스와 마을 진영 스캐폴드가 실제로 어떻게 도는지 시연입니다. 브라우저 인터랙티브 데모는 redacted replay 기반이라 실험 성능 근거가 아니라 설명용입니다.

그럴듯한 대화가 곧 추론은 아니다

LLM NPC는 속으론 판단이 약해도 사회적으로 풍부한 대화를 만들어냅니다. transcript가 멀쩡해 보여도, 정작 자기 증거에 반대로 투표하거나 무고한 대상에 의혹을 몰아준다면 "사회추론을 한다"고 말하기 어렵습니다. 이 간극을 어떻게 반복 가능하게 검증할지가 이 프로젝트의 질문입니다.

늑대인간을 불완전정보 테스트베드로

7인 늑대인간(늑대 2·시민 2·예언자·가드·마녀)은 비대칭 정보·공개 발화·기만·집단 투표를 한 판에 담습니다. 덕분에 "사회적 대화"가 감사 가능한 행동 결과로 바뀝니다 — 누가 의심받았고, 누구에게 투표했고, 처형된 게 진짜 늑대였고, 마을이 이겼는지. 같은 seed·조건에서 baseline과 scaffold arm을 반복 실행해 비교합니다(모델 llama3.1:8b).

인문학을 검증 가능한 4축으로 번역

스캐폴드는 숨은 역할이나 정답을 알려주지 않습니다. 공개 단서에 주의를 구조화하는 네 축입니다. 각 축은 "인간형 인지의 증거"가 아니라 관찰 가능한 proxy로만 연결합니다 — 이 경계가 이 연구의 핵심입니다.

raw 성능과 display 위생을 분리한다

정제된 공개 문구가 원본 성능 근거로 오해되지 않게, 세 계층을 하나의 인상으로 합치지 않습니다. 그럴듯한 transcript는 성능 지표가 아니고, sanitized transcript는 raw 근거가 아니며, 심리학에서 영감받은 스캐폴드는 인간형 인지의 증거가 아닙니다. raw 지표는 원본 run에서만 계산하고, 표시 계층 치환은 성능을 재계산하지 않습니다.

양의 방향, 그러나 작다 (탐색적)

최종 STEP7-M RT2.3 N=20에서 scaffold arm은 모든 지표에서 양의 방향을 보였지만 효과크기가 작고, 역할추론 delta는 사전 정의한 강주장 gate에 도달하지 못했습니다. 그래서 "개선 확정"이 아니라 탐색적 경향으로만 해석합니다.

seed 58 — 설명용, 집계 근거 아님

scaffold arm에서 마을이 2일 만에 승리(역할추론 1.000·투표정합성 0.750·늑대 2회 정확 처형). 같은 seed에서 baseline은 첫 처형은 늑대였지만 이후 예언자를 처형해 늑대 승리로 끝났습니다. 스캐폴드가 한 게임 흐름을 어떻게 바꾸는지 설명하는 데만 씁니다 — 성능 claim은 오직 N=20 표에 근거합니다.

더 정교한 프롬프트가 아니라, 평가 하네스

Xu 등(2023)의 Werewolf LLM 연구에서 문제의식만 이어받았습니다 — 공개 코드나 구현체는 쓰지 않고, 논문 서술에서 얻은 문제 설정으로 하네스와 데모를 독립 구현했습니다. 선행 연구가 "어떤 사고 단서를 줄 것인가"(retrieval·reflection·experience)에 초점을 뒀다면, 이 프로젝트의 보완점은 그 개입이 실제 행동 지표로 이어졌는지를 반복 가능하게 검증하는 장치 — seed 고정 실행·raw 보존·지표 분리·output-quality gate·claim gate입니다.

증명한 것과, 아직 아닌 것

• 탐색적arm당 N=20은 경향·실패 모드 검토용이지 강한 통계 결론 근거가 아닙니다. 역할추론은 사전 gate(+0.10)를 넘지 못했습니다.
• 단일 설정모델 1계열(llama3.1:8b)·게임 설정 1종. 일반화엔 추가 모델·크기·decoding·rule variant 필요.
• proxy역할추론·투표정합성은 감사 가능한 rule-based proxy — 사회추론의 모든 형태를 담지 못합니다. 독립 human annotation·belief-state table은 다음 단계.
• 재현 경계공개 repo엔 완전한 raw archive 미포함(redacted replay만). 공개 결과 점검은 되지만 완전 독립 재현엔 한계.
• clean-room내부자 정보·비공개 데이터 없음. 심리학 용어(scapegoating 등)는 분석 label일 뿐 인간 심리 재현 주장 아님.

공개 아티팩트

용어 해설