인문학을 학습한 AI는 늑대인간 게임에서 더 잘 추리할까AI 사회추론 탐색 연구 · 개인 프로젝트
7명이 하는 늑대인간 게임에 AI 플레이어를 앉혔습니다. 인문학에서 가져온 네 가지 시선을 준 쪽과 주지 않은 쪽을 같은 판 20개씩으로 비교하고, 말이 그럴듯한지와 실제로 늑대를 찾아냈는지를 따로 셌습니다.
출력 품질 통과 20판 중 10판 → 20판 중 20판인문학 틀을 쓴 쪽 · 1차 실험과 최종 실험 · 각 20판
내 담당평가 판과 행동 지표 설계 · 같은 조건 비교 실험 설계 · 강한 주장을 막는 판정 기준 · 결과 문서화와 재현 절차
7명 · 늑대 2 · 시민 2 · 예언자 · 가드 · 마녀
같은 난수 값과 같은 역할 배치로 판을 세웁니다. 두 쪽이 똑같은 판에서 시작합니다.
AI 플레이어 7명이 밤 행동, 낮 토론, 투표, 처형을 거쳐 승패가 날 때까지 게임을 합니다. 한쪽에만 인문학 틀을 줍니다.
원본 기록에서 마을 승률, 늑대를 처형한 비율, 늑대를 향한 표의 비율, 버틴 날 수를 셉니다. 말 품질은 다른 표에 적습니다.
역할 추리 차이가 미리 정한 +0.10을 넘어야 나아졌다고 쓰기로 했습니다. 못 넘으면 경향으로만 보고합니다.
1차 · 2차 · 최종 실험
1차 실험 20판에서 인문학 틀 쪽이 역할 추리 +0.200으로 크게 앞섰습니다. 그런데 그쪽 AI의 말이 20판 중 10판에서 품질 검사를 통과하지 못했고, 공개용으로 고친 문장이 26개였습니다.
말 품질이 흔들린 상태의 차이는 성능 근거로 쓰지 않았습니다. 2차에서 프롬프트에 금지 규칙을 강하게 넣었더니 5판 시험에서 성적이 떨어져 이 방식은 버렸습니다.
추론 틀은 그대로 두고, 공개 발언을 내보내는 단계에 검사 필터를 따로 붙였습니다. 5판 시험에서 품질 검사를 모두 통과한 뒤 20판으로 늘렸습니다.
최종 20판에서 두 쪽 모두 품질 20/20, 고친 문장 0개였습니다. 인문학 틀 쪽이 네 지표 모두 앞섰지만 차이가 작고, 역할 추리 +0.066은 기준 +0.10에 못 미쳐 탐색적 경향으로 보고했습니다.
같은 판 20개씩 · 품질 20/20 대 20/20
막대 길이는 0.5를 끝으로 잡았습니다. 마을 승률 차이는 20판 중 4판 대 6판이고, 대략 잡은 불확실성 구간이 0을 포함합니다. 효과 크기(차이를 흩어진 정도로 나눈 값)는 역할 추리 약 0.17, 투표 정합성 약 0.08, 버틴 날 수 약 0.23으로 작습니다. 모델은 llama3.1:8b 한 가지이고, 판정에는 이 20판 표만 씁니다.
대표 판 하나를 다시 보기
최종 실험의 58번 판 기록을 공개용으로 정리해 다시 보여 줍니다. 이 판에서 인문학 틀 쪽 마을은 2일 만에 이겼고 처형 2번이 모두 늑대였습니다. 같은 판에서 틀 없는 쪽은 첫 처형은 늑대였지만 이어서 예언자를 처형해 늑대가 이겼습니다.
한 판은 흐름을 설명하는 용도이고, 성능 판단에는 쓰지 않습니다.
데모 열기틀은 숨은 역할이나 정답을 알려 주지 않습니다. 공개된 단서 가운데 어디를 볼지만 정해 줍니다. 각 시선은 기록에서 셀 수 있는 표시로만 연결했고, 사람과 같은 생각을 한다는 증거로 쓰지 않습니다.
발언 사이의 모순, 책임 회피, 과한 확신, 이야기가 무너지는 지점을 봅니다. 세는 것은 모순·회피 표시와 같은 대상 반복 언급입니다. 모델이 사람처럼 모순을 이해했다는 뜻은 아닙니다.
의심이 누구에게서 누구에게로 옮겨 가는지, 동의가 너무 빨리 한쪽으로 쏠리는지 봅니다. 사람의 동조 현상을 재현했다는 뜻은 아닙니다.
어떤 처형, 침묵, 의혹 이동에서 어느 쪽이 이득을 보는지 묻습니다. 세는 것은 늑대에게 유리한 투표 표시입니다. 게임이론의 균형을 구현했다는 뜻은 아닙니다.
바로 확신하기보다 묻고, 판단을 미루고, 단서 뒤에 다시 확인하게 합니다. 세는 것은 질문 수와 미룬 투표입니다. 사람 수준의 심문 능력이라고 주장하지 않습니다.
| 실험 | 인문학 틀 쪽 품질 · 역할 추리 차이 | 판정 |
|---|---|---|
| 1차 · 20판 | 품질 10/20 · 고친 문장 26 · +0.200 | 품질 비용이 커서 성능 근거로 쓰지 않음 |
| 2차 · 5판 | 품질 2/5 · 고친 문장 7 · −0.200 | 금지 규칙 강화 방식 버림 |
| 최종 시험 · 5판 | 품질 5/5 · 고친 문장 0 · +0.100 | 20판으로 늘리기로 함 |
| 최종 · 20판 | 품질 20/20 · 고친 문장 0 · +0.066 | 품질 통과 · 강한 주장은 보류 |
별도로 실제 AI 발언 위에 검사기를 얹은 보조 시험 5판도 돌렸습니다. 품질 검사 항목은 모두 0건이었고 발언 84개가 모두 서로 달랐지만, 늑대가 5판 모두 이겨 성능 근거로는 쓰지 않았습니다.
| 마을 승률 | 마을 쪽이 이긴 판 수 ÷ 전체 판 수 |
| 역할 추리 | 늑대를 처형한 횟수 ÷ 전체 처형 횟수 |
| 투표 정합성 | 늑대를 향한 표 ÷ 전체 표 |
| 버틴 날 수 | 판마다 진행된 날 수의 평균 |
| 출력 품질 통과 | 원본 판의 발언이 검사를 통과한 수. 역할·능력·내부 목표 누설, 형식 깨짐, 한국어 여부 등을 봅니다. |
| 고친 문장 | 공개용 사본에서 안전한 문장으로 바꾼 횟수 |
성능은 원본 기록에서만 계산합니다. 공개용으로 정리한 문장으로 성능을 다시 계산하지 않고, 그럴듯한 대화 기록은 성능 지표로 치지 않습니다.
Xu 등(2023)의 늑대인간 AI 연구에서 문제의식을 이어받았습니다. 원저자의 공개 코드나 구현은 쓰지 않았고, 논문 서술에서 얻은 문제 설정으로 실험대와 데모를 따로 만들었습니다.
선행 연구는 AI에게 어떤 단서를 줄지(지난 대화 찾기, 되돌아보기, 경험에서 나온 제안)에 집중했습니다. 이 작업은 그런 개입이 실제 투표와 처형을 바꿨는지 같은 판에서 반복해 확인하는 장치에 집중했습니다. 원 논문보다 낫다는 주장은 하지 않습니다.
Xu et al., “Exploring Large Language Models for Communication Games: An Empirical Study on Werewolf,” arXiv 2309.04658.
같은 판의 두 기록을 짝지어 어디서 판단이 갈렸는지 보기, 모순·몰아가기·후속 질문에 사람이 직접 표시를 붙여 맞춰 보기, 누가 무엇을 안다고 봤는지 표로 남기기, 선행 연구 방식과 직접 비교하기, 여러 모델과 더 많은 판으로 다시 돌리기를 차례로 이어 갑니다.