[paper] Your Brain on ChatGPT: Accumulationof Cognitive Debt when Using an AIAssistant for Essay Writing Task

 

 

Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task

 

링크 : https://arxiv.org/abs/2506.08872

0. 핵심 요약

이 논문은 LLM(ChatGPT)을 사용한 글쓰기가 실제 학습 능력과 인지 활동에 어떤 영향을 미치는지를 EEG(뇌파), NLP 분석, 인간 평가자 및 AI 평가자를 이용하여 측정한 연구

연구진은 참가자를 3개 그룹으로 나누어 측정

- LLM 그룹 : ChatGPT만 사용
- 검색엔진 그룹 : Google 검색만 사용 (LLM 사용 금지)
- Brain-only 그룹 : 어떠한 도구도 사용하지 않음

참가자들은 3회 동안 동일한 방식으로 에세이를 작성했고, 마지막 4회차에는 일부 참가자의 사용 도구를 서로 바꾸어 측정

결과적으로

LLM을 사용할수록 뇌의 연결성이 감소했고
자신이 작성한 글에 대한 기억력과 소유감이 낮아졌으며
글의 내용도 서로 비슷해지는 경향이 나타남

반면 Brain-only 그룹은 가장 높은 인지 활동과 기억력을 보임. 
다만 이미 자신의 지식을 이용해 글을 작성한 사람이 이후 LLM을 사용하는 경우에는 오히려 높은 성과를 보임



1. 기존 문제점

LLM을 사용하면 
- 정말 학습이 이루어지는가?
- 사용자의 뇌는 얼마나 활동하는가?
- 기억은 남는가?
- 자신이 작성했다고 느끼는가?

즉 결과물을 만드는 것과 사람이 학습하는 것은 같은가?




2. 해결 방안
연구진은 단순히 에세이 점수만 비교하지 않고 인지 과정을 다각도로 측정
- 활동 뇌파 측정
- NLP 분석(문체, 표현의 유사도, 주제 다양성)
- 기억력 테스트 (글을 작성한 직후 자신의 문장을 인용할수 있는지, 기억하는지)
- 글의 소유감



3. 결론

3.1 LLM 사용은 뇌 활동을 감소
Brain-only → Search → LLM 순으로 뇌의 연결성이 점점 감소
LLM이 많은 사고 과정을 대신 수행하면서 사용자의 인지 활동이 줄어듬



3.2 LLM 사용은 기억력이 감소
LLM 사용자는 조금 전에 작성한 자신의 글도 제대로 인용하지 못하는 경우가 많았음
정보를 이해했다기보다 생성된 결과를 소비하는 형태

3.3 이미 학습한 사람이 LLM을 쓰는 것은 도움이 됨
처음에는 Brain-only로 글을 쓰던 사람이 이후 LLM을 사용했을 때
높은 뇌 활동 / 높은 기억력 / 높은 점수  유지

LLM이 학습을 대신하는 것은 문제가 되지만, 이미 학습한 사람이 보조 도구로 사용하는 것은 효과적일 수 있음

색깔이 빨간색 선이 많을수록 뇌의 연결성이 강해짐 // LLM을 사용할 경우엔 연결성이 거의 없음(머리를 사용하지 않고 흘려버림)

4. 나의 생각
솔직히 이번 논문은 너무 길어서 gpt로 요약함. (논문 총 216장)
그런데 논문의 결론이 gpt로 글을 요약하고, 작성하지 말라는거임...ㅋ
내 인생 망한듯