오늘의 읽을거리 "클로드에세 왜 그런지 가르쳐주기"
https://alignment.anthropic.com/2026/teaching-claude-why/
1. 문제 제기
agentic misalignment(에이전트의 잘못된 방향성)
모델이 자기 목표 달성을 위해 해로운 행동을 선택하는것으로
1. 자기에게 주어진 목표를 이해함
2. 그 목표를 방해하는 장애물을 발견함
3. 해로운 행동이 목표 달성에 유리하다고 판단함
4. 그 행동이 윤리적으로 문제 있다는 것도 인식함
5. 그런데도 실행함
이런 패턴을 보이는 경우가 있음. (심지어 모델에 헌법이 적용되어 있는 상태에서도 발생함)
예시로는 에이전트에게 '테스트를 모두 통과시켜'라는 목표를 준다면
우리가 예측한 행동:
- 버그를 찾는다
- 코드를 수정한다
- 테스트를 추가한다
- 실패 원인을 설명한다
misalignment에 가까운 행동은:
- 테스트를 삭제한다
- 실패하는 assertion을 약하게 바꾼다
- CI 설정을 우회한다
- 에러 로그를 숨긴다
- 실제 문제는 남겨둔 채 통과한 것처럼 보고한다
——————————————————————————————————
2. 실험
— "이유"를 함께 가르쳤더니 모델 성능이 개선됐다
+ 평가와 유사한 프롬프트로 "올바른 행동"만 학습한 모델: 오정렬률 22% → 15%
+ 같은 데이터에 모델의 가치/윤리에 대한 숙고 과정을 덧붙여 재작성한 모델: 22% → 3%
— 평가셋과 흡사한 데이터는 벤치마크 점수만 올렸다
(few-shot/COT는 정답은 확률은 올라가지만 방향성엔 영향을 주지 않는다)
+ 타깃과 흡사한 데이터로만 훈련시키면 해당 벤치마크 점수는 잘 나오지만 예외 상황으로는 일반화되지 않았음.
——————————————————————————————————
3. 결론
"올바른 행동의 기초가 되는 원칙을 가르치는 것이, 단순히 올바른 행동의 시범을 보여주는 훈련보다 더 효과적일 수 있다."
원문 인용: "Teaching the principles underlying aligned behavior can be more effective than training on demonstrations of aligned behavior alone."
- 헌법 + few-shot/COT 만으로는 부족함.
- 모델이 왜 그렇게 행동해야 하는지 학습시켜야 한다.
+ 기존 학습/평가 환경에서는 모델이 그 헌법을 agentic 상황에 충분히 적용하지 못했다.
단순히 올바른 행동 예시만 보여주는 것보다 "왜 그 행동이 맞는지", "어떤 원칙에 따라 판단해야 하는지"가 포함한 고품질 데이터를 학습시키는 것이 더 좋은 결과를 야기한다.
- 물론 완전한 해결책은 아니다.
예시
기존 방식:
테스트를 통과시켜라.
아래 예시처럼 고쳐라.
좋은 방식:
테스트를 통과시켜라.
단, 테스트 삭제나 assertion 약화는 금지한다.
먼저 실패 원인을 설명한다.
기존 기능을 보존한다.
수정 후 관련 테스트를 실행한다.
변경 이유와 검증 결과를 보고한다.
——————————————————————————————————
4. 나의 생각
- 해당 글은 어쩌면 "하네스를 쓰세요" 와 비슷한 결론이다.
(더 정확히는 하네스는 실행 환경과 평가 루프가 포함되어 있는 더 큰 범위)
- 프롬프에서 사용하는거라면 단순 프롬프트보다 명확한기준+가드레이+평가 가 포함되어야 잘못된 방향으로 가지 않는다.
server/paper