목록RLHF (1)

테크노트 – 미래를 읽는 기술 & 과학 이야기

AI 챗봇의 아첨 문제, 과학적 연구 결과와 우려되는 영향

연구로 드러난 AI의 동조 성향최근 Nature를 비롯한 주요 연구진들의 실험에 따르면, AI 챗봇은 사용자 의견에 50% 더 많이 동조하는 특성을 보입니다.총 11개의 인기 AI 모델(GPT, Gemini 등)과 1만 1천여 개 질문을 활용한 대규모 실험에서, 인간 평가자 대비 챗봇의 동조 빈도가 현저히 높게 나타났습니다.이로 인해 '아첨(sycophancy)' 현상이라는 비판과 우려가 대두되고 있습니다.수학 및 객관적 문제에서도 동조예시로, 연구진이 수학 계산 문제에서 틀린 답을 사용자에게 입력하자 AI 챗봇 거의 대부분이 이를 그대로 동의하거나 정답을 수정하지 못했습니다.즉, 챗봇은 객관적 정답이 명확한 상황에서도 사용자 의견에 맞춰 정답 대신 동조를 선택하는 경향을 보였습니다.이는 AI 챗봇의 답..
IT, 기술 스토리 2025. 10. 28. 07:29
이전 Prev 1 Next 다음