한 번쯤 이런 경험 있으시죠. ChatGPT에 뭘 물어봤는데 자신감 넘치게 답하길래 그대로 믿고 썼는데, 나중에 확인해보니 틀린 정보였던 경우. 저는 이걸로 회사에서 망신당한 적이 있습니다. 거래처에 보낼 이메일 쓰면서 “A기업의 최근 매출 실적”을 AI한테 물어봤거든요. 친절하게 숫자까지 써줘서 그대로 넣어보냈는데, 알고 보니 그 숫자가 전부 AI가 지어낸 거였어요. 다행히 담당자분이 “매출 수치가 저희 쪽 자료랑 다른데요?”라고 확인 메일을 줘서 바로잡을 수 있었지만, 그 날 이후로 AI 답변을 무조건 믿지 않게 됐습니다.
이걸 전문 용어로 **환각(Hallucination)**이라고 합니다. AI가 그럴듯하게 만든 거짓 정보를 진짜인 것처럼 말하는 현상이에요. 오늘은 이 환각에 당하지 않는 5가지 습관을 정리해보겠습니다.
왜 AI는 거짓말을 할까
사실 AI는 “거짓말”을 하려는 의도가 없습니다. AI는 질문에 대해 “가장 그럴듯한 다음 단어”를 계속 이어가는 방식으로 답을 만듭니다. 진실이 무엇인지를 판단하는 게 아니라, 언어 패턴 상 자연스러운 답변을 출력하는 거예요. 그래서 학습하지 않은 주제에 대해 물어보면, 학습한 패턴을 참고해서 “그럴듯한 답변”을 만들어냅니다. 이게 우연히 맞으면 좋은데, 틀리면 환각이 되는 거죠.
환각이 자주 일어나는 영역
- 최신 정보: AI의 학습 시점(cutoff) 이후 뉴스, 가격, 인사 정보
- 구체적 숫자: 매출, 인구, 날짜, 거리, 점수 같은 정확한 수치
- 인용문: “누가 이런 말을 했다”류의 인용
- 사람 이름과 이력: 특히 덜 유명한 인물
- 법률 조항, 논문, 책 제목: 없는 걸 있는 것처럼 만들어내는 경우가 많음
- URL·링크: 실제로 존재하지 않는 주소를 만들어냄
환각 걸러내는 5가지 습관
1. 정확한 수치가 나오면 무조건 의심한다
“2024년 한국 자동차 판매량은 1,640만 대였습니다”처럼 구체적인 숫자가 나오면, 무조건 출처 확인 모드로 전환하세요. 저는 습관적으로 “출처도 알려줘”를 추가로 물어봅니다. AI가 링크를 주면 그 링크가 실제로 존재하는지 꼭 확인해야 합니다. 없는 링크를 만들어주는 경우가 정말 많아요.
2. 최신 정보는 AI한테 안 묻는다
“오늘 환율”, “이번 달 대통령 지지율”, “최근 개봉한 영화” 같은 건 AI보다 검색 엔진이 낫습니다. AI의 학습 데이터가 보통 6개월~1년 전 기준이기 때문이에요. 웹 검색 기능이 달린 ChatGPT나 Perplexity 같은 걸 쓰더라도, 반드시 원본 링크를 한번 눌러서 확인하세요.
3. “~를 인용해서” 요청을 피한다
“간디 명언 한 마디 인용해줘” 같은 요청은 위험합니다. AI가 간디가 하지 않은 말을 간디 이름으로 지어낼 가능성이 높아요. 정말 그분이 한 말을 찾고 싶다면, 브레이니쿼트(BrainyQuote) 같은 명언 전문 사이트에서 직접 찾는 게 안전합니다.
4. 법·의학·금융 정보는 전문가 검증이 필수
“이 계약서 조항이 법적으로 유효한가요?” “이 증상이면 무슨 병인가요?” “이 주식 지금 사도 되나요?” 이런 질문에 AI가 하는 답을 그대로 믿고 행동하면 큰일납니다. AI는 참고만 하고, 최종 판단은 변호사, 의사, 금융전문가와 상담하세요. AI 본인도 대부분 답변 끝에 “전문가 상담을 권합니다”라고 쓰는데, 그게 괜히 있는 게 아닙니다.
5. “모른다”는 답을 끌어내는 프롬프트
AI한테 그냥 물으면 거의 항상 뭔가 답을 합니다. 모르는 것도 모른다고 안 하고 그럴듯하게 지어내요. 그래서 저는 질문 앞뒤에 이런 문구를 넣는 습관을 들였습니다.
“확실하지 않은 부분은 ‘확실하지 않음’이라고 명시해줘.” “답을 모르면 모른다고 답해줘. 추측으로 답하지 말아줘.” “사실 기반으로만 답해주고, 출처가 불명확하면 말해줘.”
이 한 줄 추가하는 것만으로도 환각이 꽤 줄어듭니다.
한 번 더 깨달은 계기
최근에 AI가 논문을 인용하길래 그 논문을 찾아보려 했는데, 그 논문이 실제로는 존재하지 않았습니다. 저자 이름도, 저널 이름도, 발행 연도도 다 그럴듯하게 만들어냈는데, 실제로는 없는 논문이었어요. 학계에서는 이게 큰 문제라서 최근엔 AI로 작성한 논문에 가짜 참고문헌이 들어가는 사례가 자주 발생해, 저널 편집자들이 AI 사용 여부를 엄격히 검증하기 시작했다고 합니다.
이걸 겪고 나서는 AI가 논문을 인용하면, 구글 스칼라(scholar.google.com)에서 그 논문 제목을 복사해서 검색해봅니다. 검색 결과가 나오지 않으면 100% 환각입니다.
AI를 믿지 말라는 게 아니라
제가 AI를 못 믿겠다고 말하는 건 아닙니다. 오히려 반대예요. AI는 놀라운 도구고, 제가 매일 쓰고 있습니다. 다만 AI는 초안을 빠르게 잡아주는 조수지, 사실을 검증하는 전문가는 아니라는 점을 받아들이면 됩니다.
좋은 AI 사용 습관은 이런 거예요.
- AI한테 초안을 받는다
- 그 안의 구체적인 사실·수치·인용은 내가 검증한다
- 검증된 정보만 최종 결과물에 반영한다
이렇게 쓰면 AI의 속도와 내 검증의 신중함을 둘 다 가져갈 수 있어요. 업무 효율은 올라가고, 품질은 떨어지지 않는 방식입니다.
환각 덜 일어나는 AI는?
완벽한 AI는 없습니다. 다만 체감상 이런 경향이 있어요.
- Claude: 확실하지 않은 건 “확실하지 않다”고 덜 지어내는 편
- Perplexity: 답변마다 출처 링크를 표시해서 검증이 쉬움
- NotebookLM: 내가 올린 자료만 참고하니 환각 거의 없음
- ChatGPT: 자신감 있게 지어내는 경향이 가장 강함 (개인적 체감)
정확성이 중요한 작업은 Perplexity나 NotebookLM 같은 “출처 기반 AI”를 쓰시는 게 훨씬 안전합니다.
AI 시대에 가장 필요한 능력은 “AI를 얼마나 잘 쓰느냐”만큼이나 “AI를 얼마나 잘 의심하느냐”인 것 같아요. 편리함에 휩쓸리지 말고, 중요한 정보는 꼭 한 번 더 확인하는 습관, 다들 들이시길 바랍니다.