한 번쯤 이런 경험 있으시죠. ChatGPT에 뭘 물어봤는데 자신감 넘치게 답하길래 그대로 믿고 썼는데, 나중에 확인해보니 틀린 정보였던 경우. 저는 이걸로 회사에서 망신당한 적이 있습니다. 거래처에 보낼 이메일 쓰면서 “A기업의 최근 매출 실적”을 AI한테 물어봤거든요. 친절하게 숫자까지 써줘서 그대로 넣어보냈는데, 알고 보니 그 숫자가 전부 AI가 지어낸 거였어요. 다행히 담당자분이 “매출 수치가 저희 쪽 자료랑 다른데요?”라고 확인 메일을 줘서 바로잡을 수 있었지만, 그 날 이후로 AI 답변을 무조건 믿지 않게 됐습니다.
이걸 전문 용어로 환각(Hallucination)이라고 합니다. AI가 그럴듯하게 만든 거짓 정보를 진짜인 것처럼 말하는 현상이에요. 오늘은 이 환각에 당하지 않는 5가지 습관을 정리해보겠습니다.
왜 AI는 거짓말을 할까
사실 AI는 “거짓말”을 하려는 의도가 없습니다. AI는 질문에 대해 “가장 그럴듯한 다음 단어”를 계속 이어가는 방식으로 답을 만듭니다. 진실이 무엇인지를 판단하는 게 아니라, 언어 패턴 상 자연스러운 답변을 출력하는 거예요. 그래서 학습하지 않은 주제에 대해 물어보면, 학습한 패턴을 참고해서 “그럴듯한 답변”을 만들어냅니다. 이게 우연히 맞으면 좋은데, 틀리면 환각이 되는 거죠.
환각이 자주 일어나는 영역
- 최신 정보: AI의 학습 시점(cutoff) 이후 뉴스, 가격, 인사 정보
- 구체적 숫자: 매출, 인구, 날짜, 거리, 점수 같은 정확한 수치
- 인용문: “누가 이런 말을 했다”류의 인용
- 사람 이름과 이력: 특히 덜 유명한 인물
- 법률 조항, 논문, 책 제목: 없는 걸 있는 것처럼 만들어내는 경우가 많음
- URL·링크: 실제로 존재하지 않는 주소를 만들어냄
환각 걸러내는 5가지 습관
1. 정확한 수치가 나오면 무조건 의심한다
“2024년 한국 자동차 판매량은 1,640만 대였습니다”처럼 구체적인 숫자가 나오면, 무조건 출처 확인 모드로 전환하세요. 저는 습관적으로 “출처도 알려줘”를 추가로 물어봅니다. AI가 링크를 주면 그 링크가 실제로 존재하는지 꼭 확인해야 합니다. 없는 링크를 만들어주는 경우가 정말 많아요.
2. 최신 정보는 AI한테 안 묻는다
“오늘 환율”, “이번 달 대통령 지지율”, “최근 개봉한 영화” 같은 건 AI보다 검색 엔진이 낫습니다. AI의 학습 데이터가 보통 6개월~1년 전 기준이기 때문이에요. 웹 검색 기능이 달린 ChatGPT나 Perplexity 같은 걸 쓰더라도, 반드시 원본 링크를 한번 눌러서 확인하세요.
3. “~를 인용해서” 요청을 피한다
“간디 명언 한 마디 인용해줘” 같은 요청은 위험합니다. AI가 간디가 하지 않은 말을 간디 이름으로 지어낼 가능성이 높아요. 정말 그분이 한 말을 찾고 싶다면, 브레이니쿼트(BrainyQuote) 같은 명언 전문 사이트에서 직접 찾는 게 안전합니다.
4. 법·의학·금융 정보는 전문가 검증이 필수
“이 계약서 조항이 법적으로 유효한가요?” “이 증상이면 무슨 병인가요?” “이 주식 지금 사도 되나요?” 이런 질문에 AI가 하는 답을 그대로 믿고 행동하면 큰일납니다. AI는 참고만 하고, 최종 판단은 변호사, 의사, 금융전문가와 상담하세요. AI 본인도 대부분 답변 끝에 “전문가 상담을 권합니다”라고 쓰는데, 그게 괜히 있는 게 아닙니다. 계약서의 경우 AI를 어디까지 믿고 어디부터 변호사에게 맡겨야 하는지는 계약서 AI 검토 안전 수칙 글에서 자세히 다뤘으니 참고하세요.
5. “모른다”는 답을 끌어내는 프롬프트
AI한테 그냥 물으면 거의 항상 뭔가 답을 합니다. 모르는 것도 모른다고 안 하고 그럴듯하게 지어내요. 그래서 저는 질문 앞뒤에 이런 문구를 넣는 습관을 들였습니다.
“확실하지 않은 부분은 ‘확실하지 않음’이라고 명시해줘.” “답을 모르면 모른다고 답해줘. 추측으로 답하지 말아줘.” “사실 기반으로만 답해주고, 출처가 불명확하면 말해줘.”
이 한 줄 추가하는 것만으로도 환각이 꽤 줄어듭니다.
작업 유형별 검증 방법 정리
어떤 작업에서 어떤 방식으로 검증하면 되는지, 제가 실제로 쓰는 기준을 표로 정리했습니다.
| 작업 유형 | 환각 위험도 | 검증 방법 |
|---|---|---|
| 최신 뉴스·시세 확인 | 매우 높음 | AI 대신 검색엔진·공식 사이트에서 직접 확인 |
| 통계·수치 인용 | 높음 | 원본 출처(통계청, 공시자료 등)에서 숫자 대조 |
| 논문·책 인용 | 높음 | 구글 스칼라나 도서관 검색으로 실존 여부 확인 |
| 번역·요약·초안 작성 | 낮음 | 원문과 대조해서 왜곡 여부만 확인 |
| 아이디어 브레인스토밍 | 거의 없음 | 검증 불필요, 자유롭게 활용 |
한 번 더 깨달은 계기
최근에 AI가 논문을 인용하길래 그 논문을 찾아보려 했는데, 그 논문이 실제로는 존재하지 않았습니다. 저자 이름도, 저널 이름도, 발행 연도도 다 그럴듯하게 만들어냈는데, 실제로는 없는 논문이었어요. 학계에서는 이게 큰 문제라서 최근엔 AI로 작성한 논문에 가짜 참고문헌이 들어가는 사례가 자주 발생해, 저널 편집자들이 AI 사용 여부를 엄격히 검증하기 시작했다고 합니다.
이걸 겪고 나서는 AI가 논문을 인용하면, 구글 스칼라(scholar.google.com)에서 그 논문 제목을 복사해서 검색해봅니다. 검색 결과가 나오지 않으면 100% 환각입니다.
제가 겪은 환각 유형 모음
매출 수치와 가짜 논문 말고도, 지금까지 겪은 환각 유형이 몇 가지 더 있습니다. 한 번은 특정 법 조항의 내용을 물었더니 조문 번호까지 붙여서 아주 구체적으로 답해줬는데, 국가법령정보센터에서 확인해보니 그런 조항 자체가 없었습니다. 또 어떤 도구의 사용법을 물었을 때는 실제로 존재하지 않는 메뉴 이름을 알려줘서, 그 메뉴를 찾느라 20분을 헤맨 적도 있어요. 공통점은 전부 “아주 구체적이고 자신감 있게” 답했다는 점입니다. 오히려 애매하게 답할 때보다 구체적으로 답할 때 더 의심해야 한다는 걸 여러 번 겪고 나서야 체득했습니다.
제 검증 루틴 공개
지금은 AI 답변을 받으면 거의 반사적으로 이 순서를 거칩니다. 먼저 답변에서 “검증이 필요한 요소”(숫자, 이름, 날짜, 인용, 링크)에 표시를 해둡니다. 그다음 각 요소를 성격에 맞는 곳에서 확인합니다. 숫자는 공식 통계나 공시자료, 논문은 구글 스칼라, 법령은 국가법령정보센터, 뉴스는 해당 언론사 사이트에서요. 마지막으로 링크가 포함되어 있으면 반드시 직접 눌러봅니다. 이 루틴이 익숙해지면 5분도 안 걸리는데, 이 5분이 회사에서 망신당하는 것보다 훨씬 쌉니다.
AI를 믿지 말라는 게 아니라
제가 AI를 못 믿겠다고 말하는 건 아닙니다. 오히려 반대예요. AI는 놀라운 도구고, 제가 매일 쓰고 있습니다. 다만 AI는 초안을 빠르게 잡아주는 조수지, 사실을 검증하는 전문가는 아니라는 점을 받아들이면 됩니다.
좋은 AI 사용 습관은 이런 거예요.
- AI한테 초안을 받는다
- 그 안의 구체적인 사실·수치·인용은 내가 검증한다
- 검증된 정보만 최종 결과물에 반영한다
이렇게 쓰면 AI의 속도와 내 검증의 신중함을 둘 다 가져갈 수 있어요. 업무 효율은 올라가고, 품질은 떨어지지 않는 방식입니다.
검증 시간이 아깝다고 느껴진다면
“검증까지 하면 AI 쓰는 의미가 없지 않나?”라고 생각하실 수 있는데, 실제로 계산해보면 그렇지 않습니다. 예를 들어 보고서 초안을 처음부터 직접 쓰면 2시간 걸리던 게, AI 초안을 받고 검증·수정하면 40분 정도로 줄어듭니다. 검증에 10분을 쓰더라도 전체적으로는 1시간 넘게 아끼는 셈이죠. 검증은 AI 활용의 걸림돌이 아니라, AI를 업무에 안심하고 쓸 수 있게 해주는 최소한의 안전장치라고 생각하시면 됩니다.
환각을 역이용하는 것도 가능합니다
재미있는 건, 환각의 원리를 이해하면 오히려 AI를 더 잘 쓸 수 있다는 점입니다. 환각은 “그럴듯한 패턴을 만들어내는 능력”에서 나오는데, 이 능력이 필요한 작업에서는 오히려 강점이 됩니다. 소설 아이디어, 가상의 시나리오, 브레인스토밍, 예시 문장 만들기 같은 창작 작업에서는 “사실이 아니어도 그럴듯한 것”이 정확히 원하는 결과물이거든요. 그래서 저는 작업을 시작하기 전에 “지금 이 작업은 사실이 중요한가, 그럴듯함이 중요한가”를 먼저 구분합니다. 사실이 중요하면 검증 모드로, 그럴듯함이 중요하면 자유롭게. 이 구분 하나로 AI 활용의 스트레스가 많이 줄었습니다.
환각 덜 일어나는 AI는?
완벽한 AI는 없습니다. 다만 체감상 이런 경향이 있어요.
- Claude: 확실하지 않은 건 “확실하지 않다”고 덜 지어내는 편
- Perplexity: 답변마다 출처 링크를 표시해서 검증이 쉬움
- NotebookLM: 내가 올린 자료만 참고하니 환각 거의 없음
- ChatGPT: 자신감 있게 지어내는 경향이 가장 강함 (개인적 체감)
정확성이 중요한 작업은 Perplexity나 NotebookLM 같은 “출처 기반 AI”를 쓰시는 게 훨씬 안전합니다.
팀이나 가족에게도 알려주세요
이 습관은 혼자만 알고 있으면 반쪽짜리입니다. 저희 팀에서도 제가 겪은 매출 수치 사건 이후로 “AI가 준 숫자는 반드시 출처 확인”이라는 규칙을 만들었는데, 그 뒤로 비슷한 사고가 한 번도 없었습니다. 특히 AI를 처음 쓰기 시작한 부모님 세대는 AI 답변을 검색 결과처럼 신뢰하는 경우가 많아서 더 위험합니다. 저는 부모님께 “AI가 알려준 건강 정보나 법률 정보는 꼭 저한테 한 번 물어보고 행동하시라”고 당부드렸어요. 환각이라는 개념 자체를 아는 것만으로도 큰 사고를 막을 수 있습니다.
자주 묻는 질문
웹 검색 기능을 켜면 환각이 완전히 없어지나요?
줄어들지만 완전히 없어지지는 않습니다. 검색 결과를 AI가 요약하는 과정에서 내용을 왜곡하거나, 여러 출처를 뒤섞으면서 원문에 없는 내용을 만들어내는 경우가 있습니다. 그래서 웹 검색 기반 답변이라도 중요한 정보라면 원본 링크를 직접 확인하는 게 안전합니다.
AI가 출처 링크까지 줬는데도 가짜일 수 있나요?
있습니다. 실제로 존재하지 않는 URL을 그럴듯하게 만들어내는 경우가 있고, 링크는 진짜인데 그 페이지에 AI가 말한 내용이 없는 경우도 있습니다. 링크가 있다고 안심하지 말고, 눌러서 해당 내용이 실제로 있는지까지 확인해야 진짜 검증입니다.
업무에서 AI 답변을 그대로 써도 되는 기준이 있나요?
저는 “틀렸을 때 손해가 나에게만 오는가, 남에게도 가는가”를 기준으로 삼습니다. 개인 메모나 아이디어 정리는 틀려도 제 손해로 끝나니 가볍게 쓰고, 거래처 이메일, 보고서, 발행하는 글처럼 남에게 전달되는 것은 반드시 검증을 거칩니다.
환각을 줄이는 프롬프트가 정말 효과가 있나요?
체감상 확실히 있습니다. “모르면 모른다고 해줘”를 붙이면 AI가 “이 부분은 확실하지 않습니다”라고 스스로 표시해주는 빈도가 늘어납니다. 다만 이것도 100%는 아니라서, 프롬프트는 환각을 줄이는 보조 수단이지 검증을 대체하는 수단은 아닙니다.
같은 질문을 여러 번 하면 답이 달라지는데 왜 그런가요?
AI는 답변을 생성할 때마다 약간의 무작위성이 들어가서, 같은 질문에도 매번 조금씩 다른 답을 만들 수 있습니다. 여러 번 물었을 때 답이 계속 달라지는 주제라면, 그만큼 AI가 확신 없이 답하고 있다는 신호로 받아들이고 더 꼼꼼히 검증하는 게 좋습니다. 반대로 이 성질을 이용해서, 중요한 질문은 일부러 두세 번 다르게 물어보고 답이 일치하는지 확인하는 것도 간단한 검증 방법이 됩니다.
환각이 아예 없는 AI가 나올 수는 없나요?
현재의 AI 작동 방식(다음 단어 예측) 자체가 환각의 원인이라, 완전히 없애기는 어렵다는 게 일반적인 설명입니다. 다만 출처 기반 검색을 결합하거나 학습 데이터를 제한하는 방식으로 환각을 크게 줄인 서비스들이 계속 나오고 있어서, 방향은 분명히 좋아지고 있습니다.
AI 시대에 가장 필요한 능력은 “AI를 얼마나 잘 쓰느냐”만큼이나 “AI를 얼마나 잘 의심하느냐”인 것 같아요. 편리함에 휩쓸리지 말고, 중요한 정보는 꼭 한 번 더 확인하는 습관, 다들 들이시길 바랍니다.