누군가 AI로 실제 인물과 아주 비슷한 음성 파일 하나를 만들었다고 해보자.
처음에는 출처를 알 수 없는 파일 하나다. 그런데 그 음성을 진짜라고 믿은 사람이 제보하고,
다른 사람이 기사나 블로그에 옮긴 뒤 SNS와 커뮤니티에서 다시 인용하기 시작하면 이야기가 달라진다.
어느 순간 사람들은 처음의 음성 파일보다 “기사에도 나왔다”, “여러 곳에서 봤다”는 사실을 더 신뢰할 수 있다.
처음 거짓을 만든 사람은 한 명이어도, 이후 확산의 상당 부분은 그 내용을 사실이라고 믿은 사람들의 손에서 일어날 수 있다는 뜻이다.
내가 가장 신경 쓰이는 건 바로 이 다음 단계다.
AI가 거짓된 글·사진·음성·영상을 만들 수 있다는 사실도 문제지만, 한 번 만들어진 가짜 정보가 사람과 매체의 신뢰를 빌려 점점 진짜처럼 보이기 시작하면 문제의 성격이 달라진다.
세계경제포럼(WEF)의 2026년 글로벌 리스크 보고서에서 오정보·허위정보는 2026년 즉시 위험 기준 5위, 2년 전망에서는 2위에 올랐다.
WEF는 실제 콘텐츠와 합성된 영상·음성·텍스트를 구별하기가 갈수록 어려워지고 있으며, 이 문제가 사회적 양극화와도 강하게 연결돼 있다고 지적한다.
그래서 먼저 AI가 스스로 틀리는 경우와 누군가 AI를 이용해 속이는 경우를 나눠 본 뒤, 만들어진 거짓이 사람과 매체를 거치며 신뢰를 얻는 지점까지 따라가 볼 필요가 있다.
AI 시대의 정보 신뢰 위험
인터넷에 틀린 정보가 돌아다닌 건 어제오늘 일이 아니다. 지금 달라진 건 가짜를 만드는 데 필요한 시간과 기술의 문턱이다.
생성형 AI를 이용하면 자연스러운 글뿐 아니라 사진, 음성, 영상까지 빠르게 만들 수 있고, 결과물도 짧은 시간 안에 꽤 그럴듯한 형태를 갖춘다.
예전에는 수상한 글이나 조작물을 보면 어색한 문장이나 허술한 이미지가 의심할 단서가 되곤 했다.
지금은 반대로 너무 자연스러워서 문제가 된다. 익숙한 얼굴, 실제 같은 목소리, 잘 정리된 설명이 한꺼번에 등장하면 사람 입장에서는 의심해야 할 이유부터 줄어든다.
FBI도 생성형 AI가 사기 콘텐츠를 더 믿을 만하게 만들고, 범죄자가 사람을 속이는 데 드는 시간과 노력을 줄일 수 있다고 경고한다.
2026년 7월 IC3 사칭 사기 경고에서도 AI 생성 콘텐츠가 식별하기 어려운 경우가 많을 정도로 발전했다며, 강한 감정을 유발하는 영상이나 이미지일수록 공식 채널이나 신뢰할 수 있는 보도로 진위를 다시 확인하라고 안내했다.
이 문제는 세 단계로 나눠 보면 이해하기 쉽다.
- 첫째는 AI가 의도 없이 틀린 정보를 만들어내는 경우
- 둘째는 사람이 AI를 이용해 일부러 거짓을 만드는 경우
- 셋째는 그 거짓을 진짜라고 믿은 사람이 다시 퍼뜨리는 경우
여기서 가장 까다로운 건 세 번째다. 앞의 두 단계에는 오류나 악의가 있지만, 세 번째부터는 평범한 사람까지 자신도 모르게 정보 조작의 확산 경로에 들어오는 일이 생긴다.
AI 환각과 그럴듯한 오류
먼저 AI 자체가 틀리는 문제부터 봐야 한다.
미국 국립표준기술연구소(NIST)는 생성형 AI가 오류나 거짓 내용을 자신 있게 제시하는 현상을 ‘confabulation’으로 설명한다.
흔히 AI 환각이라고 부르는 문제와 맞닿아 있다. 단순한 오타가 아니라, 잘못된 설명이나 존재하지 않는 근거까지 꽤 자연스럽게 만들어낼 수 있다는 점이 핵심이다.
AI를 정보 검색에 쓰다 보면 없는 기사나 논문을 실제 자료처럼 제시하거나, 서로 다른 사실을 섞어 하나의 설명으로 만들고, 오래된 정책이나 가격을 현재 기준처럼 답하는 문제가 생길 수 있다.
출처가 붙었다고 안심하기도 어렵다. NIST는 생성형 AI가 답을 정당화하는 것처럼 보이는 잘못된 논리나 인용까지 만들어 사용자의 과도한 신뢰를 부를 수 있다고 지적한다.
AI가 자신 있게 말한다는 것과 그 정보가 사실이라는 것은 전혀 다른 문제다.
오히려 답이 어설플 때보다 너무 자연스러울 때 더 쉽게 넘어갈 수 있다.
이상하면 한 번 더 찾아보게 되지만, 문장도 매끄럽고 설명도 논리적으로 들리면 원자료를 확인할 생각 자체가 줄어들기 때문이다.
이런 오류는 사람이 처음부터 속일 목적으로 만드는 조작물과는 성격이 다르다. 결과가 거짓 정보로 이어져도 만들어지는 이유와 대응 방식은 다르기 때문이다.
딥페이크·음성 복제와 의도적 악용
사람이 처음부터 누군가를 속일 목적으로 생성형 AI를 쓰기 시작하면 위험의 성격은 완전히 달라진다.
특히 음성 복제와 딥페이크는 ‘눈으로 봤다’, ‘직접 목소리를 들었다’는 기존의 확인 습관을 흔든다.
AI 음성 복제와 사칭
FTC는 짧은 음성 샘플만 있어도 가족의 목소리를 복제해 긴급 상황을 가장하는 사기에 활용될 수 있다고 경고해 왔다.
FBI도 생성형 AI 음성으로 가족이나 유명 인물을 사칭해 송금을 요구하거나 계정 접근을 노리는 방식을 대표적인 악용 사례로 제시한다.
모르는 번호에서 갑자기 돈을 보내달라는 말을 들으면 의심부터 할 수 있다.
하지만 정말 자녀나 부모, 직장 상사의 목소리처럼 들린다면 순간적인 판단은 훨씬 어려워진다.
그래서 FTC와 FBI는 목소리 자체를 신원 확인 수단으로 믿기보다, 평소 알고 있던 전화번호나 별도의 연락 방법으로 다시 확인하라고 권한다.
딥페이크 영상과 화상 사칭
FBI는 AI 생성 영상이 회사 임원이나 권한 있는 인물처럼 보이는 실시간 영상 채팅, 투자 사기 홍보물 등에 활용될 수 있다고 설명한다.
별도로 AI 생성 이미지는 가짜 신분증이나 자격증 같은 허위 신원 자료를 만드는 데 악용될 수 있다.
이제는 영상이 있다는 이유만으로 사실성이 자동으로 보장된다고 보기 어렵다.
가짜 제보와 조작 자료
더 까다로운 건 조작물이 피해자에게 직접 전달되는 경우만이 아니라는 점이다.
누군가 AI로 만든 음성이나 사진, 영상을 ‘제보 자료’나 ‘참고 자료’라는 형태로 제3자에게 전달할 수도 있다. 이때 제보를 받은 사람은 속이려는 의도가 전혀 없을 수 있다.
문제는 그 자료를 사실이라고 믿고 기사나 블로그, 영상 콘텐츠로 다시 만드는 순간부터다.
처음에는 출처 불명의 파일 하나였지만, 다른 콘텐츠에 인용되는 순간 새로운 신뢰가 붙기 시작한다.
가짜 정보가 신뢰를 얻는 과정
가상의 상황을 조금 더 이어가 보자. 누군가 AI로 유명인의 음성을 조작한다.
그 파일이 제보 형태로 전달되고, 제보를 받은 작성자는 진짜라고 판단해 기사나 블로그 글을 쓴다.
이후 다른 사람이 그 글을 다시 인용하고, 커뮤니티와 SNS에서 같은 이야기가 반복된다.
시간이 지나면 처음의 음성 파일보다 ‘여러 곳에서 보도된 내용’이라는 외형이 더 강하게 남을 수 있다.
이런 과정을 내 생각대로 표현해 보자면 일종의 ‘신뢰 세탁’에 가깝다.
처음에는 출처도 불분명했던 AI 음성이나 사진 하나가 누군가의 제보가 되고, 기사나 블로그에 한 번 인용되고, 다시 SNS와 커뮤니티로 퍼지면서 점점 더 믿을 만한 정보처럼 보이게 되는 것이다.
여기서 중요한 건 확산 과정에 참여한 모든 사람이 악의적일 필요가 없다는 점이다.
처음 조작물을 만든 사람만 거짓을 알고 있었고, 그 뒤의 사람들은 모두 사실이라고 믿었을 수도 있다.
그런데 결과적으로는 각 단계가 앞 단계의 거짓에 조금씩 신뢰를 더해 준다.
나 역시 블로그를 쓰면서 기사와 공식 자료, 여러 참고 자료를 확인하는 입장이라 이 문제를 남의 일로만 보기 어렵다.
직접 거짓말을 만들지 않았더라도 참고한 자료의 시작점이 AI 조작물이었는데 확인 없이 옮겼다면, 의도와 상관없이 가짜 정보 확산에 한 단계를 더 보탠 셈이 된다.
그래서 이제는 ‘나는 거짓말을 하지 않았다’는 것만으로 정보 전달자의 역할이 끝난다고 보기 어렵다.
무엇을 근거로 썼는지, 그 근거는 어디에서 시작됐는지 확인하는 과정까지 점점 중요해지고 있다.
더 복잡한 문제는 같은 내용이 여러 곳에 나온다고 해서 각각 독립적으로 확인된 정보라는 보장이 없다는 데 있다.
열 개의 기사와 블로그가 모두 같은 제보나 SNS 게시물을 원자료로 삼았다면, 화면에는 열 개의 출처가 보여도 실질적인 근거는 하나일 수 있다.
많이 보인다는 것과 많이 검증됐다는 것은 같은 말이 아니다. 이 차이를 의식하는 것만으로도 ‘여러 곳에서 봤으니 사실이겠지’라는 착각을 줄일 수 있다.
SNS·영상 플랫폼의 확산 구조
이런 확산 과정에서 SNS와 영상 플랫폼은 특히 주의해서 볼 필요가 있다.
짧은 시간 안에 사람의 관심을 끌어야 하는 환경에서는 놀랍거나 화가 나거나 충격적인 소재가 눈에 띄기 쉽다.
여기서 위험한 건 자극적인 표현 자체보다, 확인되지 않은 정보와 강한 전달 방식이 결합하는 경우다.
AI로 조작된 사진이나 음성, 영상이 처음에는 출처가 불분명한 자료였더라도 누군가 이를 사실이라고 믿고 게시물이나 영상으로 다시 만들 수 있다.
여기에 설명과 자막, 편집이 더해지면 보는 사람 입장에서는 원본보다 훨씬 완성된 정보처럼 느껴질 수 있다.
이후 재공유와 재인용이 이어지면 처음의 조작물은 뒤로 사라지고 ‘여러 곳에서 본 이야기’라는 인상만 남기 쉽다.
SNS에서는 앞에서 말한 차이가 더 쉽게 흐려진다. 같은 이야기가 반복해서 보이면 검증 횟수보다 노출 횟수가 먼저 신뢰처럼 느껴지기 쉽다.
YouTube 역시 생성형 AI 콘텐츠의 투명성을 높이기 위한 조치를 강화하고 있다.
2026년 5월부터 사실적으로 보이고 의미 있게 AI로 생성·변경된 콘텐츠의 라벨을 더 눈에 띄는 위치로 옮겼고, AI 생성 콘텐츠를 식별하기 위한 자동 감지 신호도 순차적으로 도입하기 시작했다.
플랫폼도 시청자가 실제 촬영과 AI 생성·변경 콘텐츠를 구분할 수 있도록 추가 맥락을 제공하는 방향으로 움직이고 있다.
아이들의 이용 환경은 더 신경 써야 할 부분이다. Pew Research Center가 2025년 9~10월 미국 13~17세 청소년 1,458명을 조사한 결과 YouTube 이용률은 92%, TikTok은 68%, Instagram은 63%였다.
YouTube는 약 4분의 3이 매일 이용했고, TikTok도 61%가 매일 이용한다고 답했다.
미국 청소년 조사이긴 하지만, 이 정도 이용률만 봐도 SNS와 영상 플랫폼이 청소년에게 단순한 오락 공간을 넘어 일상적인 정보 환경이 됐다는 점은 짐작할 수 있다.
부모가 아이가 보는 모든 영상과 게시물을 하나씩 확인해 줄 수는 없다.
현실적으로는 ‘조회수가 많다고 사실은 아니다’, ‘영상으로 봤다고 진짜라는 보장은 없다’, ‘여러 곳에서 같은 이야기가 보이면 원출처가 같은 건 아닌지 확인해 보자’ 같은 기준을 평소에 알려주는 편이 더 낫다.
무엇을 보지 말라고 막는 것만큼, 본 정보가 어디에서 왔는지 한 번 확인해 보는 습관을 같이 만들어 주는 게 중요하다.
가짜 정보 확산과 사회적 신뢰 훼손
가짜 정보의 피해는 누군가 거짓을 사실로 믿는 데서 끝나지 않는다.
AI로 만든 사진과 영상, 음성이 너무 자연스러워지면 반대 상황도 생긴다.
실제로 일어난 일이나 진짜 자료를 보여줘도 “이것도 AI로 만든 거 아니야?”라는 반응이 나올 수 있기 때문이다.
세계경제포럼은 2026년 글로벌 리스크 보고서에서 실제 콘텐츠와 합성 콘텐츠를 구별하기가 갈수록 어려워지고 있으며, 오정보·허위정보와 사회적 양극화가 강하게 연결돼 있다고 지적한다.
더 장기적으로는 사실적인 딥페이크와 AI 생성 허위정보가 보편화되면 기본적인 사실에 대한 사회적 합의가 무너지고,
실제 사건도 딥페이크라고 부정하거나 반대로 딥페이크를 실제라고 믿는 상황이 나타날 수 있다고 경고한다.
가짜를 진짜로 믿는 것도 문제지만, 진짜를 보여줘도 아무도 믿지 않는 상황은 훨씬 풀기 어렵다. 이런 불신이 넓어지면 사실을 확인하는 일 자체가 더 힘들어진다.
실제 발언을 두고도 조작이라고 주장할 수 있고, 반대로 합성 영상을 사실이라고 믿는 사람도 생긴다.
그러다 보면 같은 사건을 본 사람들이 서로 다른 사실을 전제로 이야기하게 된다.
무엇이 실제로 일어났는지보다 내가 원래 믿던 생각과 맞는 정보인지가 더 중요해지는 순간, 대화와 검증은 훨씬 어려워진다.
WEF가 인용한 Reuters Institute 조사에서는 전 세계 응답자의 58%가 온라인 뉴스에서 진짜와 거짓을 어떻게 구별할지 걱정한다고 답했다.
WEF는 소셜미디어와 AI 도구를 통한 정보 소비 증가, 개인의 기존 관점에 맞는 정보를 반복적으로 보여주는 알고리즘 환경도 함께 짚고 있다.
사회적 신뢰에는 정치·경제·미디어 환경 등 여러 요인이 함께 작용한다.
여기에 이미 온라인 정보의 진위를 판단하기 어렵다고 느끼는 사람이 많은 상황에서, AI 합성 콘텐츠가 더 자연스러워지고 대량 생성이 쉬워지는 흐름까지 겹친다.
가짜 정보가 많아질수록 우리가 잃는 건 잘못된 정보 몇 개를 걸러내는 능력에만 그치지 않는다. 무엇을 사실이라고 믿을지에 대한 사회 전체의 기준까지 흔들릴 수 있다.
AI 정보의 출처 확인과 검증 방법
인터넷에 있는 모든 자료를 매번 의심하며 살 수는 없다.
현실적으로 필요한 건 정보의 영향이 클수록 확인 강도를 높이고, 출처를 하나 봤다는 이유만으로 검증이 끝났다고 생각하지 않는 습관이다.
1. 원출처 확인
블로그가 기사를 인용했다면 기사에서 멈추지 말고, 그 기사가 무엇을 근거로 썼는지 확인해 보는 편이 좋다.
공식 발표나 원문 문서인지, 제보인지, SNS 영상인지에 따라 신뢰 수준이 달라진다. 기사가 다른 기사를 다시 받아쓴 것이라면 실제 정보의 시작점은 훨씬 앞에 있을 수도 있다.
‘어디서 봤느냐’보다 ‘그곳은 무엇을 보고 그렇게 말했느냐’가 더 중요한 경우가 많다.
2. 감정 자극 정보 재확인
분노, 공포, 놀라움을 강하게 자극하는 정보는 확인보다 반응을 먼저 끌어내기 쉽다.
FBI의 2026년 경고도 강한 감정을 유발하는 온라인 콘텐츠를 접했을 때 바로 반응하기보다 신뢰할 수 있는 보도나 공식 채널로 진위를 확인하라고 조언한다.
3. 별도 경로로 신원 확인
가족이나 회사 관계자에게서 급한 연락이 왔다면 연락받은 채널 안에서만 확인하지 않는 게 좋다.
전화를 끊고 평소 사용하던 번호로 다시 전화하거나, 다른 가족·동료에게 확인하는 식으로 별도의 경로를 사용해야 한다.
FTC도 AI 음성 복제 사기에 대해 이런 재확인 방식을 권한다.
4. AI가 제시한 출처 직접 확인
AI 답변에 링크나 논문 제목이 붙어 있어도 실제 자료가 존재하는지, 그 자료가 AI가 설명한 내용을 정말 뒷받침하는지는 별도로 확인해야 한다.
검색 결과의 제목만 보고 넘어가기보다 원문에서 핵심 문장과 날짜, 적용 조건을 보는 편이 안전하다.
5. 중요한 정보의 교차검증
모든 정보를 논문 검토하듯 살필 수는 없다. 현실적인 기준은 결과가 클수록 검증을 더 깊게 하는 것이다.
송금과 투자, 건강, 법률, 계약, 학교나 회사의 중요한 의사결정이라면 AI 답변이나 SNS 게시물 하나로 결론을 내리지 않는 편이 좋다.
AI 시대에 필요한 정보 검증 능력
여기까지 보면 AI의 위험은 한 가지가 아니다.
AI 자체가 틀리기도 하고, 누군가는 AI를 악용해 조작물을 만들며, 그 조작물이 선의의 사람을 거쳐 다시 퍼지기도 한다.
그렇다고 AI를 아예 피하는 게 현실적인 답은 아니다. 이미 AI는 검색과 업무, 학습, 콘텐츠 제작 곳곳에 들어와 있다.
앞으로 필요한 건 AI를 잘 쓰는 법만이 아니라, 결과를 어디까지 믿고 어느 지점에서 다시 확인할지 판단하는 능력에 더 가깝다.
아이들에게도 같은 기준이 필요하다.
사용을 막는 데서 끝내기보다 AI가 틀릴 수 있고, 실제처럼 보이는 콘텐츠도 조작물일 수 있으며,
여러 곳에서 반복된다고 자동으로 사실이 되는 건 아니라는 정도는 함께 알려줄 필요가 있다.
AI 시대의 진짜 문제는 가짜를 만드는 기술만이 아니다.
그 가짜가 사람들의 신뢰를 빌려 진짜처럼 성장할 수 있다는 데 있다.
그래서 정보를 빨리 얻는 능력만큼, 그 정보가 어디에서 시작됐는지 한 번 더 거슬러 보는 습관이 중요해진다.
참고자료
World Economic Forum – Global Risks Report 2026
World Economic Forum – Global Risks Report 2026 – Chapter 2
NIST – Artificial Intelligence Risk
FBI Internet Crime Complaint Center – Criminals Use
FBI Internet Crime Complaint Center – FBI Warns of Scammers Impersonating the IC3
Federal Trade Commission – Scammers use AI to enhance their family emergency schemes
YouTube Official Blog – Improving AI labels for viewers and creators
Pew Research Center – Teens, Social Media and AI Chatbots 2025
