|
만연해지는 딥페이크
이대로 괜찮을까요?
|
| |
최근 넷플릭스 드라마 <살인자ㅇ난감> 손석구 배우의 아역이 화제였다. 실제 아역배우가 연기했지만, 얼굴은 손석구 어린 시절 사진을 딥페이크 인공 지능 기술로 합성했기 때문. 만연해지기 시작한 이 기술이 인간 삶에 어디까지 녹아들까 호기심이 드는 요즘이다. 더 발전된 창작물을 위한 방법일지 예측 불가능한 범죄로 이어질지에 대해 숭실대학교 지식재산권·콘텐츠연구회 학우와 함께 논의해 봤다.
딥페이크(Deepfake)란 딥러닝(Deep learning)과 가짜(Fake) 합성어로 AI 기술로 만든 이미지, 영상, 음성 등이다. AI 산업에서 딥페이크 기술의 가치는 무궁무진하다. 정치, 의료, 사회적으로 AI 활용도가 높아졌고 실제 긍정적 효과를 끌어내기도 했다. 동시에 범죄 악용 건수가 증가했지만, 혼란을 가중하는 딥페이크 창작물을 막을 명확한 대안이 없어 사회적 불안이 쌓이는 중이다.
최근 넷플릭스 드라마 <살인자ㅇ난감>에서 딥페이크로 손석구 배우 어린 시절을 구현한 사례가 화제였습니다. 이 밖에도 기억에 남는 관련 이슈가 있나요?
이찬영 아무래도 올해 세계 여러 나라에서 선거를 벌이는 중이라 관련 이슈가 생각나네요. 작년 말 바이든 대통령의 혐오 발언 논란뿐 아니라 그가 재선하면 경제 위기가 오고, 중국이 대만을 침공할 거라는 가상 미래를 보여준 영상이 화제였는데요. 모두 딥페이크를 활용한 가짜 뉴스였습니다. 세계 정세에 중요한 미국 대통령 선거에 이런 기술을 악용한다는 점이 충격이었어요.
김재혁 2019년 영국의 한 에너지 관련 기업 CEO가 당한 사기 피해를 다룬 기사가 기억에 남아요. 세계 최초의 AI 기반 강도 사건이라고 알려진 사례인데요. 목소리 합성 기술인 딥보이스를 이용해서 피해 기업을 상대로 범죄를 저질렀죠. 피해 금액이 무려 3억 원 이상이라고 해요.
전예지 중국은 아파트 출입문, 야외 자판기, 대중교통까지 안면 인식으로 비용을 지급할 만큼 안면 인식 기술이 매우 발달·상용화된 나라예요. 얼마 전 중국에서 딥페이크를 이용한 사기가 기승을 부린다는 뉴스를 접했습니다. 직장 사장 얼굴로 위장해 부하 직원에게 영상통화를 건 뒤 거액을 요구하는 사건이었죠. 영상을 보니 저도 구분하기 어렵겠다는 생각이 들었습니다. 이외에도 중국에서는 지난해에만 500명이 넘는 딥페이크 사기범을 체포됐습니다.
노금구 작년 11월에 충남 경찰청에서 항저우를 본거지로 하는 보이스피싱 일당을 검거했는데 이들이 피싱 범죄를 연구하던 중이라는 뉴스를 봤어요. 매스컴에서 자주 보이는 유명 검사 얼굴을 찾은 후 딥페이크 기술로 음성을 입히는 방식을 시도했다고 합니다. 실제로 금융보안원은 2024년부터 국내 딥페이크 악용 금융사기 범죄가 현실화할 수 있다고 전망하기도 했죠.
말씀하신 이슈에 대해 어떻게 생각하시나요?
이찬영 딥페이크 가짜 영상 때문에 미국 유권자뿐 아니라 세계적으로 왜곡된 인식을 가질 수도 있겠다는 생각이 들었습니다. 최근 브라질은 선거운동 기간에 인공지능 기술 사용을 금지하는 법안을 발의했잖아요. 딥페이크뿐 아니라 멀티미디어 내 합성 콘텐츠에 대한 식별 라벨 표시, 선거 캠페인 커뮤니케이션을 위한 챗봇이나 아바타 사용 등도 제한했죠. 단순히 미국만의 문제가 아니라는 점을 보여주는 것 같습니다.
김재혁 이전까지 목소리 생성 프로그램은 TTS(Text To Speech)만 존재한다고 생각했는데 해당 사건을 접한 뒤 기술 발전에 매우 놀랐어요. 최근 실시간으로 얼굴 보정을 해주는 AI 필터나 이 기술을 응용한 AI 프로필 등 여러 기능이 등장했는데, 영상 통화를 할 때도 딥페이크나 딥보이스를 활용하지 않을까 하는 우려도 커졌고요. 사람이 구별하기 어려울 정도로 기술이 점점 발전한다면 사기 범죄가 더욱 증가할 거라고 봅니다.
전예지 우리나라도 점점 딥페이크 기술을 도입하는 중인데 보편화할수록 여러 범죄도 늘어날 거라는 생각이 먼저 들어요. IT 업계와 정부가 협조해서 이에 대한 대비를 철저히 해야 한다고 느낍니다. 이러한 신기술을 적용할 때 항상 부작용이 따라온다는 사실이 안타깝네요.
노금구 2021년 SBS 시사 프로그램 <그것이 알고 싶다>에서 부모님에게 본인 얼굴을 딥페이크로 합성한 영상을 보낸 후 신용카드 정보를 요구하는 실험을 했습니다. 3명 중 2명이 신용카드 사진을 보냈어요. 많은 사람이 우려했던 부분이 현실로 나타나는 걸 보니 다소 무섭더라고요. 딥페이크 영상이 더 정교해져서 사람을 너무 쉽게 속이는 것 같아 걱정이 큽니다.
선거 기간을 맞아 전 세계적으로 딥페이크와 관련한 이슈가 나오는 중입니다. 한국에서도 윤석열 대통령의 조작된 영상이 논란이었는데 선거 기간 딥페이크 활용에 대한 의견이 궁금합니다.
이찬영 선거 기간에는 큰 문제가 될 수 있다고 봅니다. 국민이 정치인을 선택하는 기준은 정책이나 도덕적 측면 등 굉장히 다양해요. 그런데 약속한 적 없는 공약 혹은 언급한 적도 없는 발언을 퍼트려 혼란을 준다면 심할 경우 대의민주주의가 붕괴할 가능성도 크다고 생각합니다.
노금구 선거 기간에 딥페이크를 활용하는 건 조심스러운 문제지만 후보자가 자유롭게 선거운동을 펼칠 수단 중 하나 아닐까요? 지난 대통령 선거 당시 AI 이재명·윤석열 등 영상을 선거운동에 활용하기도 했고요. 이처럼 국민과 소통하기 위한 목적은 괜찮다는 의견이에요. 하지만 가짜 발언 영상 등 왜곡되거나 잘못된 정보를 만드는 경우는 지양해야죠.
김재혁 선거 기간 중 딥페이크 기술 활용에 회의적인 편입니다. 대부분 나라는 2명 이상 후보끼리 표 경쟁을 하는 경선 시스템을 띠는데요. 이 구도 안에서 상대 후보를 이기기 위해 악용할 가능성이 매우 높습니다. 미국 바이든 대통령의 투표하지 말라는 전화가 퍼진 일과 상대 후보 이미지를 깎아내리기 위한 AI 생성물을 SNS에 퍼트린 아르헨티나 하비에르 밀레이 대통령 같은 사례처럼요. 아직 관련 제도나 규제를 마련하지 않은 지금으로선 해당 기술을 활용한 정당한 선거 캠페인을 펼쳐지기는 어렵다고 느낍니다.
전예지 저 또한 딥페이크 영상과 실제 영상을 구별하기 어려워서 부정적 영향이 더 크다고 생각합니다. 이러한 혼란을 막고자 지난 3월 8일 한국인터넷기업협회는 네이버, 카카오, SK커뮤니케이션즈가 공정선거 신뢰성을 위한 ‘악의적 선거 딥페이크 사용 방지 공동선언’을 채택했다고 밝혔어요. 이처럼 선거 기간 동안 테크 기업의 협력 유도나 딥페이크 영상 제작자를 처벌하는 강경책을 고려해도 좋을 것 같습니다.
지난 2월 브라질은 선거 기간 동안 딥페이크 기술을 금지했습니다. 이에 대해 어떻게 생각하시나요?
전예지 아직 전 세계에서 흔하지 않은 규정이기 때문에 굉장히 진보적이라는 생각이 들어요. 유럽연합(EU)은 2019년 ‘AI 윤리 가이드라인’을 발표했는데 선거 기간 딥페이크 사용에 대해 엄격한 제한을 도입하라는 내용을 담았죠. 미국, 중국에서도 딥페이크를 규제하는 추세이므로 우리나라도 이번 선거 기간에는 선행법으로 관련 특별안을 통과시켰으면 하는 바람입니다.
이찬영 사람의 눈으로 딥페이크 제작물에 대한 진위 구별이 가능하면 좋겠지만 여러 사례를 보면 개인 능력만으로 이를 파악하는 건 힘들어 보입니다. 그래서 브라질처럼 국가가 규제하고 단속하는 방안이 합리적이라고 느껴요. 물론 이 과정에서 개인의 자유를 억압한다는 비판이 나오기 쉽지만 해당 기술이 선거뿐 아니라 사회에 미치는 영향을 고려할 때 오히려 규제가 자유를 보장할 거예요.
노금구 브라질 입장은 공감하지만 다소 성급했다고 생각합니다. 후보가 유권자에게 본인 의사를 전달할 기회를 금지하는 게 타당한지 의문이 들었거든요. EU가 3월에 발표한 인공지능법안(AI Act)은 위험 수준에 따라 인공지능 시스템을 네 분류로 나눠서 활동 규제 범위와 인공지능 관리·감독 시스템 구축 방법을 제시했는데요. 이에 맞춰 일정 선만 지킨다면 충분히 활용해도 괜찮다고 봅니다.
김재혁 혼선을 야기할 만한 기술이기에 정부의 가이드라인 제시가 필요하다는 의견입니다. 후보자 선거운동이 자유로워야 한다는 점은 동의하지만, AI 기술로 인한 가짜 뉴스에 국민이 휘둘리지 않도록 방지하는 게 우선이에요.
딥페이크 활용 시 가장 우려되는 위험성은 무엇일까요?
김재혁 범죄 악용 가능성이 높다는 점이 가장 위험하죠. 앞서 언급한 AI 필터처럼 저희 같은 일반인도 인공지능 기술에 쉽게 다가가기 좋으니까요. 또 ‘노벨AI(NovelAI)’ 등 인공지능 모델에 몇 가지 키워드를 입력하면 원하는 이미지를 만들어낼 수 있는 프로그램도 많아졌는데, 이를 음란물 제작 같은 범죄에 쓰는 경우도 적지 않습니다.
이찬영 모든 걸 컴퓨터로 조작할 수 있어서 우려됩니다. 버튼 하나, 혹은 키워드만으로도 원하는 것을 생성할 수 있기에 디지털 범죄에 활용하기 쉽죠. 앞서 다른 분이 말씀해 주신 것처럼 여러 나라에서 이미 금융·정치 문제에 피해를 본 사례가 많습니다. 우리나라도 인공지능에 대해 민감해져야 해요.
노금구 딥페이크 단점이나 위험성의 핵심은 기술이 빠르고 정교하게 발전한다는 점이 아닐까 생각합니다. 활용 방법과 범위가 늘어나면서 악용 가능성도 높아지는 중이니까요. 단순히 얼굴을 어색하게 합성한 영상이 아닌 억양이나 행동까지 모방하면서 어떤 문제가 등장할지 예측하기 힘들다는 점이 가장 무서운 것 같습니다.
전예지 범죄 활용도가 높다는 점이죠. 네덜란드 사이버 보안기업 딥트레이스(Deeptrace)가 2019년 발간한 ‘딥페이크 현황 보고서’에 따르면 온라인상 딥페이크 영상의 96%가 음란물이라고 합니다. 최근에는 얼굴뿐 아니라 목소리까지 똑같이 변조하면서 실제 영상과 위조 영상을 구분하기가 점점 어려워지고 있어요.
그렇다면 우리는 딥페이크를 어떻게 활용해야 할까요?
노금구 창작 분야에서 딥페이크 활용성이 무궁무진하다고 봅니다. 할리우드에서 자주 사용하는 디에이징 기술이나 <살인자ㅇ난감>처럼 보조 수단으로만 사용하면 괜찮을 것 같아요. 독립운동가 모습을 딥페이크로 재현한 사례같이 사회·교육적으로도 긍정적 효과를 끌어낼 수 있을 거고요. 다만 좋은 목적이라도 딥페이크 적용 사실을 분명히 밝히고 타인 권리를 해치지 않는 적법한 선에서 활용하는 게 바람직합니다.
김재혁 질병 예측과 진단에 사용할 수 있는 점이 기대됩니다. 2019년 7월 독일 뤼벡대학교는 GAN(생성적 대립 신경망)을 활용한 딥페이크 의료 영상을 개발했습니다. 이 기술이 암 징후 탐지나 여러 질병을 파악하는 데 도움을 줄 거라고 언급했죠.
이찬영 인력이 필요 없다는 게 단점이지만 장점으로도 활용할 수 있다고 생각합니다. 시장조사기관 마켓츠앤마켓츠(Markets&Markets)는 글로벌 딥페이크 AI 시장이 2024년 9조 3,000억 원에서 2030년에는 51조 2,000억 원까지 매년 33.5% 성장할 것으로 전망합니다. 사람이 구현하기 어려운 부분을 스톡 사진으로 다룰 때 딥페이크 기술이 큰 역할을 할 거예요.
전예지 좋은 목적으로 사용한다면 획기적인 기술임이 틀림없어요. 신원 보호 영역에서는 표정과 얼굴을 가리는 모자이크 대신 익명성을 보장하면서 감정과 표현을 전달하는 딥페이크 기술을 널리 사용하는 중이죠. 우리에게 익숙한 SBS 시사 프로그램 <그것이 알고 싶다>에서도 이미 적용한 바 있고요.
딥페이크 악용을 막기 위해 어떤 대안이 필요할까요?
전예지 지난 3월 카카오는 허위 조작 정보를 담은 콘텐츠 제작과 유통을 근절하기 위해서 카카오톡 채널 ‘칼로 AI 프로필’ 기능에 비가시성 워터마크를 도입했습니다. 앞서 언급한 EU 인공지능법안은 라벨을 지정하도록 했고요. 이처럼 워터마크 표시가 해결책으로 자주 언급되는데요. 인공지능 사용 여부를 간단하게 알 수 있기 때문에 좋은 대안이라고 생각합니다.
김재혁 딥페이크는 문화 지체 현상의 대표 사례 같아요. 완벽한 대안을 찾는 건 어렵겠지만 딥페이크를 찾아내서 받아치는 기술, 즉 AI 카운터(AI Counter) 같은 기술을 발전시키는 게 가장 실효성 높은 방안 아닐까요? 미국 캘리포니아대학교 연구팀은 표정 조작 감지(EMD, Expression Manipulation Detection)라는 모델을 구축해 딥페이크 조작 영상의 99%를 감지해 내는 프로그램을 선보였습니다. 우리 눈으로 판단하기 어려운 부분을 완벽히 판독하기 위해선 관련 기술이 발전해야 악용 범죄에 대처할 수 있어요.
이찬영 예지 님 말씀처럼 인공지능 워터마크 도입이 현실적인 것 같아요. 사진을 촬영하면 남는 메타 데이터처럼 딥페이크 결과물에도 어떤 프로그램을 활용했는지, 언제 만들었는지, 창작자가 누구인지 등의 정보를 담는 거죠. 또한 신뢰할 수 있는 워터마크 표기와 이를 무력화하는 방법을 막기 위한 연구도 필요합니다.
노금구 특정 이용자만 그 저작물을 볼 수 있도록 하는 DRM(디지털 권리 관리)을 대안으로 제시하면 어떨까요? 법적 규제 마련도 필수고요. 단순 규제가 아닌 어떤 상황에서 딥페이크를 금지할지 먼저 정립한 후 허용하는 방식이 바람직하다고 생각합니다.
Audiences Talk
숭실대학교 법학과 22학번 이찬영
딥페이크 기술이 정치, 문화뿐 아니라 사회 전체를 위협하지만, 동시에 의료술 등에는 큰 도움이 된다는 사실을 알았습니다. 해당 기술을 막을 수 없는 이상, 이를 어떻게 활용해야 할지 깊은 이야기를 나눠서 좋았습니다.
숭실대학교 법학과 21학번 노금구
총선 기간 중 딥페이크가 끼칠 영향에 대한 걱정이 많았었는데요. 이번 토론으로 해당 이슈를 다방면으로 이해하고, 다른 학우 의견을 청취해서 뜻깊었습니다. 법을 전공하는 입장에서 어떤 규제를 마련하면 좋을지 고민해 본 계기였습니다.
숭실대학교 법학과 21학번 전예지
딥페이크는 AI 관련 기술 중 생활 속에서 가장 쉽게 접할 수 있는 분야라고 생각해요. 우리 일상과 밀접한 이슈에 대해 학회원과 다양한 의견을 교류하며 몰랐던 지식을 알아가는 기회가 돼서 유익했습니다.
숭실대학교 경제학과 22학번 김재혁
딥페이크를 주제로 학회원과 함께 논의해 더욱 의미 있었습니다. 딥페이크 기술은 아직 발전할 부분이 많다고 느꼈습니다. 비록 지금은 부정적인 면이 많이 보이지만 추후 관련 제도를 마련해 모두 편하게 기술을 누릴 때가 오길 바랍니다. |
CREDIT
글 정하윤 인턴기자
취재 정하윤, 송희재 인턴기자 |
|
|
