인도 선거의 AI, 딥페이크, 잘못된 정보

작년 11월, Muralikrishnan Chinnadurai는 영국에서 열린 타밀어 이벤트의 실시간 스트리밍을 시청하던 중 이상한 점을 발견했습니다.

타밀 호랑이 무장세력인 벨루필라이 프라브하카란(Velupillai Prabhakaran)의 딸 두와라카(Duwaraka)로 소개된 여성이 연설을 하고 있었습니다.

문제는 두와라카가 10여 년 전 스리랑카 내전이 끝나던 2009년 공습으로 사망했다는 점이다. 당시 23세였던 이 남성의 시신은 발견되지 않았습니다.

그리고 지금, 겉으로는 중년 여성처럼 보이는 그녀는 전 세계 타밀인들에게 자유를 위한 정치적 투쟁을 촉구하고 있었습니다.

인도 남부 타밀나두 주의 팩트체커인 친나두라이 씨는 영상을 주의 깊게 관찰한 뒤 영상의 결함을 발견하고 곧 인공지능(AI)이 생성한 인물이라고 결론 내렸다.

사실 확인자들은 Duwaraka의 ​​아바타가 YouTube 스트리밍을 위해 디지털 방식으로 제작되었다고 말합니다.

Chinnadurai 씨는 잠재적인 문제가 즉시 명확해졌습니다. "이것은 주(타밀나두)에서 감정적인 문제이며 선거가 코앞으로 다가오면서 잘못된 정보가 빠르게 퍼질 수 있습니다."

인도가 투표에 참여함에 따라 캠페인 비디오부터 다양한 인도 언어로 된 맞춤형 오디오 메시지, 후보자의 목소리로 유권자에게 자동으로 전달되는 자동 통화에 이르기까지 풍부한 AI 생성 콘텐츠가 생성되는 것을 피할 수 없습니다.

Shahid Sheikh와 같은 콘텐츠 제작자는 AI 도구를 사용하여 이전에 볼 수 없었던 인도 정치인의 아바타(애슬레저 옷을 입고 음악을 연주하고 춤을 추는 모습)를 보여주면서 즐거운 시간을 보냈습니다.

그러나 도구가 더욱 정교해짐에 따라 전문가들은 가짜 뉴스를 실제처럼 보이게 만드는 데 있어 도구가 미치는 영향에 대해 우려하고 있습니다.

"소문은 항상 선거 운동의 일부였습니다. [그러나] 소셜 미디어 시대에는 산불처럼 퍼질 수 있습니다"라고 전직 최고 선거 위원인 SY Qureshi는 말합니다.

"실제로 나라에 불을 지를 수도 있다."

(왼쪽부터) 야당 지도자 Rahul Gandhi, Arvind Kejriwal 및 Mamata Banerjee의 이미지는 콘텐츠 제작자 Shahid Sheikh가 인스타그램에서 AI 도구를 사용하여 만든 것입니다.

인도의 정당이 AI의 최근 발전을 활용한 세계 최초는 아닙니다. 파키스탄 국경 바로 너머에서는 투옥된 정치인 임란 칸이 집회에서 연설할 수 있었습니다.

그리고 인도 자체에서도 나렌드라 모디(Narendra Modi) 총리는 이미 효과적인 캠페인을 위해 새로운 기술을 최대한 활용했습니다. 즉, 정부가 만든 AI 도구인 Bhashini를 사용하여 청중에게 힌디어로 연설한 후 실시간으로 타밀어로 번역했습니다.

그러나 단어와 메시지를 조작하는 데에도 사용될 수 있습니다.

지난 달 두 개의 바이럴 영상에는 볼리우드 스타 란비르 싱(Ranveer Singh)과 아미르 칸(Aamir Khan)이 야당 의회당을 위해 캠페인을 벌이는 모습이 담겨 있었습니다. 두 사람 모두 이것이 자신들의 동의 없이 만들어진 딥페이크라고 경찰에 고소했습니다.

그러다가 4월 29일 모디 총리는 AI가 자신을 포함한 집권당 고위 지도자들의 연설을 왜곡하는 데 사용된다는 우려를 제기했습니다.

다음날 경찰은 아미트 샤(Amit Shah) 내무장관의 조작된 영상과 관련해 야당인 아암아드미당(Aam Aadmi Party, AAP)과 의회당 소속 의원 2명을 체포했다.

모디 총리가 이끄는 바라티야 자나타당(BJP)도 국내 야당 지도자들로부터 비슷한 비난을 받았다.

콘텐츠 제작자 Sahixd가 자신의 Instagram 페이지를 위해 만든 Modi 총리와 야당 지도자 Rahul Gandhi의 AI 이미지

문제는 체포에도 불구하고 전문가들에 따르면 포괄적인 규제가 마련되어 있지 않다는 점이다.

데이터 및 보안 연구원인 스리니바스 코달리(Srinivas Kodali)에 따르면 "무슨 일을 잘못하다 적발되면 기껏해야 손목을 때릴 수도 있다"는 의미입니다.

규제가 없는 상황에서 제작자들은 자신이 선택할 작업의 종류를 결정하기 위해 개인 윤리에 의존해야 한다고 BBC에 말했습니다.

정치인들의 요청 중에는 경쟁업체의 평판을 훼손하기 위해 포르노 이미지를 사용하거나 비디오 및 오디오를 변형하는 것이 포함되어 있다는 사실을 알게 되었습니다.

Divyendra Singh Jadoun은 "원본 영상이 널리 공유되면 정치인이 나빠 보일 수 있기 때문에 원본 영상을 딥페이크처럼 보이게 만들어 달라는 요청을 받은 적이 있습니다"라고 밝혔습니다.

"그래서 그의 팀은 원본인 것처럼 속일 수 있는 딥페이크를 만들어 주기를 원했습니다."

사람들이 오픈 소스 AI 소프트웨어를 사용하여 인도 정치인을 위한 캠페인 자료를 만들 수 있도록 돕는 도구를 만든 The Indian Deepfaker(TID)의 창립자 Jadoun 씨는 자신이 만드는 모든 것에 면책 ​​조항을 넣어 그것이 진짜가 아님을 분명히 해야 한다고 주장합니다.

하지만 여전히 통제하기는 어렵다.

파키스탄에서는 투옥된 정치인 임란 칸(Imran Khan)이 AI를 사용해 집회에서 연설했습니다.

동부 서벵골 주의 마케팅 대행사에서 일하는 셰이크 씨는 자신의 작품이 정치인이나 소셜 미디어의 정치 페이지에 의해 허가나 신용 없이 공유되는 것을 목격했습니다.

"한 정치인은 내가 만든 모디의 이미지를 맥락 없이 사용했으며, AI를 사용해 만든 이미지라는 언급도 없이 사용했습니다."라고 그는 말합니다.

그리고 이제 누구나 할 수 있는 딥페이크를 만드는 것이 너무 쉬워졌습니다.

Jadoun 씨는 "예전에는 제작하는 데 7~8일이 걸렸던 일이 이제는 3분 안에 완료될 수 있습니다."라고 설명합니다. "컴퓨터만 있으면 돼요."

실제로  두 사람(이 경우에는 나와 전 미국 대통령) 사이에 가짜 전화 통화를 만드는 것이 얼마나 쉬운지 직접 목격했습니다.

위험에도 불구하고 인도는 처음에 AI에 대한 법률을 고려하지 않는다고 밝혔습니다. 그러나 올 3월 "모디는 파시스트인가요?"라는 질문에 대한 구글의 제미니(Gemini) 챗봇 응답에 대해 격노한 후 조치를 취하기 시작했습니다.

국가 정보기술부 장관인 라지브 찬드라세카르(Rajeev Chandrasekhar)는 이것이 국가의 IT법을 위반했다고 말했다.

그 이후로 인도 정부는 기술 회사들에게 "신뢰할 수 없거나" "테스트가 부족한" 생성 AI 모델이나 도구를 공개적으로 출시하기 전에 명시적인 허가를 받도록 요청했습니다. 또한 "선거 과정의 무결성을 위협하는" 이러한 도구의 대응에 대해서도 경고했습니다.

그러나 그것만으로는 충분하지 않습니다. 사실 확인 담당자들은 이러한 콘텐츠의 허위 사실을 폭로하는 것이 힘든 일이며, 특히 잘못된 정보가 최고조에 달하는 선거 기간 동안에는 더욱 그렇습니다.

타밀나두에서 미디어 감시단을 운영하는 친나두라이 씨는 "정보는 시속 100km의 속도로 이동한다"고 말합니다. "우리가 전파하는 사실이 밝혀진 정보는 시속 20km로 갈 것입니다."

그리고 이러한 가짜는 주류 언론에도 등장하고 있다고 Kodali 씨는 말합니다. 그럼에도 불구하고 "선거관리위원회는 AI에 대해 공개적으로 침묵"하고 있다.

Kodali 씨는 “대체로 규칙은 없습니다.”라고 말합니다. "그들은 실제 규제를 마련하는 대신 기술 산업이 자체 규제하도록 허용하고 있습니다."

전문가들은 완벽한 해결책이 보이지 않는다고 말합니다.

"그러나 [현재로서는] 가짜 정보를 전달하는 사람들에 대해 조치가 취해지면 다른 사람들이 확인되지 않은 정보를 공유하는 것을 두려워할 수도 있습니다"라고 Qureshi는 말했습니다.