AI가 우크라이나 유튜버를 러시아인으로 만든 방법

“저는 살면서 이런 끔찍한 말을 한 적이 없다고 누구도 생각하지 않기를 바랍니다. 러시아를 홍보하는 얼굴로 우크라이나 소녀를 사용합니다. 미친 짓이야.”

Olga Loiek은 중국 소셜 미디어의 다양한 동영상에 그녀의 얼굴이 등장하는 것을 보았습니다. 이는 온라인에서 사용하기 쉬운 생성 AI 도구의 결과입니다.

“내 얼굴을 볼 수 있고 내 목소리를 들을 수 있었어요. 하지만 내가 한 번도 말하지 않은 말을 하는 내 자신을 보았기 때문에 그것은 모두 매우 소름끼쳤습니다.” 펜실베이니아 대학교에서 공부하는 21세의 청년이 말했습니다.

Olga Loiek은 중국 소셜 미디어의 다양한 동영상에 자신의 얼굴이 등장하는 것을 보았습니다.

그녀의 초상을 담은 계정에는 소피아, 나타샤, 에이프릴, 스테이시와 같은 수십 개의 다른 이름이 있었습니다. 이 “소녀들”은 올가가 한 번도 배운 적이 없는 표준 중국어로 말하고 있었습니다. 그들은 러시아 출신인 것으로 보이며, 중국과 러시아 우호에 대해 이야기하거나 러시아 제품을 광고했습니다.

“동영상의 90% 정도가 중국과 러시아, 중러 우호, 우리가 강한 동맹이 되어야 한다는 내용, 음식 광고에 관한 내용을 봤습니다.”

가장 큰 계정 중 하나는 30만 명 이상의 사용자를 보유한 '나타샤 수입 식품'이었습니다. “나타샤”는 “러시아가 최고의 나라다. 다른 나라들이 러시아를 외면하고 있고, 러시아 여성들이 중국으로 오고 싶어 하는 게 안타깝다”며 러시아 사탕 같은 제품 홍보에 나섰다.

이것은 가족이 아직 우크라이나에 있는 올가를 개인적으로 격분시켰습니다.

그러나 더 넓은 차원에서 그녀의 사례는 너무 빠르게 발전하여 기술을 규제하고 사람을 보호하는 것이 실질적인 과제가 된 기술의 위험성에 대한 관심을 끌었습니다.

유튜브에서 샤오홍슈까지

올가의 중국어를 구사하는 AI 유사 인물은 2023년부터 등장하기 시작했습니다. 그녀가 정기적으로 업데이트되지 않는 YouTube 채널을 시작한 직후였습니다.

약 한 달 후, 그녀는 중국 소셜 미디어 플랫폼에서 중국어로 연설하는 것을 보았다고 주장하는 사람들로부터 메시지를 받기 시작했습니다.

호기심이 생긴 그녀는 자신을 찾기 시작했고, 인스타그램과 같은 플랫폼인 Xiaohongshu와 YouTube와 유사한 비디오 사이트인 Bilibili에서 자신의 AI 유사성을 발견했습니다.

“[계정]이 많았습니다. 일부는 소개에 러시아 국기 같은 것이 있었습니다.”라고 지금까지 자신의 초상을 사용하여 약 35개의 계정을 찾은 올가가 말했습니다.

그녀의 약혼자가 이 계정에 대해 트윗한 후, 그녀가 AI 유사성을 만드는 데 사용되는 도구를 개발했다고 주장하는 회사인 HeyGen이 응답했습니다.

그녀의 얼굴을 사용하여 생성된 동영상이 4,900개 이상이라고 밝혔습니다. 그들은 그녀의 이미지가 더 이상 사용되지 않도록 차단했다고 말했습니다.

회사 대변인은 그들의 시스템이 해킹되어 "무단 콘텐츠"라고 불리는 것을 생성했다고 말했으며 플랫폼의 추가 남용을 방지하기 위해 보안 및 확인 프로토콜을 즉시 업데이트했다고 덧붙였습니다.

그러나 홍콩 대학교의 안젤라 장(Angela Zhang)은 올가에게 일어난 일이 “중국에서는 매우 흔한 일”이라고 말했습니다.

그녀는 "이 나라는 위조, 개인 데이터 남용, 딥페이크 생산을 전문으로 하는 대규모 지하 경제의 ​​본거지"라고 말했습니다.

이는 중국이 AI와 AI의 용도를 규제하려고 시도한 최초의 국가 중 하나임에도 불구하고 그렇습니다. 디지털 위조로부터 초상권을 보호하기 위해 민법도 개정했습니다.

2023년 공안부가 공개한 통계에 따르면 당국은 'AI 얼굴 교환' 활동으로 515명을 체포했습니다. 중국 법원도 이 분야의 사건을 처리해왔다.

올가는 자신의 초상을 사용하여 약 35개의 계정을 찾았습니다.

그런데 올가의 수많은 동영상이 어떻게 온라인에 올라왔을까요?

한 가지 이유는 중국과 러시아의 우호 사상을 장려했기 때문일 수 있습니다.

베이징과 모스크바는 최근 몇 년 동안 상당히 가까워졌습니다. 시진핑 중국 국가주석과 푸틴 러시아 대통령은 양국 우호에는 “ 한계가 없다 ”고 말했다. 두 사람은 이번 주 중국에서 만날 예정이다.

중국 국영 언론은 러시아의 우크라이나 침공을 정당화하는 이야기를 반복 해 왔으며 소셜 미디어는 전쟁에 대한 논의를 검열해 왔습니다 .

볼로냐 대학과 KU 루벤의 법률 및 기술 연구원인 에미 하인은 "이러한 계정이 집단적 목적에 따라 조정되었는지 여부는 불분명하지만 정부의 선전과 일치하는 메시지를 홍보하는 것은 확실히 그들에게 이익이 됩니다"라고 말했습니다.

"이러한 계정이 중국 공산당과 명시적으로 연결되어 있지 않더라도 일치하는 메시지를 홍보하면 게시물이 게시될 가능성이 낮아질 수 있습니다."

그러나 이는 올가와 같은 일반 사람들이 여전히 취약하며 중국 법을 위반할 위험이 있다는 것을 의미한다고 전문가들은 경고합니다.

옥스퍼드 대학의 기술 및 지정학 연구원인 Kayla Blomquist는 "개인이 인위적으로 생성되고 정치적으로 민감한 콘텐츠로 모함을 받을 위험이 있다"고 경고하며, 이는 "적법한 절차 없이 제정된 신속한 처벌"을 받을 수 있습니다.

그녀는 AI 및 온라인 개인 정보 보호 정책과 관련하여 베이징의 초점은 약탈적인 민간 행위자에 맞서 소비자 권리를 구축하는 것이었지만 "정부와 관련된 시민 권리는 여전히 매우 취약하다"고 강조했습니다.

Hine 씨는 “중국 AI 규제의 기본 목표는 사회 안정 유지와 혁신 및 경제 발전 촉진 사이의 균형을 맞추는 것”이라고 설명합니다.

“장부에 대한 규정은 엄격해 보이지만, 법이 단속의 근거를 제공한다는 암묵적인 이해와 함께 보다 혁신 친화적인 환경을 조성하기 위한 의도일 수 있는 생성적 AI 라이센스 규칙과 같은 선택적 집행의 증거가 있습니다. 필요하다면”이라고 그녀는 말했다.

'마지막 피해자는 아니다'

AI가 생성한 올가의 동영상은 우크라이나인으로서 그녀를 개인적으로 격분시켰습니다.

그러나 올가 사건의 파급효과는 중국을 훨씬 넘어서는 것입니다. 이는 엄청난 속도로 발전하고 있는 것처럼 보이고 규제 당국이 끊임없이 따라잡기 위해 노력하는 산업을 규제하려는 시도의 어려움을 보여줍니다. 하지만 그렇다고 그들이 노력하지 않는다는 뜻은 아닙니다.

지난 3월 유럽의회는 기술의 위험을 제한하기 위한 세계 최초의 포괄적 프레임워크인 AI법을 승인했습니다. 그리고 지난해 10월 조 바이든 미국 대통령은 AI 개발자들이 정부와 데이터를 공유하도록 요구하는 행정명령 을 발표했다.

AI 성장의 빠른 속도에 비해 국내 및 국제 수준의 규제가 느리게 진행되고 있는 반면, 우리는 "가장 위험한 위협과 이를 완화하는 방법에 대한 보다 명확한 이해와 보다 강력한 합의"가 필요하다고 Blomquist는 말합니다.

“그러나 국가 내, 국가 간 의견 차이가 실질적인 조치를 방해하고 있습니다. 미국과 중국이 핵심 주체이지만 합의를 구축하고 필요한 공동 조치를 조정하는 것은 어려울 것입니다.”라고 덧붙였습니다.

한편 개인 차원에서는 온라인에 아무것도 게시하지 않는 것 외에는 할 수 있는 일이 거의 없는 것 같습니다.

"해야 할 유일한 일은 그들에게 작업할 자료를 제공하지 않는 것입니다. 즉, 우리 자신의 사진, 비디오 또는 오디오를 공개 소셜 미디어에 업로드하지 않는 것입니다"라고 Hine은 말했습니다. “그러나 나쁜 행위자들은 항상 다른 사람을 모방하려는 동기를 갖고 있기 때문에 정부가 단속하더라도 두더지 잡기 규제 속에서도 지속적인 성장을 볼 수 있을 것으로 기대합니다.”

올가는 자신이 생성 AI의 마지막 희생자가 아닐 것이라고 “100% 확신”합니다. 하지만 그녀는 그것이 그녀를 인터넷에서 쫓아내도록 두지 않기로 결심했습니다.

그녀는 자신의 YouTube 채널에서 자신의 경험을 공유했으며 일부 중국 온라인 사용자들이 동영상 아래에 자신의 모습을 언급하고 해당 동영상이 가짜임을 지적하여 그녀를 돕고 있다고 말했습니다.

그녀는 이러한 동영상 중 상당수가 현재 삭제되었다고 덧붙였습니다.

"나는 내 이야기를 공유하고 싶었고, 온라인에서 보는 모든 것이 실제는 아니라는 점을 사람들이 이해할 수 있도록 하고 싶었습니다."라고 그녀는 말합니다. "저는 제 아이디어를 세상과 공유하는 것을 좋아합니다. 사기꾼 중 누구도 제가 그렇게 하는 것을 막을 수 없습니다."