AI 사기꾼을 식별하는 방법

학생, 변호사 등은 인공지능이 작성한 글을 자신의 것으로 사칭하고 있습니다. Alex O'Brien은 AI가 실제 저자인지 식별하는 데 필요한 기술적 도구와 비판적 사고 기술을 조사합니다.  "미로 미로". 나는 이 두 단어에 대해 정확히 무엇이 나를 놀라게 했는지 모르지만, 그들은 나를 잠시 멈추게 했다. 그러나 계속 읽으면서 알람 벨이 울리기 시작했습니다. 저는 14-16세를 대상으로 한 과학 쓰기 대회를 심사하고 있었는데 , 이 특정 에세이에는 10대에게는 있을 것 같지 않은 언어의 세련미가 있었습니다.

AI 감지 소프트웨어를 통해 에세이를 실행했습니다. 몇 초 안에 Copyleaks는 내 화면에 결과를 표시했고 매우 실망스러웠습니다. 텍스트의 95.9%가 AI로 생성되었을 가능성이 높습니다. 확신이 필요했기 때문에 다른 도구인 Sapling을 통해 실행했는데, 이 도구는 사람이 아닌 텍스트를 96.1% 식별했습니다. ZeroGPT는 처음 두 개를 확인했지만 점수가 약간 낮았습니다: 89% AI. 그래서 Winston AI 라는 또 다른 소프트웨어를 통해 실행했습니다 . 의심의 여지가 없었습니다: 1% 인간. 4개의 개별 AI 탐지 소프트웨어에는 모두 하나의 명확한 메시지가 있었습니다. 이것은 AI 사기꾼입니다.

나는 AI로 작성된 콘텐츠가 내 직업인 저널리즘을 포함하여 많은 산업에 심각한 문제를 야기하고 있다는 것을 한동안 알고 있었습니다. 그러나 한 학생이 작문 대회에 AI 초안을 제출하는 것이 허용될 것이라고 생각했기 때문에 저는 놀랐습니다. 물론 부정 행위를 시도하는 학생들이 새로운 것은 아닙니다. 나를 놀라게 한 것은 AI의 의도적 사용이 내가 생각했던 것보다 더 널리 퍼질 수 있다는 가능성이었다. 내 앞에 놓인 가짜 학생 에세이를 바라보며 걱정을 금할 수 없었다. 아직 많은 교육 여정이 남아 있는 8세 어린 아이의 엄마로서 저는 학동이 AI를 사용하는 것을 보고 미래의 학습 과정의 무결성과 가치에 대해 큰 걱정을 했습니다.

그렇다면 AI 사기꾼을 어떻게 발견할 수 있을까요? 신호와 정보가 있을 수 있습니까? 다행히도 새로운 도구가 등장하고 있습니다. 그러나 곧 알게 되겠지만 AI 위조의 문제는 교육의 세계를 넘어서고 있으며 기술만으로는 이러한 변화에 대응하기에 충분하지 않습니다.

AI로 작성된 텍스트에는 다른 도구에서 발견할 수 있는 패턴이 포함되어 있지만 완벽하지는 않습니다(Credit: Getty Images)

학생 부정 행위의 경우, 안심할 수 있는 소식은 교사와 교육자가 이미 에세이를 확인하는 데 도움이 될 수 있는 기존 도구와 전략을 가지고 있다는 것입니다. 예를 들어, 교육 기관에서 사용하는 표절 방지 소프트웨어 회사인 Turnitin은 4월에 AI 쓰기 감지를 출시했습니다 . CEO 크리스 카렌(Chris Caren)은 소프트웨어의 오탐률(사람이 쓴 텍스트를 AI로 잘못 식별하는 경우)이 1%라고 말했습니다.

Copyleaks, Sapling, ZeroGPT 및 Winston AI와 같은 학생 에세이를 확인하는 데 사용한 것과 같은 웹 도구도 있습니다. 대부분은 무료로 사용할 수 있습니다. 웹사이트에 텍스트를 붙여넣기만 하면 결과가 나타납니다. ChatGPT의 창시자인 OpenAI는 지난 1월 자체 ' AI 분류기 '를 출시했다.

AI는 어떻게 다른 AI를 감지할 수 있습니까? 짧은 대답은 패턴 인식입니다. 더 긴 대답은 체커가 사람의 글과 컴퓨터 생성 텍스트를 구별하는 고유 식별자를 사용한다는 것입니다. "Perplexity"와 "Burstiness"는 아마도 AI 텍스트 탐색의 두 가지 핵심 지표일 것입니다. 이 둘이 모두 낮으면 텍스트가 AI로 작성되었다는 이론입니다.

Perplexity는 언어 모델이 문법적으로 정확하고 가능한 문장을 얼마나 잘 작성하는지, 즉 다음 단어를 얼마나 잘 예측하는지 측정합니다. 예 를 들어 , "그는 신선한 것을 끓이기 위해 부엌에 들어갔습니다…

Burstiness는 문장의 분산을 나타냅니다. 서면 텍스트에서 AI는 전반적으로 더 균일한 경향이 있습니다. 문장 구조와 길이는 일반적으로 규칙적이고 단어 선택과 구문 사용에서 덜 창의적입니다. 용어의 빈도와 조합, 반복되는 구 및 문장 구조는 사람이 쓴 텍스트가 일반적으로 표시하는 확장된 어휘 및 번창하는 스타일의 변형이 부족한 클러스터를 생성합니다.

한 연구에서 중국 작가가 작성한 영어는 AI로 식별될 가능성이 더 높았습니다(Credit: Getty Images).

그러나 AI는 점점 더 사람처럼 들리게 됩니다. 그리고 이미 이러한 스포팅 도구가 완벽하지 않다는 것은 분명합니다. Stanford University 연구원 의 최근 논문에서 GPT 감지기는 영어가 모국어가 아닌 작가에 대한 편견을 보여주었습니다. 그들은 중국 포럼의 91개 TOEFL(Test of English as a Foreign Language) 에세이와 Hewlett Foundation의 ASAP(Automated Student Assessment Prize) 데이터 세트에서 88개의 미국 8학년 에세이에 대해 널리 사용되는 7개의 GPT 감지기의 성능을 평가했습니다. 탐지기는 미국 학생 에세이를 정확하게 측정했지만 TOEFL 에세이의 절반 이상을 "AI 생성"으로 잘못 표시했습니다(평균 오탐률: 61.3%).

ZeroGPT의 CEO인 Edward Tian에게 감지는 솔루션의 절반에 불과합니다. 그는 무책임한 AI 사용에 대한 해결책은 탐지가 아니라 새로운 필기 검증 도구에 있다고 믿습니다. 이것은 글쓰기 과정에서 투명성을 회복하는 데 도움이 될 것이라고 그는 말합니다. 그의 비전은 글을 쓸 때 투명하고 책임감 있게 AI 참여를 공개하는 유능한 학생들입니다. Tian은 "우리는 학생들이 자신이 작가임을 증명할 수 있는 최초의 인간 확인 도구를 구축하기 시작했습니다."라고 말합니다.

 

고리 안에 갇힌 사람

AI가 만든 글이 확산됨에 따라 인간이 직면한 진정한 도전은 다음과 같습니다. 우리는 아마도 그것을 발견하기 위해 기술에 의존할 수 없을 것입니다. 따라서 일상적으로 정보의 진실성을 스트레스 테스트하는 정보에 대한 회의적이고 탐구적인 태도가 중요합니다. 결국 AI 체커로 학생 에세이를 체크할 생각은 애초에 의심했기 때문이다.

허위 정보와의 전쟁은 자동화된 도구만으로는 충분하지 않으며 인간이 필요하다는 것을 이미 보여주었습니다. 이것을 직접 목격한 사람 중 한 명은 수십 년 동안 영국의 국가 안보 부서에서 일해 온 화이트홀의 외교, 영연방 및 개발 사무소의 법률 책임자인 캐서린 홈즈입니다. 거짓일 수 있는 정보를 확증하려고 할 때 사람들의 판단이 여전히 중요하다고 그녀는 말합니다. "당신은 인간의 실제 통찰력을 바탕으로 이 정보가 실제로 정확한지 알아내려고 노력하고 있습니다."

사기의 세계에서도 마찬가지입니다. 법의학 서비스 책임자인 Rachael Joyce가 고객의 사기 및 위법 행위에 대한 조사를 돕고 있는 글로벌 회계 회사 PricewaterhouseCoopers에서 인간의 감독과 통찰력은 프로세스의 핵심 부분입니다. 그렇다면 어떤 AI 검사를 직접 할 수 있습니까? 지난 몇 년 동안 저는 비판적 사고를 향상시키는 방법에 관한 The Truth Detective라는 책을 연구하고 저술했습니다. 다음은 AI 탐정 작업을 시작하는 데 도움이 될 수 있는 몇 가지 기본 질문입니다.

첫 번째 작업은 확인하는 것입니다. 출처를 확인하고 확인할 수 있습니까? 서면 및 시각적 증거를 모두 확인할 수 있습니까? 이것을 어떻게 합니까? 정확도 검토. 다른 신뢰할 수 있는 출처에서 교차 확인하거나 지원 자료를 찾을 수 없다면 의심을 제기해야 합니다. Turnitin의 Caren은 “생성된 AI에는 환각 문제가 있습니다 . "팩트체킹은 콘텐츠 소비자로서 또는 AI를 사용하여 생산성을 높이는 데 매우 중요합니다."

다음 단계는 텍스트를 자세히 살펴보는 것입니다. 일부 단서는 철자, 문법 사용 및 구두점에서 찾을 수 있습니다. 현재 AI의 기본 언어는 여전히 미국식 영어입니다. 철자와 문법이 출판물이나 출판물을 쓰는 저자에게 적합하지 않은 경우 다음과 같이 질문하십시오. 왜? 따옴표가 포함되어 있습니까? 그렇다면 인용문은 누구입니까? 이러한 사람 또는 기관이 존재합니까? 사용된 참조에 대해서도 이 작업을 수행하고 출처가 언제인지 확인하십시오. AI는 액세스할 수 있는 데이터 소스가 여전히 제한적이며 최근 뉴스를 인식하지 못할 수 있다는 점을 알 수 있습니다. 특정 지식에 대한 언급이 있습니까? 그것의 부족은 사기를 나타낼 수 있습니다.

마지막으로 어조, 목소리 및 작문 스타일을 확인하십시오. AI가 생성한 텍스트에는 여전히 왜곡된 언어 패턴이 있습니다(적어도 현재로서는). 특별한 경품은 어조와 목소리의 갑작스러운 변화입니다. 다음 예는 아마도 AI가 그럴듯하고 매우 실제적으로 보일 수 있지만 절대적으로 교차 확인이 필요한 것을 쉽게 구성할 수 있음을 극명하게 상기시키는 것일 수 있습니다.

2020년 6월 초, 법원이 "전례 없는" 상황으로 묘사한 상황에서 뉴욕의 변호사인 Steven A Schwartz는 자신이 판사와 논쟁을 벌이는 신청을 제출하려고 했습니다. 왜? 그가 제출한 인용문과 판결문은 존재하지 않았다. 그는 사건이 실제이며 Westlaw 및 LexisNexis와 같은 법률 연구 사이트에서 찾을 수 있음을 보장하는 ChatGPT를 사용했습니다. 예를 들어 Schwartz가 사건에 대한 증거를 "보여달라"는 요청에 대해 ChatGPT는 "확실히! 여기 간단한 발췌문이 있습니다… Schwartz는 자신이 절망적이라고 말했습니다. 그는 ChatGPT가 Google과 유사한 검색 엔진이라고 믿었습니다.

그러나 모든 경우가 이렇게 노골적으로 명백한 것은 아닙니다. 따라서 우리 모두가 인위적으로 계획된 미래로 미끄러져 들어가면서 인간의 질문하는 사고방식이 필요하다는 것이 분명해졌습니다. 실제로 우리의 조사 기술과 비판적 사고 기술은 그 어느 때보다 더 많이 요구될 수 있습니다.