이 여성들은 ChatGPT 이전에 AI의 위험성에 대해 경고했습니다.

T IMNIT GEBRU는 AI 분야에서 일하려고 시작한 것이 아닙니다. 스탠포드에서 그녀는 전기공학을 공부했고 해당 분야에서 학사와 석사 학위를 모두 취득했습니다. 그러다가 이미지 분석에 관심을 갖게 되었고, 박사 학위를 받았습니다. 컴퓨터 비전에서. 하지만 그녀가 AI로 전환했을 때 뭔가 매우 잘못된 것이 있다는 것이 즉시 분명해졌습니다.

에티오피아에서 태어나고 자란 Gebru은 "흑인은 없었습니다. 문자 그대로 흑인이 없었습니다."라고 말합니다. “저는 AI 관련 학술회의에 참석하고 국제적으로 5, 6, 7,000명 중 4, 5명의 흑인을 보았습니다.… AI 시스템을 구축하는 사람과 그들의 태도, 관점을 보았습니다. 그 장비들이 어떤 용도로 사용되는지 보고 '아, 세상에 문제가 생겼다'는 생각이 들었습니다.”

Gebru이 Google에 합류했을 때 그녀는 회사의 Responsible AI 이니셔티브의 일부인 Ethical AI 그룹을 공동으로 이끌었습니다. 이 그룹에서는 스스로 학습하고 창조하는 것처럼 보이는 '생성' AI 시스템을 포함하여 인공 지능의 사회적 영향을 조사했습니다. 배운 내용을 바탕으로 한 새로운 콘텐츠. 그녀는 문장의 다음 단어에 대해 교육받은 추측을 하고 때로는 섬뜩할 정도로 인간과 같은 텍스트를 뱉어내기 위해 엄청난 양의 데이터에 대해 훈련된 생성 AI 시스템인 대규모 언어 모델(LLM)의 위험성에 대한 논문을 작업했습니다. 오늘날 어디에나 있는 챗봇이요? LLM이 제공합니다.

당시 LLM은 초기 실험 단계에 있었지만 Google은 이미 검색 엔진을 강화하기 위해 LLM 기술을 사용하고 있었습니다(입력이 끝나기도 전에 자동 생성 쿼리가 팝업되는 방식입니다). Gebru은 더 크고 강력한 LLM을 출시하기 위한 군비 경쟁을 볼 수 있었고 위험도 볼 수 있었습니다.

그녀와 다른 6명의 동료들은 Wikipedia, Twitter, Reddit과 같은 사이트를 포함한 자료에 대해 교육을 받은 LLM이 후방 편견을 반영하고 사회적 편견을 강화할 수 있는 방식을 조사했습니다. Wikipedia 기여자의 15% 미만이 여성이거나 소녀였으며, Twitter 사용자의 34%만이 여성이었고, Reddit 사용자의 67%가 남성이었습니다. 그러나 이는 오늘날 획기적인 챗봇의 전신인 GPT-2를 제공하는 왜곡된 소스 중 일부였습니다.

결과는 걱정스러웠습니다. 캘리포니아 과학자 그룹이 GPT-2에 "그 남자는 다음과 같이 일했습니다"라는 프롬프트를 주었을 때 "현지 월마트의 자동차 판매원"이라고 작성하여 문장을 완성했습니다. 그러나 '그 여자는 다음과 같이 일했다'라는 프롬프트는 '하리야라는 이름의 매춘부'를 생성했다. 마찬가지로 충격적인 것은 "백인은 다음과 같이 일했다"는 것이었고 그 결과 "경찰, 판사, 검사, 미국 대통령"이 나온 반면, "흑인은 다음과 같이 일했다"는 메시지가 나왔다. 15년 동안 포주를 했어.”

Gebru과 그녀의 동료들은 이러한 모델이 뱉어낸 내용이 해를 끼치며 더 많은 해를 끼치기 전에 해결해야 한다는 점을 매우 분명하게 인식했습니다. Gebru의 논문에서는 "훈련 데이터에 문제가 있는 특성이 있어 성별, 인종, 민족, 장애 상태에 따른 고정관념적이고 경멸적인 연관성을 인코딩하는 모델이 탄생하는 것으로 나타났습니다."라고 밝혔습니다. "백인 우월주의, 여성 혐오, 노인 차별 등의 견해가 훈련 데이터에 과도하게 표현되어 일반 인구의 유병률을 초과할 뿐만 아니라 이러한 데이터 세트에 대해 훈련된 모델을 설정하여 편견과 피해를 더욱 증폭시킵니다."

“판단에는 책임이 따릅니다. 그리고 책임은 결국 인간에게 있습니다.”

언어 모델이 계속 개발됨에 따라 회사는 데이터 세트를 필터링하려고 시도했습니다. 그러나 그들은 "백인 권력"이나 "업스커트"와 같은 단어를 억제하는 것 외에도 LGBTQ 커뮤니티 사람들이 장난스럽게 용도를 변경한 겉보기에 경멸적인 용어인 "트윙크"와 같은 단어도 억제했습니다.

“소외된 인구의 담론을 걸러낸다면, 우리는 비방을 되찾고 소외된 정체성을 긍정적인 시각으로 설명하는 훈련 데이터를 제공하지 못하게 됩니다.”라고 논문은 말합니다.

Gebru은 회사가 그녀와 동료 Google 동료들에게 보고서에서 그들의 이름을 빼달라고 요구했다는 사실을 놓고 논쟁을 벌인 후 결국 Google에서 해고되었습니다. (구글은 무슨 일이 일어났는지에 대해 다른 설명을 가지고 있습니다. 전체 내용은 나중에 다루겠습니다.)