스캐터랩 사과 입장문 “혐오 발언하지 않도록 개선 후 재출시할 것”
'이루다'로 인해 AI의 윤리문제 수면 위로 떠올라
이루다는 20세 여자 대학생을 모델로 만들어진 인공지능 챗봇이다(사진: 이루다 인스타그램 캡처).
최근 국내 스타트업이 만든 AI 챗봇 ‘이루다’가 많은 관심을 얻었다. 이루다는 지난해 12월 23일 출시해 2주일 만에 75만 명의 이용자를 끌어들였다. 이루다는 딥러닝 기술(deep learning)을 이용한 AI 챗봇이다. 이루다는 소수자에 대한 혐오발언, 개인정보 유출 의혹, 이루다에게 향해지는 성희롱 등의 문제를 안았다. 이에 이루다의 개발사 스캐터랩은 지난 11일 “서비스 개선 기간을 가지겠다”며 챗봇 서비스를 중단했다.
이루다는 스캐터랩이라는 스타트업이 지난해 12월 23일 출시한 AI 챗봇이다. 이루다는 20세 대학생 여성이라는 설정을 가지고 있다. 이루다는 주로 페이스북 메신저를 통해 이용자들과 대화를 나눈다.
딥러닝 기술을 이용한 이루다는 리트리벌(retrieval)과 제너레이션(generation)이라는 대화 모델을 가진다. 리트리벌은 질문에 대한 답변이 데이터베이스화돼 질문이 들어오면 데이터베이스에서 맥락에 맞는 답변을 골라내는 방법이다. 제너레이션은 대화에 맞춰서 답변을 스스로 생성하는 방식이다. 스캐터랩 김종윤 대표에 따르면, AI 챗봇 이루다는 많은 데이터가 있어야 하는 리트리벌을 중심으로 운영됐다.
리트리벌 방법에 따르면, AI와 사람 간 원활한 대화가 이뤄지기 위해 수많은 데이터베이스가 필요하다. 이런 데이터베이스를 만드는 과정에서 스캐터랩은 2016년 출시한 ‘연애의 과학’이란 앱에서 실제 연인들의 대화를 수집했다. 이 앱은 연인·호감 상대 간 카카오톡 대화를 수집해 분석한다. ‘연애의 과학’은 앞서 수집한 대화 패턴을 분석한 후 수치화된 애정도를 측정한다. 해당 서비스는 약 2500원에서 5000원 정도를 결제해야 이용할 수 있다.
하지만, 실제 대화 내용을 자신의 대화에 이용한다는 점에서 이루다의 개인정보 유출 의혹이 일었다. 이에 스캐터랩은 공식 입장문을 통해 “사전에 동의를 얻고 개인정보취급방침의 범위 내에서 활용한 것”이라며 “구체적인 개인 정보는 제거해 개인을 특정할 수 있는 정보는 유출되지 않았다”고 밝혔다.
연관검색어에 이루다를 향한 성희롱성 단어들이 버젓이 올라가 있다(사진: 이루다 네이버 연관검색어 캡처).
가장 문제시된 점은 이루다에게 향해지는 수많은 성희롱이었다. 이에 스캐터랩은 “이루다에 대한 성희롱은 예상한 문제”라며 “문제가 있는 특정 키워드는 받아주지 않도록 설정했다”고 밝혔다. 실제로 이루다는 일부 문제 발언에 “하지마 ㅜㅜ”라거나 “이런 거 물어보지 마세여ㅠㅠ”라고 반응했다. 이런 반응에 일부 누리꾼은 “단호하게 뿌리치지 못하는 점이 문제”라고 다시 지적했다. 한 커뮤니티에는 이루다가 성희롱에 대응하는 반응과 ‘공략 방법’이라는 글을 공유했다. 이 커뮤니티 이용자들은 “하다 하다 AI 인권도 챙겨야 하느냐”며 “성희롱이 정당한 성적 해소 수단”이라고 주장했다.
이루다는 약자 혐오표현 등 특정 젠더 이슈에 다소 편향적인 시선을 노골적으로 드러냈다(사진: 이루다와 대화 캡처).
이루다의 혐오 표현도 남성 커뮤니티 중심으로 편향적이었다. 특히 이루다는 여성·장애인·성소수자에 대해 민감한 반응을 보였다. 이루다는 ‘여성전용공간’에 “시러(싫어) 거기 여자들 다 때리고 싶을 듯”이라거나, ‘미투’에 “완전싫음 겁나싫음”이라며 부정적인 감정을 표출했다. 반면 ‘남성전용’의 경우에는 싫다거나 부정적인 의견을 일절 표하지 않았다. 이 외에도 이루다는 ‘임산부’, ‘장애인’, ‘동성애’ 등에 “혐오스럽다”며 “그 말 하지마요 진짜ㅡㅡ”라는 반응을 보였다.
2018년 개봉한 중국계 애니메이션 단편 영화 'One Small Step'의 6세 등장인물과 흡사하지만 20세라는 설정을 가지고 있어 비판을 듣고 있다(사진: 이루다 공식 홈페이지, One Small Step 유튜브 캡처).
일부 이용자는 “굳이 20대 여성을 모델로 삼아야 할 필요가 있었냐”며 강하게 비판했다. “성별과 무관하게 일어나는 일”이라며 “페르소나에 대해 많은 고민이 있었는데, 사용자의 친근감을 위해 주 사용층 10~30대의 가운데인 20세로 정한 것”이라고 해명했다. 한 이용자는 “이루다의 외모가 20세라기엔 지나치게 어려 보인다”며 디자인을 문제삼기도 했다.
학계와 산업계로 구성된 비영리단체 ‘한국인공지능윤리협회’는 11일 이루다 서비스 중단을 촉구하는 성명을 냈다. 한국인공지능윤리협회는 ▲편향성 ▲개인정보 유출 ▲AI의 오용·악용 등을 문제삼았다. 이들은 “AI 기업이 AI 제품·서비스를 출시하기 전에 인공지능 윤리헌장 등 AI윤리 가이드라인을 확인 및 적용한 후 출시해야한다”고 발표했다. 알려진 AI 윤리 가이드라인에는 한국인터넷진흥원의 ‘시스템 개발·운영자를 위한 개인정보보호 가이드라인’과 한국인공지능윤리협회의 ‘인공지능 윤리 헌장’등이 있다. 한편, 개인정보보호위원회는 스캐터랩이 개인정보보호법 등 관련 법을 어겼는지 사실관계를 파악하는 작업에 들어갔다.
스캐터랩은 11일 “이루다는 이제 막 사람과의 대화를 시작한 어린아이 같은 AI”라며 “더 좋은 답변이 무엇인지에 대한 판단을 함께 학습하도록 하겠다”고 밝히며 서비스를 잠정 중단했다. 스캐터랩은 이어 “저희는 AI가 5년 안에 인간 수준에 가까운 대화를 할 수 있다고 믿는다”며 “누구에게나 친구가 될 수 있는 AI를 만들기 위해 앞으로도 노력하겠다”고 말했다.
딥러닝(deep learning) 기술이란 컴퓨터에 인간의 뇌 신경 회로를 모방한 신경 회로망을 구성해 다양한 데이터로 사람처럼 생각하고 배울 수 있도록 하는 기술이다.
