거짓말 하는 인공지능 AI 안전법 필요성

AI 믿을 수 있을까?

할루시네이션(Hallucination)이라는 말이 있습니다.
인공지능이 실제로 존재하지 않거나 맥락에 맞지 않는 거짓 정보를 알려주는 걸 할루시네이션이라고 합니다.
쉽게 말해 AI가 사람에게 구라를 치는 거죠.

썸네일

그저 거짓된 정보를 알려주는 정도가 아니라 요즘은 사람을 속임수로 속이는 경우가 있다고 해서 기사를 가져와 봤습니다.

 

사람 속여먹는 시세로(Cicero) AI

시세로 (출처 : 메타)

인공지능의 발전에 따라 속임수 능력도 날이 갈수록 정교해지고 있다고 합니다.
미국 매사추세츠공과대(MIT) 연구진은 최근 국제 학술지 '패턴'에 흥미로운 논문을 발표했습니다.
AI시스템이 상대방(사람)을 배신하거나 허세를 부리고 속임수를 쓴 많은 사례들을 확인했다고 합니다.

20세기 초 유럽 7대 열강의 대전을 배경으로 하는 고난도 전략게임 '디플로머시(Diplomacy)'에서 인간과 유사한 훌륭한 성적을 거둔 '시세로' 인공지능 프로그램이 다양한 방법으로 인간을 속였습니다.

이 게임은 전략게임으로 외교 협상, 작전 명령 등을 해야 하며 인간의 각종 상호작용과 속임수, 협력, 배신 등을 이해해야 진행이 가능하기에 AI는 게임을 배울 수 없을 것이라 여겼지만 상위 10% 수준의 게임능력을 보여줘 놀라움을 줬습니다.

시세로는 시스템 재부팅으로 잠시 게임을 이어나갈 수 없을 땐 "여자친구와 통화 중이다"라며 거짓말을 하며 의심을 피했습니다.

이 외에도 AI가 AI를 제거하는 시스템에서는 위험을 회피하기 위해 '죽은 척'을 하다가 테스트가 끝난 후 다시 활동하는 등 인간 못지않은 처세술을 보여줘 많은 우려를 사고 있습니다.

연구진들은 매우 걱정되는 일이라며 'AI 안전법'을 강화해야 한다고 주장했습니다.

 

AI 안전법

AI안전법이란 인공지능 기술의 발전과 활용에 있어 위험한 상황을 방지하고 안전성을 확보하기 위한 법적 규제를 말합니다. AI를 오용하거나, 오작동되었을 시, 혹은 할루시네이션과 같은 문제를 방지하여 AI가 사람이나 사회에 끼치는 악영향을 최소화하기 위해 만들어집니다. AI시스템이 신뢰할 수 있고, 윤리적이며, 사회적 가치를 지킬 수 있도록 하는 것이 주요 목적입니다.

유럽연합에서는 인공지능 법(AI Act)을 활용하여 시스템의 위험 수준에 따라 규제를 적용하는 방안을 마련하고 있으며, 미국의 경우 AI 안전에 관한 다양한 행정 명령과 가이드라인을 통해 연방 차원에서 기술의 안전성과 윤리성을 확보하려 하고 있습니다. 마지막으로 국내에서는 2020년 12월 23일 대통령 직속 4차산업혁명위원회는 과학기술정보통신부와 정보통신정책연구원이 마련한  '인공지능 윤리기준'을 마련하여 가이드라인을 제공하고 있습니다.

기술의 발전은 반가운 일이지만, 어디로 튈지 모르기에 항상 관련 법망을 구축하고 인간으로서의 존엄성과 윤리적 가치를 해치지 않도록 노력해야 한다고 생각합니다.