머신러닝 개척자가 경고하는 인류 위험

“민주주의 존립과 인류 생존 위협, 안전 설계 없이는 AI 통제 불가능”

 

▶ 캐나다 몬트리올대 컴퓨터과학자이자 2019년 튜링상 수상자인 요슈아 벤지오(Yoshua Bengio) 교수는 과학학술지 네이처(Nature) 11월 12일자 인터뷰에서, AI가 인류에 미치는 위협에 대해 “밤새 잠 못 들게 한다(It keeps me awake at night)”고 강조함

 

▶ 딥러닝 기술의 선구자인 벤지오 교수는 지난해 구글 스칼라(Google Scholar)에서 인용 횟수 100만 건을 돌파한 첫 번째 연구자이며, 현재 30개국과 EU, OECD, UN 대표가 참여하는 국제 AI 안전 자문단 의장을 맡고 있음

 

▶ 그는 2022년 11월 ChatGPT 출시가 전환점이었다고 밝힘. “딥러닝이 그 이정표에 도달한 것을 처음엔 기뻐했지만, 2~3개월 후 우리가 매우 위험한 길(extremely dangerous path)로 가고 있다는 것을 깨달았다”고 회고함

 

▶ 벤지오 교수는 “20년 후 내 손자가 22살이 될 때, 그 아이는 삶을 살 수 있을까? 민주주의 사회에서 살 수 있을까?”라고 물으면서, AI가 제기하는 실존적 위험에 대한 개인적 우려를 드러냄

 

▶ 그는 “미래에 매우 진보된 AI를 통제하는 자는 막대한 권력을 갖게 될 것”이라면서, “민주주의는 권력의 공유인데, 권력이 소수에게 집중되면 그것은 민주주의가 아니라 독재”라고 경고함

 

▶ 벤지오 교수가 올해 발표를 주도한 ‘국제 AI 안전성 과학 보고서(International AI Safety Report)’는 AI 위험을 세 가지로 분류함

 

① 의도하지 않은 오작동 위험(unintended risk from malfunctions)

② 악의적 사용(malicious use) : 딥페이크, 사이버 공격 등은 이미 발생 중이며, “우리는 그 그림자만 보고 있을 뿐”이라고 강조

③ 시스템적 위험(systemic risk) : 일자리 상실, 사회 구조 변화 등 

국제 AI 안전성 보고서는 과학 문헌을 기반으로 현재 이해되고 있는 위험과 완화 방법, 그 한계를 엄밀하게 정리함. 이 보고서는 각국이 설립한 AI 안전 연구소(AI Safety Institute) 네트워크에 큰 도움을 주고 있으며, AI 안전에 익숙하지 않은 과학자들이 이 분야에 진입하는 데 기여하고 있음

▶ 특히 벤지오 교수가 가장 우려하는 것은 ‘인류 멸종 가능성’임. 그는 “이념적 또는 정신건강 문제로 인해 레드 버튼을 누르는 사람들이 있을 수 있다”면서, “AI에게 수십억 명을 죽일 수 있는 끔찍한 일을 요청하는 것, 예를 들어 AI가 극도로 강력한 새로운 바이러스를 퍼뜨리거나, 지구상의 모든 동물 생명을 파괴할 수 있는 거울 박테리아(mirror bacteria)를 만드는 것”이라고 구체적 시나리오를 제시함

 

▶ 이에 대응하기 위해 벤지오 교수와 연구팀은 ‘과학자 AI(Scientist AI)’ 개념을 제안함. 이는 인간 과학자가 세계를 이해하고 인과 메커니즘을 구축하는 방식에서 영감을 받은 설계임

 

▶ 과학자 AI의 핵심은 ‘비행위적(non-agentic)’ 설계임. 그는 이에 대해 “목표도 없고, 의도도 없기 때문에 우리는 그것이 말하는 것을 신뢰할 수 있다”면서 “이 경로를 따르면 이상적인 신뢰성을 갖춘 시스템을 구축할 수 있다”고 설명함

 

▶ 그는 좋은 예측기(predictor)가 있다면 이를 활용해 가드레일(guardrails)을 구축할 수 있다고 강조함. 즉 실험이나 컴퓨터 내 AI의 행동이 나쁜 결과를 초래할지, 그 확률이 얼마인지 예측하는 것이 가능하다는 것임

 

▶ 경제적 영향에 대해 벤지오 교수는 “AI가 전반적인 생산성을 크게 향상시킬 것이기 때문에 GDP 측면에서는 성장할 가능성이 높다”면서도, “문제는 그것이 개인의 웰빙과 어떻게 연관되는가”라고 지적함

 

▶ 그는 “모든 부가 몇몇 국가와 소수에만 집중된다면, 나머지 세계는 그다지 좋은 상황을 맞지 못할 것”이라고 우려하면서, “중위 소득과 평균 소득은 다르며, 이러한 차이는 앞으로 몇 년간 내려질 정치적 결정, 즉 AI가 주는 권력을 어떻게 관리하고 지구상 모든 사람이 혜택을 받도록 할 것인가에 달려 있다”고 강조함

 

▶ 또한 벤지오 교수는 “사람들이 AI에 대해 너무 낙관적”이라고 지적함. “대부분의 사람들은 지금보다 훨씬 똑똑한 기계가 있는 미래를 상상하기 매우 어렵다”면서, “5년 전에 지금의 상황을 예상했느냐고 물으면, 대부분 ‘아니다, 그것은 공상과학’이라고 답했을 것”이라고 언급함

 

▶ 인터뷰 말미에 “AI가 발명되지 않았으면 좋았겠다고 생각하느냐”는 질문에 벤지오 교수는 “어려운 질문”이라고 답하면서, “우리가 집단적으로 재앙적 가능성에 대한 통찰력을 더 가졌더라면, 지금의 상황에 더 신중하게 접근했을 것이라고 생각한다”고 밝힘

<동향리포트>는 글로벌 과학기술문화, 과학·수학·정보 교육 분야의 정책 의사결정자들을 위한

국가별 정책, 연구조사보고서, 유관기관 동향 등 시의성 있는 유용한 정보를 제공합니다.