■ 배경

• 케임브리지 대학 인공지능정책프로그램(Cambridge Programme on AI Science & Policy, CASP) 연구진은「What if automating AI R&D triggers an intelligence explosion?」이라는 논문을  지난 9월에 발표했다. 

• 이 작업에 참여한 기관으로 CASP뿐만 아니라, GovAI, OpenAI, Microsoft, Anthropic, University of Toronto, Mila, UC Berkeley, University of Oxford 등이 이름을 올렸다.

• 그 밖에 Geoffrey Hinton, Yoshua Bengio, Eric Horvitz, Jack Clark 등 AI 분야 석학들도 공동 저자로 참여했다. 

• 이 논문은 최근 AI가 R&D 파이프라인의 상당 부분을 자동화하기 시작했다는 점에 주목하고, 수 많은 연구 인력과 오랜 연구 기간이 압축되는 “intelligence explosion”, 즉 지능폭발이 일어날 것이라 예상하고 있다.

• 이 자료는 AI R&D 자동화가 가져올 수 있는 고위험·고영향 시나리오를 조기에 검토하고 정책 준비를 앞당겨야 한다는 경고와 함께 대안도 함께 제안하고 있다.

■ 주요내용

• 글의 핵심 질문은 AI가 AI 연구개발을 자동화하면 기술진보 속도가 급격히 빨라질 수 있는가이다. 저자들은 지능폭발을 “AI가 주도하는 AI 진보의 극적인 가속”으로 정의하며, 과거에는 수년이 걸렸을 발전이 몇 달 또는 그 이하로 압축되는 질적 변화를 의미한다고 설명한다. 특히 소프트웨어 기반 지능폭발에 주목한다. 알고리즘·코드·데이터·훈련과정 개선은 개선된 AI를 곧바로 다음 R&D 과정에 재투입할 수 있기 때문이다.

• 논문이 제시하는 지능폭발 메커니즘은 두 단계다. 

 - 첫째, AI 시스템이 AI R&D 업무를 더 빠르고 더 잘 수행하면서 사실상 R&D 인력을 대폭 확장한다. 

 - 둘째, 이렇게 확장된 자동화 R&D 인력이 다시 더 나은 AI 시스템을 만들어내고, 그 시스템이 다시 R&D 인력을 더 확장하는 재귀적 피드백 루프가 형성된다. 

• 저자들은 AI 시스템이 AI R&D에 충분히 능숙해지면 현재 한 프런티어 AI 개발자가 보유한 컴퓨팅 자원만으로도 수백만 명의 최상위 인간 연구자에 해당하는 자동화 R&D 인력을 운용할 가능성까지 예측한다

• 다만 논문은 지능폭발이 반드시 일어난다고 단정하지 않는다. 오히려 여러 제약도 함께 제시한다. 대표적으로 연구 성과의 체감효과, 컴퓨팅·데이터 제약, 자동화하기 어려운 연구과제, 장시간 훈련이 필요한 실험 과정 등이 속도를 늦출 수 있다. 

• 그럼에도 AI R&D 자동화의 속도와 잠재적 영향이 크기 때문에 정책적 선제 대응이 필요하다고 주장한다.

• 논문이 제시하는 위험은 세 가지로 요약된다. 

 - 첫째, AI 역량 증가 속도가 사회·정부·규제기관의 대응 속도를 크게 앞지를 수 있다. 

 - 둘째, 초인적 AI 시스템에 대한 인간 통제력을 상실할 위험이 커질 수 있다. 

 - 셋째, 국가·기업·정부 부문 간 권력 견제 장치가 약화될 수 있다. 

• 반대로 잠재적 편익도 있다. 의료 치료법 발견, 과학기술 난제 해결, 생산성 향상 등 AI가 가져올 수 있는 이익이 크게 앞당겨질 수 있다는 점이다. 

• 정책 대응으로는 세 가지 우선순위가 제시된다. 

 - 첫째, 프런티어 AI 기업 내부에서 AI가 R&D를 어느 정도 자동화하고 있는지 가시성 확보가 필요하다. 

 - 둘째, 지능폭발이 발생할 경우 이를 조정하고 제약할 수 있는 거버넌스 수단, 예를 들어 평가·감사·격리환경·배포조건·사고대응 절차 등을 마련해야 한다. 

 - 셋째, 실제 지능폭발이 발생했을 때 사회가 적응할 수 있도록 정부 대응시간 단축, 비국가 행위자의 오용 대비, 정부의 AI 사용 안전장치, 국제 신뢰구축과 협정 등을 준비해야 한다.

■ 시사점

• 첫째, AI 거버넌스의 초점이 모델 출시 이후의 활용 규제에서 AI 개발 과정 자체의 관리로 이동하고 있다. 

 - 지금까지 AI 정책은 개인정보, 저작권, 허위정보, 교육 활용, 산업 적용 등 주로 사회적 사용 단계에 집중해왔다. 

 - 그러나 이 논문은 AI가 AI 개발 자체를 가속하는 순간, 규제와 정책이 사후 대응 중심으로는 따라가기 어렵다고 경고한다.

• 둘째, 국가 AI 전략에서 AI R&D 자동화 지표가 중요해질 수 있다. 

 - 단순히 모델 성능, 컴퓨팅 자원, 논문 수, 특허 수를 보는 것만으로는 부족하다. 

 - 앞으로는 AI가 연구코드 작성, 실험 설계, 모델 튜닝, 데이터 생성, 오류 수정, 연구관리 등 R&D 파이프라인의 어느 부분을 얼마나 대체·증강하고 있는지 추적해야 한다. 

 - 이는 한국의 국가 AI컴퓨팅센터, K-문샷, AI for Science 전략과도 직접 연결된다.

• 셋째, 과학기술인재 정책의 관점에서도 변화가 필요하다. 

 - 미래 연구자는 단순 코딩·모델링 능력보다 문제정의, 검증, 안전성 판단, 실험 설계, 윤리적 의사결정, AI 시스템 감독 역량이 더 중요해진다. 

 - 과학교육과 STEM 교육도 AI를 잘 쓰는 방법을 넘어, AI가 산출한 연구결과를 해석·검증하고 사회적 위험을 판단하는 역량을 포함해야 한다.

• 넷째, 과학소통 측면에서는 ‘지능폭발’과 같은 고위험 AI 담론을 대중에게 어떻게 설명할 것인지가 중요하다. 

 - 이 주제는 과장되거나 공포 중심으로 전달될 위험이 크지만, 동시에 국가 정책과 시민적 논의가 필요한 사안이다.

 - 따라서 과학소통전략에 있어서 지능폭발을 단순한 SF적 시나리오로 다루기보다, AI R&D 자동화, 연구생산성, 안전성, 권력 집중, 사회적 적응이라는 구체적 쟁점으로 풀어내야 한다.

■ 결론

• 이 저작물은 AI 위험 논의를 추상적 미래 담론에서 AI R&D 자동화라는 구체적 메커니즘으로 접근했다는 점에서 의미가 크다. 

• 핵심은 AI가 단순히 여러 산업을 자동화하는 것이 아니라, AI를 더 강하게 만드는 연구개발 과정 자체를 자동화할 경우 기술진보의 시간표가 급격히 앞당겨질 수 있다는 것이다.

• 한국은 AI 인프라, 독자 파운데이션 모델, AI for Science, K-문샷 등을 추진하는 과정에서 AI R&D 자동화의 생산성 효과뿐만 아니라 안전성, 검증, 통제, 사회적 적응 문제를 함께 설계해야 한다.

• 과학교육·과학문화 정책도 이러한 흐름을 반영해 AI를 활용하는 역량뿐만 아니라 AI 발전의 조건과 위험을 이해하고, 시민이 민주적으로 논의할 수 있는 소통 기반을 마련할 필요가 있다.

■ 출처

• Chan, A. et al. (2026). What if automating AI R&D triggers an intelligence explosion? Frontier AI Working Paper Series No. 2/2026, Cambridge Programme on AI Science & Policy, University of Cambridge. arXiv
• CASP, University of Cambridge. What if automating AI R&D triggers an intelligence explosion? 보고서 페이지.