인공지능(AI)이 앞으로 세상을 크게 바꿀 것이라는 예측을 부정하는 사람은 거의 없다. 다만 어떻게 바꿀 것인가에 대해서는 전문가들 사이에도 의견이 갈린다. 심지어 AI 기술 때문에 궁극적으로 세상이 좋게 바뀔 것인지(낙관론) 아니면 반대로 나빠질 것인지(비관론)에 대한 의견조차 갈린다.

예를 들어 유명한 미래학자인 레이 커즈와일은 AI가 발달해 인간의 능력을 초월하는 특이점에 도달하면 에너지 걱정은 사라지고 사람은 영생에 가까운 삶을 누릴 것이라고 주장했다.

반면, 천재 물리학자 고 스티븐 호킹은 생전에 “AI는 인류 문명사에서 최악의 사건이 될 수 있다. 기술만능주의의 디스토피아를 막는 대비가 필요하다”고 주장했고, 딥러닝 알고리즘을 개발해 ‘AI의 대부’라고 불리는 제프리 힌턴 교수는 “인공지능이 인류를 멸망시키는 것은 불가능한 일이 아니다. 이런 걱정 때문에 내가 한 일에 대해서 후회하고 있다”고 말하기까지 했다.

하지만 세계는 지금 AI의 뛰어난 생산성과 그로 인한 경제적 가치 때문에 미국 빅테크 기업들을 중심으로 막대한 자원을 투입하며 AI 기술 개발에 매진하고 있다. 우리나라도 ‘AI 세계 3대 강국’ 도약을 주요 국정과제로 삼고, 대통령 직속 ‘국가 인공지능 전략위원회’를 만들고 대규모 연구개발(R&D) 예산을 편성하는 등 국가적 역량을 집중하는 중이다.

이러한 노력에 힘입어 AI 기술은 하루가 다르게 발전하고 있다. 약 3년 반 전 오픈 AI의 챗GPT가 문장(text)을 생성하는 능력을 선보인 후, AI는 곧 글뿐 아니라 그림과 동영상도 활용할 수 있게 됐고, 추론(reasoning) 단계를 거쳐 이제는 자율적으로 행동하는 에이전틱(Agentic) AI 단계로 진입했다. 즉, 이제 사람 개입 없이 AI가 스스로 계획을 세우고 도구를 사용해 완전한 결과물을 산출하는 시대가 온 것이다.

이처럼 AI 기술이 빠르게 발전하면서 비관론자들이 우려했던 사례도 실제로 나타나기 시작했다. 한 예로 최근의 미국-이란 전쟁을 들 수 있다. 이 전쟁에서 미국과 이스라엘은 AI 기술을 총 결합해 이란 지도부를 집단 폭사시키고, 레바논과 이란 내의 공격 목표물을 정하는 등 전쟁에서 AI 기술을 최대로 활용하고 있다.

AI 기술이 평화적 목적보다 먼저 전쟁이라는 파괴적 목적에 본격적으로 활용되기 시작한 것이다. 게다가 전쟁 초기 이란의 한 여자 초등학교가 공습으로 파괴되어 100명 이상의 어린이가 숨지는 참사가 발생했는데 이는 AI가 공격 목표를 잘못 판단했기 때문으로 추정되고 있다. 이처럼 AI 기술의 오류 가능성이 큰 문제로 대두하고 있다.

더구나 사람의 통제를 벗어난 AI는 더욱 호전적이고 강경한 태도를 보인다는 연구 결과도 있다. 얼마 전 영국의 연구팀이 AI 모델을 사용해 워게임 시뮬레이션을 진행한 결과, 21가지 고위험 시나리오 중 20번의 대결에서 핵무기가 사용되었다고 한다.

AI는 윤리의식이나 인류 멸망에 대한 공포심이 없기 때문에 핵무기도 단순히 승리를 위한 효율적 선택지 중의 하나로 간주하고 95%의 확률로 사용했다는 것이다.

최근 미국의 AI 기업 앤스로픽이 내놓은 ‘클로드 미토스’라는 프로그램은 또 하나의 충격을 줬다. 소프트웨어의 결함을 발견하는 프로그램이 반대로 아주 강력한 ‘인공지능 해커’로 작동할 수 있다는 우려가 전문가들 사이에 퍼지자 미국 정부를 비롯해 각국 정부가 그 대응책을 논의하기 시작한 것이다.

우리나라 정부도 주요 IT 기업의 보안책임자들을 소집해 긴급회의를 열었고, 금융위원회는 은행 보험 업계와 대책을 논의한 바 있다. 이처럼 AI 기술의 악용은 인류 문명의 안전을 위협할 수 있다.

물론 AI 기술은 잘 활용하면 생산성을 높일 것이고, 더 나아가 인류 복지 증진에 기여할 수 있을 것이다. 또 현실적으로 세계의 기업들이 AI 기술 개발에 나선 상황에서 우리만 뒷짐 지고 있을 수도 없다. 다만 AI 기술의 오남용에 의한 부작용도 이제 나타나기 시작하니 이에 대한 대비 또한 게을리하면 안 될 것이다.

<오세정 전 서울대 총장 물리천문학부 명예교수>