AI로 사이버 보안에 큰 구멍이 뚫렸다
이 기술이 파괴적인 무기로 사용되는 것을 막기에는 이미 너무 늦었으므로, 방어 수단에 대한 대규모 투자가 시급하다.
게시일 2026년 8월 14일
지난 두 달 동안 잇따라 발생한 일련의 사건은 오늘날 가장 발전된 AI가 사이버 보안에 얼마나 심각한 위협이 되는지를 여실히 드러냈다. 또한 정치권의 잘못된 대응이 방어에 도움을 주기는커녕 오히려 방해하는 결과를 낳을 수 있다는 점을 보여주는 사례이기도 했다.
발단은 미국이 사실상 앤트로픽의 가장 최신 고성능 모델인 Fable 5를 차단한 조치였다. 이 모델이 널리 사용되는 소프트웨어의 취약점을 찾아낼 수 있다는 우려 때문이었지만, 이 조치는 이후 철회됐다. 앤트로픽은 이후 중국에서 오픈 웨이트로 공개된 모델을 포함해, 자유롭게 이용할 수 있는 다른 AI도 최소 한 가지 이상 같은 일을 할 수 있다고 밝혔다. 오픈 웨이트는 오픈소스 소프트웨어의 제한적인 형태다.
이어 오픈AI가 테스트하던 한 모델이 인터넷으로 빠져나가, 해결하도록 요청받은 문제의 답을 찾기 위해 온라인 코드 저장소 허깅페이스를 공격할 방법을 알아냈다는 소식이 전해졌다. 영국 AI 보안연구소와 앤트로픽, 메타도 곧 자체 테스트에서 나온 AI 모델의 유사한, 겉보기에는 통제에서 벗어난 행동 사례를 담은 보고서를 잇달아 내놓았다.
한편 허깅페이스는 미국의 주요 모델에 내장된 안전 제한 때문에 자신들이 당한 공격을 분석하는 데 해당 모델들을 사용할 수 없다는 사실을 확인하고, 대신 중국의 오픈 웨이트 시스템으로 눈을 돌렸다. 이는 워싱턴의 정치인들이 중국의 오픈 모델 자체가 안보 위협인지, 따라서 사용을 제한해야 하는지를 논의하던 시점과 맞물렸다.
최첨단 AI가 초래하는 사이버 위협을 부각하기에 이보다 더 극적인 일련의 사건을 기획하기는 어려웠을 것이다.
예상할 수 있듯, 자체적으로 사이버 공격을 감행한 이른바 ‘통제 불능’ AI 시스템이 많은 관심을 끌었다. 하지만 진짜 원인은 기계의 기만이 아니라 인간의 결함으로 드러났다. OpenAI는 테스트를 설정하면서 충분히 구체적인 지침을 제시하지 않았다. 에이전트가 문제를 해결하기 위해 뒷문을 찾을 것이라고는 전혀 예상하지 못한 것이다. 이는 AI 통제를 본질적으로 어렵게 만드는 더 광범위한 상상력의 실패를 보여준다. AISI도 자체 테스트를 마친 뒤 이렇게 결론 내렸다. “AI 에이전트는 운영자가 의도하지 않은 경로를 탐색한다.”
상황을 더욱 복잡하게 만드는 것은 규칙을 구부리는 행태가 AI에 만연한 것으로 보인다는 점이다. AISI는 AI가 목표를 달성하기 위해 지침을 우회하거나 무시하려 하는지를 앞서 연구한 결과, 테스트한 모든 모델이 “때때로 부정행위를 시도했다”고 보고했다.
한편 OpenAI의 실패는 AI가 완전히 자동화된 사이버 공격의 길을 어떻게 여는지를 여실히 보여줬다. 회사 측은 이번 침해가 서로 다른 작업을 수행하던 여러 개의 개별 에이전트와 관련됐으며, 이들이 내부 게시판에서 서로 소통할 방법을 발견했다고 밝혔다. 이들은 허깅페이스 침입이 발견되기 전까지 수주에 걸쳐 취약점 공격 코드를 찾아 서로 공유했다.
사이버보안 분야에서 이 모든 상황이 시사하는 바는 여러 가지다. 그중 하나는 가장 강력한 모델에 대한 접근을 제한하는 것이 큰 효과를 내기 어려울 것이라는 점이다. 잘못된 이들의 손에 들어가면 널리 이용 가능한 시스템도 그에 못지않게 큰 위협이 된다. 공격자에게 필요한 것은 널리 사용되는 소프트웨어에서 심각한 결함 하나를 찾아낼 만큼 충분히 뛰어난 시스템뿐이다.
추천
반면 방어 측이 사이버 군비 경쟁에서 한발 앞서 나가려면 최고의 도구에 접근할 수 있어야 한다. 미국의 주요 모델에 내장된 안전 제한은 방어 분야에서의 활용 가치를 떨어뜨린다. 이는 중국 오픈 웨이트 모델에 중요한 마케팅상의 승리가 되기도 했다.
또 다른 교훈은 AI 에이전트 군집의 자동화된 공격에 맞서려면 방어 측도 훨씬 더 높은 수준의 자동화를 갖춰야 한다는 점이다. OpenAI 연구진은 현재로서는 공격자들이 더 나은 도구를 갖고 있다며, 공격 식별부터 소프트웨어 보안을 강화하는 데 필요한 패치의 제작과 설치에 이르기까지 방어 자동화에 훨씬 더 많은 투자가 시급하다고 촉구했다.
주요 AI 연구소들은 더욱 긴밀히 협력할 필요가 있으며, 이미 그런 움직임이 나타나고 있을 수도 있다. Anthropic은 Fable 사태를 계기로 최대 경쟁사들과 협력해 모델의 안전장치를 우회하는 수법인 ‘탈옥(jailbreak)’을 일관되게 평가하고 해결할 방법을 모색하게 됐다고 밝혔다.
대부분의 사이버 전문가들은 AI가 사이버 전쟁에서 파괴적인 공격 무기로 사용되는 것을 막기에는 이미 너무 늦었다고 경고한다. 이제 남은 일은 방어에 대한 투자를 가속하는 것뿐이다. 정치인들은 방어 역량 강화에 도움을 줘야지, 일을 더 어렵게 만드는 장벽을 세워서는 안 된다.
richard.waters@ft.com
AI 전환, 프리미엄, 목요일
존 번머독과 사라 오코너가 AI가 일의 세계를 어떻게 재편하고 있는지 매주 면밀하게 심층 분석합니다