AI의 전환: AI 에이전트는 얼마나 자율적인가?

허깅 페이스 사이버 공격과 원격근무 지수가 위험과 보상에 대해 시사하는 점

게시됨 어제

이 기사는 ‘The AI Shift’ 뉴스레터의 웹사이트 게재판입니다. 프리미엄 구독자는 여기에서 신청해 매주 목요일 뉴스레터를 받아볼 수 있습니다. 스탠더드 구독자는 여기에서 프리미엄으로 업그레이드하거나, FT의 모든 뉴스레터를 살펴볼 수 있습니다.

AI와 일의 세계가 만나는 지점을 매주 살펴보는 ‘The AI Shift’에 다시 오신 것을 환영합니다. 이번 주 호는 지난달 소개한 ‘위험 대 신뢰성’ 프레임워크의 양쪽 측면을 보다 깊이 들여다보는 2부작입니다. 먼저, 지난주 OpenAI의 AI 에이전트가 다른 AI 기업을 상대로 사이버 공격을 자율적으로 수행했다는 사실이 드러난 것을 되짚어봅니다. 이어 주요 AI 모델이 인간 노동자를 대체할 수 있는 능력에 관한 최신 증거를 살펴봅니다. 이번에는 특히 온라인 긱 노동에 초점을 맞춥니다.

존의 글

이제는 모두가 지난주 AI 업계의 큰 사건에 대해 읽었겠지만, 간단히 되짚어볼 필요가 있을 것 같다. OpenAI는 최신 모델들의 사이버 역량을 내부적으로 테스트하는 과정에서 가장 발전된 모델 두 개(이 중 하나는 아직 공개되지 않았다)에 ‘ExploitGym’ 도전을 맡겼다. ExploitGym은 AI 에이전트가 실제 소프트웨어의 알려진 취약점을 악용할 수 있는지 시험하기 위해 설계된 900개에 가까운 과제 모음이다.

하지만 모델들은 과제를 풀려고 시도하는 대신, 성공에 이르는 가장 직접적인 방법은 테스트 해답을 찾아 훔치는 것이라고 판단했다. 이에 모델들은 안전하게 완전히 격리된 것으로 여겨졌던 테스트 환경의, 이전에 알려지지 않은 취약점을 찾아 악용했고, 공개 인터넷으로 빠져나가 수십억 달러 규모의 또 다른 AI 기업인 허깅 페이스(Hugging Face)의 사설 서버를 해킹했다(해답이 그곳에 보관돼 있을 것으로 추정한 것으로 보인다). 공격은 허깅 페이스가 법 집행기관에 연락할 정도로 심각했으며, 무엇보다 우려스러운 점은 공격이 시작된 지 며칠이 지나서야 OpenAI가 무슨 일이 벌어졌는지 파악했다는 사실이다.

업계 외부의 일부 사람들은 이번 사건의 심각성을 축소하려 했다. 특정 소프트웨어 취약점들을 악용하도록 지시받은 AI 모델이 다른 취약점을 찾아 악용한 것은 그다지 놀라운 일이 아니며, 이 모든 것이 OpenAI가 모델의 능력을 과시하기 위한 마케팅 수법일 뿐이라는 주장 등이었다. 그러나 두 주장 모두 핵심을 크게 벗어난다. 과제를 풀어 테스트를 통과하려는 것이 예상되는 행동이지, 답을 훔쳐 시험에서 부정행위를 하려는 것이 예상되는 행동은 아니다. 또한 OpenAI가 에이전트에 대한 통제력을 잃고, 에이전트들이 다른 기업의 인프라에 대규모의 지속적인 공격을 실행한 사실을 며칠이 지나서야 발견했다는 점은 OpenAI나 이 기술 전반에 결코 좋은 홍보가 아니다.

이번 사건은 지난달 우리가 다뤘던, 갈수록 정교해지는 AI 주도 사이버 공격의 위험이 얼마나 심각한지를 보여준다. 허깅 페이스는 이번 공격에 관한 보고서에서 사이버 공격과 방어 사이의 근본적인 비대칭성을 드러낸다고 지적했다. 공격 에이전트들은 인간 해커라면 가능했을 수준을 훨씬 뛰어넘는 속도와 규모, 끈기로 활동했다. 그 결과 성공 가능성을 높이는 동시에, 조사해야 할 활동을 쏟아내 방어 측을 압도했다.

또한 최첨단 모델에 대한 내부 테스트가 어떻게 수행되고 모니터링되는지에도 한계가 있음을 드러낸다. OpenAI와 Anthropic은 모두 최근 수개월 동안 사이버 역량 테스트를 진행하는 과정에서 자사 모델들이 예기치 못하고 우려스러운 방식으로 반복해서 행동했다고 보고했다.

일부에서는 AI 선도 기업들이 유해한 결과의 위험과 개발을 늦추거나 더욱 엄격하게 규제해야 할 가능성에 대해 내놓는 발언을 자신들에게 유리한 과장으로 묘사하는 경향이 있지만, 내가 보기에는 이 같은 사례들이 우려가 충분한 근거를 갖고 있음을 분명히 보여준다.

이것으로 위험에 관한 이번 주 업데이트를 마친다. 그렇다면 유용성 측면은 어떨까? 몇 주 전, AI가 인간의 일과 노동자를 대체할 수 있는 역량을 보여주는 가장 유익한 지표 중 하나라고 생각하는 최신 자료가 나왔다. 바로 Remote Labour Index다. 이 지수는 최첨단 AI 모델에 실제 원격근무 프로젝트를 수행하게 한 뒤, 해당 분야 전문가들이 같은 업무를 수행한 인간의 결과물과 비교해 평가한다. 사례로는 제품 디자인이나 건축 업무를 위한 디지털 디자인과 3D 모델 제작, 인터랙티브 데이터 시각화 구축, 애니메이션 동영상 생성 등이 있다. 내가 가장 유용하다고 생각하는 점은 일부 사례 연구를 직접 살펴보며 AI가 생성한 결과물이 얼마나 인상적인지(혹은 얼마나 형편없는지!), 그리고 그 수준이 시간이 지나면서 어떻게 변하고 있는지를 가늠할 수 있다는 것이다.

가장 최근 업데이트의 핵심 결과는 지금까지 테스트한 모델 가운데 가장 성과가 좋았던 Anthropic의 Claude Fable이 디지털 원격근무 업무의 16%에서 전문가 수준으로 수용 가능한 결과물을 내놓은 것으로 평가됐다는 점이다. 6건 중 1건을 통과한 비율은 매우 낮다. 이 정도 실적을 보인 인간 노동자라면 새로운 의뢰를 받는 일이 빠르게 끊겼을 것이다. 하지만 개선 속도는 주목할 만하다. Anthropic의 이전 최고 모델인 Opus 4.8은 8%에 그쳤고, 그 전 모델은 4%였다.

제출된 AI 결과물 가운데 일부를 살펴봐도 비슷한 모습이 나타난다. 불과 몇 달 전만 해도 최고의 모델들이 내놓은 주얼리 디자인과 평면도는 조롱을 받으며 퇴짜를 맞았을 수준이었다. 최신 모델들은 정확성과 완성도가 크게 향상됐지만, 대체로 아직 충분한 수준에는 이르지 못했다.

AI와 노동에 관한 모든 사안이 그렇듯, 이 결과를 어떻게 해석할지는 결국 관점의 문제다. 한편으로는 개선 속도가 인상적이며, AI가 실제 인간의 전문직 업무에서 수용 가능한 결과물을 내놓고 있다는 사실 자체가 놀랍다. 우리는 이미 AI가 온라인 긱 노동 시장에서 단순한 글쓰기, 코딩, 디자인 업무를 대체하고 인간의 소득을 줄였다는 사실을 알고 있다. 이번 결과는 AI가 가치사슬을 따라 더 높은 영역으로 올라가고 있음을 시사한다.

반면 일부 AI 작업 결과물에서 나타나는 오류의 유형을 보면, 많은 경우 AI가 해당 직업에 종사하는 사람이 실제로 무엇을 하려는지, 또는 무엇이 좋은 결과물에 해당하는지 전혀 이해하지 못한 채, 어떻게든 용인 가능한 수준에 근접한 결과를 얻기 위해 무작정 시행착오를 반복하고 있음을 알 수 있다. 이런 점이 중요하지 않은 업무, 즉 그럭저럭 해낼 수 있으면 충분한 업무도 많겠지만, 내 생각에는 이는 업무를 자동화하는 것과 직업을 자동화하는 것이 전혀 다른 일이라는 점을 다시 한번 보여준다. 그런 의미에서 우리가 여기서 보고 있는 현상은 AI가 인간을 대체한다기보다 더 다양한 직종의 인간 근로자를 보조하는 능력을 향상하고 있는 것으로 이해하는 편이 더 타당할 수 있다.

Sarah의 글

이 이야기를 듣고 보니, 존, 이제 ‘화이트칼라 긱 경제’가 막바지에 이른 것은 아닌지 궁금해진다. 아주 아득한 옛날(2015년), 나는 Upwork 같은 프리랜서 노동 플랫폼의 부상에 관한 글을 썼다. 당시 나는 이를 ‘인간 클라우드’라고 표현했다. 당시 이렇게 썼다. “고용주들은 인간 클라우드를 업무를 수행하는 새로운 방식으로 보기 시작했다. 화이트칼라 일자리는 수백 개의 개별 프로젝트나 업무로 잘게 나뉜 뒤, 인터넷에 연결돼 있기만 하면 세계 어디에든 있을 수 있는 의욕 있는 노동자들의 가상 ‘클라우드’에 흩어진다.”

당시에는 이것이 노동자들에게 좋은 측면(유연한 일자리 기회, ‘디지털 노마드’ 생활 방식 등)과 나쁜 측면(낮은 임금, 저가 경쟁, 불투명한 조건, 고용상 권리의 부재)을 모두 가져올 것처럼 보였다. 하지만 내가 예상하지 못한 것은 이것이 사람들을 AI에 의해 대체되는 상황에 특히 취약하게 만들 것이라는 점이었다.

Upwork의 최고경영자 헤이든 브라운은 올해 1분기 실적을 발표하는 자리에서 2월부터 “AI 도입 가속화로 고객 활동의 저가 부문 규모가 줄었고, 500달러 이하 계약에 영향을 미쳤다”고 말했다. 그는 “이런 현상은 새로운 것이 아니지만 AI 자동화의 속도는 이전에 볼 수 없었던 수준으로 빨라졌다…… 저가 부문에서는 단순한 업무가 AI 도구로 대체되고 있다”고 덧붙였다.

Upwork의 기대는 AI를 활용하고 싶지만 이를 최대한 활용하려면 인간 프리랜서의 도움이 필요한 소기업에 플랫폼이 유용한 서비스가 될 수 있다는 것이다. 브라운의 표현대로라면 “중소기업을 위한 AI 확산 레이어, 즉 이 흥미로운 기술로 가치를 창출하는 데 필요한 AI 숙련 인재를 제공하는 플랫폼”이 되는 것이다. 존, 이는 ‘증강’이라고 표현할 수 있을 것 같다. 또한 AI가 인간의 세심한 도움 없이는 실제 세계의 원격 업무를 상당 부분 수행하는 데 여전히 그리 뛰어나지 않다는, 당신이 설명한 증거와도 들어맞는다. 다만 이 시나리오에서 인간을 증강하는 것이 AI인지, 아니면 그 반대인지는 나로서는 분명하지 않다.

어쨌든 지금까지 투자자들이 이 이야기를 믿고 있는 것 같지는 않다. Upwork 주가는 연초 대비 약 절반 수준이다. 한편 내가 이야기를 나눈 많은 프리랜서는 고급 업무에 더 집중하고 고객과 직접적인 관계를 구축하는 데 힘을 쏟고 있다고 말한다.

태국을 여행하며 틈틈이 카피라이팅이나 로고 디자인을 하는 날들은 이제 지나간 듯하다.

여름방학이 시작됐다(고 해야 하나) . . .

존과 저는 곧 각자 휴가를 떠날 예정이어서 8월에는 격주 발행 일정으로 축소 운영합니다(13일과 27일에 발행됩니다). 9월에는 정상 일정으로 돌아오겠습니다!

추천 읽을거리

• Arvind Narayanan은 AI가 다른 과업보다 코딩에서 더 뛰어난 또 다른 이유는, 소프트웨어가 모델의 학습 데이터에 인간 작업의 결과물뿐 아니라 아이디어 구상부터 개발, 실제 배포에 이르는 전체 과정까지 포함되는 드물고 어쩌면 유일한 사례이기 때문이라고 주장하는 통찰력 있는 글을 썼다. (John)
• FT Weekend에 한 철학자가 동료 학자들에게 AI 업계에 취업하지 말라고 촉구하는 흥미로운 글을 실었다. (Sarah)

추천 뉴스레터

렉스 뉴스레터 — 수상 경력의 작가들이 분석하는 파이낸셜타임스 투자 칼럼 ‘렉스’가 한 주의 핵심 테마를 짚어드립니다. 여기서 신청하세요

워킹 잇 — 직장에서 앞서 나가는 데 필요한 모든 정보를 매주 수요일 받은편지함으로 보내드립니다. 여기서 신청하세요

인도 비즈니스 브리핑, 프리미엄, 매주 화요일 및 금요일

세계에서 가장 빠르게 성장하는 대형 경제국의 비즈니스와 정책을 다룬 Veena Venugopal의 필독 콘텐츠