아마존, AI로 기술 프로젝트 지출이 폭주한 사례 확인
이커머스 대기업 직원들은 이 신기술로 예산 초과가 발생했으며, 이를 파악하는 데 때로는 수개월이 걸렸다고 말했다.
샌프란시스코의 Rafe Rosner-Uddin
어제 게재
아마존 직원들은 회사가 AI를 도입한 방식의 실수와 지출 통제 부족으로 인해 이른바 “재앙적으로 비싼” 비용 초과가 발생한 사례를 확인했다.
이 사안에 정통한 여러 관계자에 따르면, 수석 엔지니어들은 화요일 직원 회의에서 기존 프로그래밍 방식으로 처리하던 업무를 AI 모델을 활용하는 방식으로 전환하려는 시도가 “예상하지 못한” 지출로 이어졌다고 동료들에게 말했다.
이 관계자들은 엔지니어들이 비용을 억제하기 위한 여러 조치 중 하나로 향후 프로젝트에 적용할 “자동화된” 안전장치를 만들기 위해 작업하고 있다고 전했다.
이 에피소드는 가장 큰 기술 기업들조차 과도한 지출 없이 AI를 일상적인 업무에 통합하는 데 어려움을 겪고 있음을 보여준다.
Amazon의 한 고위 직원은 FT에 “무엇이든 [AI와 관련된 것은] 비용이 얼마나 드는지 파악하기 어렵다”고 말했다.
사람들에 따르면, 이번 주 한 발표에서 직원들은 회사가 Anthropic의 Claude Sonnet AI 모델을 사용해 저자 정보를 그룹의 전자상거래 웹사이트에 등록된 상품 목록과 대조하는 작업에 180만 달러를 지출했지만, 해당 시스템 도입은 실패한 사례에 대해 들었다.
이들이 덧붙인 바에 따르면, 이 지출은 프로젝트 예산을 860% 초과했으며 이를 파악하는 데 5개월이 걸렸다.
Amazon은 “새로운 기술이라면 무엇이든 우리는 이를 어떻게 활용할지 실험하고, 배우고, 개선하고 있으며, 여기에는 비용 효율성을 높이는 방법도 포함된다”고 밝혔다.
직원들은 전통적인 시스템에서는 “터무니없이 저렴했던” 코딩 실수가 팀들이 작업 수행에 AI 모델을 도입하기 시작하면서 “재앙적으로 큰 비용”을 초래하고 있다는 설명을 들었다.
고위 엔지니어들은 직원들에게 이러한 과다 지출이 “고립된” 사건이 아니라고 말했다. 별도의 사례에서 회사는 재무 감사 도구 구축과 관련해 약 54만1,000달러의 예상치 못한 비용을 부담했다.
AI를 활용해 물류 네트워크 전반의 배송 속도를 높이던 세 번째 사건에서는 의도치 않은 지출 13만4,000달러가 발생했으며, 이를 발견하는 데 2주 넘게 걸렸다.
회사는 다음과 같이 덧붙였다. “팀들이 서로에게서 배우는 소규모의 고립된 사례만을 골라내 이를 일상적인 업무인 것처럼 묘사하는 것은 아마존 전반의 팀들이 AI를 활용하는 방식을 반영하지 못한다.”
이 프레젠테이션은 이러한 사례가 약 30만 명의 본사 직원을 고용하고 분기마다 약 1,800억 달러의 매출을 올리는 아마존 내 극소수 팀에 국한된다고 설명했다.
2조5,000억 달러 규모의 아마존은 비용을 줄이고 막대한 AI 투자를 위한 자금 조달을 지원하기 위해 대규모 감원을 단행하고 있다. 아마존은 올해 자본적 지출에 2,000억 달러를 사용할 것으로 예상되며, 이 중 대부분은 AI 및 데이터센터 인프라에 투입될 예정이다.
추천
기업들은 AI 도구 제공업체들이 가격 모델을 변경하면서 AI 도구 도입 비용이 증가하자 이에 대응하느라 고심하고 있다. Anthropic과 OpenAI를 비롯한 AI 연구소들은 일부 서비스를 정액 구독 방식에서 모델이 처리한 데이터 단위를 추적하는 토큰 기반 과금 방식으로 전환했다.
AI 가격 모델의 변화로 기업들은 AI 사용을 가장 고도화된 모델에서 더 저렴한 중간급 버전과 대안으로 옮기고 있다. 여기에는 사용자가 모델을 실행하는 데 필요한 컴퓨팅 파워 비용만 지불하면 되는 오픈 웨이트 모델도 포함된다.
Amazon은 올해 초 직원들의 Kiro 개발 플랫폼 사용량을 순위로 매기던 사내 순위표를 폐쇄했다. 이 순위표가 직원들의 AI 토큰 소비량 부풀리기, 이른바 ‘토큰맥싱(tokenmaxxing)’으로 이어졌기 때문이다.
이 그룹의 경영진은 직원들에게 이 서비스가 ‘선의’로 만들어졌지만 결국 비용을 증가시켰다고 말했다고 FT가 앞서 보도했다.
AI로의 전환, 프리미엄, 매주 목요일
John Burn-Murdoch와 Sarah O'Connor가 전하는 AI의 일의 세계 재편 방식을 심층 분석하는 엄밀한 주간 심층 기사