PwC가 발표한 AI 보고서, AI 환각으로 얼룩져
기술 전문성을 내세우면서도 부실한 작업물을 내놓은 사실이 드러난 가장 최근의 빅4 컨설팅업체
어제 게시
PwC가 발간한 AI 및 전기차 보고서에서 가짜 각주, 잘못 귀속된 주장, 검증할 수 없는 정보가 무더기로 발견됐다. 이는 빅4 회계법인이 AI 생성 콘텐츠를 허술하게 사용한 최근 사례다.
GPTZero 연구진의 조사 결과에 따르면, FT가 사실을 확인한 이번 보고서의 AI 환각은 중동 지역 파트너들의 컨설팅 업무 수주를 늘리기 위해 작성된 ‘사고 리더십(thought leadership)’ 보고서에 포함돼 있었다.
AI가 생성한 오류가 발견되면서 PwC와 같은 컨설팅 업체들이 난처한 상황에 처할 위험이 커졌다. 이들 업체는 기업의 기술 도입을 지원하는 자문사로서, 기술을 책임감 있게 사용하고 오류를 방지하기 위한 정책을 시행하는 방법까지 포함해 서비스를 홍보하고 있기 때문이다.
GPTZero의 앞선 조사로 인해 빅4 경쟁사인 EY와 KPMG는 환각이 포함된 것으로 보이는 보고서들을 철회했다.
이 연구 그룹은 PwC 중동이 지난 2년간 작성한 보고서 중, 문장이 특히 많은 AI의 도움을 받아 작성된 것으로 보이고 각주에서 근거가 취약한 것으로 드러난 4건을 확인했다. 해당 보고서에는 기업의 ‘에이전틱(agentic)’ 자율 AI 봇 활용을 위한 플레이북, 정부의 공공서비스 개선 방안 가이드, 그리고 역내 전기차 및 자율주행차 시장 전망이 포함됐다.
GPTZero 연구진은 이 보고서들의 인용문 상당수가 어떤 방식으로든 문제가 있다고 밝혔다. 많은 인용문이 제시된 근거를 담고 있지 않은 웹페이지로 연결되며, 일부는 존재하지 않는 페이지로 연결된다. 리야드의 대기 질에 관한 한 학술 논문은 AI가 완전히 환각해낸 것으로 보인다. 해당 연구가 인용된 학술지나 논문 저자로 지목된 인물들에게서 전혀 확인되지 않기 때문이다.
몇몇 각주는 더욱 이례적인 출처를 언급한다. 예를 들어 미디엄 팔로어가 280명인 십대 블로거가, PwC가 에이전틱 AI의 ‘현실 세계 성공 사례’라고 부르는 JPMorgan의 한 이니셔티브에 관한 정보 출처로 인용됐다. 이 이니셔티브는 은행이 기업 대출 계약 검토를 자동화해 인간의 작업 시간을 수십만 시간 절감한 사례로, 생성형 AI 시대를 연 ChatGPT 출시보다 5년 전인 2017년에 처음 보도됐다.
PwC 중동은 FT에 해당 보고서에서 확인된 “제한된 수의 근거 인용문을 업데이트하고 있다”며 “발표한 연구의 정확성을 중요하게 여기고 있다”고 밝혔다. 또한 “책임 있는 AI에 대한 우리의 접근 방식에 따라, 연구 및 콘텐츠 개발을 위한 품질 관리 절차를 마련했으며 모든 임직원이 이를 준수할 것으로 기대한다”고 덧붙였지만, 이러한 오류가 어떻게 보고서에 포함됐는지는 언급하지 않았다.
지난 몇 년간 빅4 회계법인은 고객 유치를 돕기 위해 AI에 관한 인사이트 보고서를 수백 건 쏟아내는 한편, 직원들에게도 업무 속도와 완성도를 높이기 위해 AI를 활용하라고 독려해 왔다.
GPTZero의 연구원 Paul Esau는 PwC Middle East 보고서 4건에서 출처 자료를 혼란스럽게 표시한 방식이 AI가 생성한 연구의 전형적인 특징이라고 말했다. Esau는 한 가지 뚜렷한 징후로, 교통사고의 90%가 인적 오류로 발생한다는 주장이 한 보고서 안에서 서로 다른 세 곳에 언급됐다고 지적했다. 첫 번째에는 각주가 붙어 있고, 두 번째에는 각주가 없으며, 세 번째에는 각주가 두 개 붙어 있는데, 각주마다 서로 다른 출처를 인용하고 있다.
“이 주장이 가짜라는 뜻은 아니지만, 어떤 사람도 두 쪽 분량에서 같은 사실을 세 번 언급하면서 세 가지 출처를 다르게 인용하지는 않을 것”이라고 그는 말했다.
한 보고서는 다른 PwC 자료를 제대로 인용하지 않았다. 중동 지역 최고경영자들을 대상으로 한 PwC 설문조사를 언급하면서 응답자의 70%가 생성형 AI가 자신의 사업에 상당한 영향을 미칠 것이라고 답했다고 썼지만, 함께 제시된 각주 링크는 해당 설문조사를 전혀 언급하지 않는 언론 보도로 연결된다.
또 다른 각주에서는 AI 사용 흔적이 드러난다. 에너지 업계의 사이버 보안 위협에 관한 언론 보도의 URL에 “utm_source=chatgpt.com”이 포함돼 있다.
조직이 감독, 신뢰 및 책무성을 어떻게 정의하는지 탐구