연구량 급증과 품질 저하에 우려 커져

이 현상에 대한 학계 연구는 두 가지 추세 모두의 배후에 AI가 있을 수 있음을 시사한다.

앤드루 잭

펜실베이니아대학교 와튼 경영대학원의 클라우딘 가르텐버그 부교수는 지난해 학술지 《오거나이제이션 사이언스》 게재 논문을 심사하는 선임 편집자로 활동하면서 우려스러운 흐름을 포착했다. 얼마 지나지 않아 동료 편집자들도 똑같이 문제를 느끼고 있다는 사실을 알게 됐다.

“뭔가 달라졌다는 느낌이 들기 시작했습니다.” 가르텐버그는 말한다. “투고 논문은 늘었고, 논문들의 수준은 떨어진 것처럼 보였지만, 정확히 무엇 때문인지는 짚어낼 수 없었습니다. 근본적으로 뭔가가 바뀌었다고 느꼈습니다. 의심은 있었지만 그것이 무엇인지는 알지 못했습니다.”

그들이 감지한 것은 인공지능의 결과였다고 그들은 믿고 있다. 인공지능이 학습과 교육뿐 아니라 학자들이 수행하는 연구에도 영향을 미치며 전 세계 대학에 근본적인 혼란을 초래하고 있다는 것이다.

가르텐버그와 동료들은 저명한 경영학 학술지의 운영을 맡고 있었기에 해당 학술지의 기록에 접근할 수 있었고, 올봄 AI가 학술 출판을 어떻게 변화시키고 있는지에 관한 최초의 엄밀한 연구 중 하나를 발표했다. 제목이 모든 것을 말해준다. 《더 많이가 더 나은 것은 아니다: 인공지능, 인센티브, 그리고 동료심사의 부상하는 위기》다.

이들은 2022년 이후 학술지 투고 논문이 42% 증가한 원인이 AI였을 뿐 아니라, AI 사용이 다양한 AI 탐지 및 기타 분석 도구를 통해 평가한 논문 품질의 상당한 하락도 설명한다고 주장했다. 이와 함께 논문 게재 여부를 평가하는 동료심사자들의 논평 수준도 떨어졌다. 심사자들은 논문에 담긴 새로운 발견과 데이터보다는 논문이 의존한 이론에 더 큰 초점을 맞췄다.

추천

“AI의 잠재력에 대해 충분히 기대할 만한 이유가 있습니다. AI는 상당한 역량을 실현하게 해주며 매우 흥미롭습니다. 이 분야에서 큰 화제를 불러일으키고 있습니다”라고 그녀는 말했다. “하지만 실제 환경에서 AI를 연구하고 AI가 만들어내는 결과의 전체 분포를 살펴보면, 상황은 전혀 낙관적이지 않습니다.”

이러한 연구 결과는 학계 전반에서 연구자와 심사자 모두를 중심으로 커지고 있는 우려를 반영한다. 3월에는 Penn State 스밀 경영대학원의 재무학 부교수인 Mihail Velikov가 공동 저자로 참여한 논문이 Journal of Economic Literature에 게재됐다. 이 논문은 AI가 데이터를 수집·분석해 단 12시간 만에 출판 가능한 수준의 재무학 논문을 거의 400편이나 생성할 수 있음을 보여줬다.

Sapienza University of Rome의 부교수인 Luca Fraccascia는 최근 LinkedIn에 자신이 편집을 돕는 학술지의 심사자에게 논문 초안을 공유했을 때 14분 만에 2,127단어 분량의 답변을 받았다고 썼다. 그는 “이처럼 빠른 시간은 말할 것도 없이 이례적이며, 심사 과정의 진실성에 대한 우려를 낳는다”고 말했다.

이는 다른 학자들의 다양한 반응과 사례를 촉발했다. 일부 학자들은 심사자들이 전달받은 기밀 논문 초안을 대규모 언어 모델에 업로드하면서 원저자들의 지식재산권을 위협할 수 있다는 우려를 제기했다. ChatGPT와 같이 LLM을 사용하는 AI 도구는 입력받아 검토하도록 요청된 데이터를 보관하고 해당 자료를 학습한다.

AI 교육 보고서 더 보기

AI 연구소들, 6조 달러 규모 교육시장에 본격 진입; 대학은 학생들에게 AI ‘평가’ 역량을 길러줘야 한다; AI가 교실에서 비판적 사고를 없애고 있는가?

AI가 확산하고 있는 다른 학문 분야에서는 이러한 왜곡이 생명을 위협하는 결과로 이어질 수 있다. 2월에 발표된 연구에서 타이베이 츠치병원의 Joshua Wang이 이끈 연구진은 AI로 분석한 의료 기록을 활용해 의대생들이 작성한 여러 논문에서 방법론적 결함을 지적했다.

그와 공동 저자들은 “빅데이터와 자동화된 분석 도구에 쉽게 접근할 수 있게 되면서 설계가 부실한 역학 연구가 빠르게 양산될 수 있으며, 이는 집단적으로 의학 문헌의 질에 위험을 초래한다”고 경고했다. 여기에는 인과관계가 없는 무의미한 상관관계와 통계적으로 유의미한 결과를 만들어내기 위한 데이터 분석 조작, 즉 ‘P-해킹’이 포함된다.

더 넓게 보면, AI가 무관하고 점진적인 연구를 더욱 늘려 논문 생산량을 크게 증가시키고, 그 결과 학술지가 연구 결과를 감당하고 독자가 이를 흡수할 수 있는 역량을 위협하고 있는지를 두고 논쟁이 벌어지고 있다.

“일정한 양의 업무를 처리하는 데 이제는 [연구 보조원]도, 제 시간도 덜 필요하지만, 제 인생에서 이보다 더 바빴던 적은 없습니다.” Igor Strebulaev, Stanford Graduate School of Business

학계의 모든 사람이 연구 분야에서 AI의 확산을 비관적으로 보는 것은 아니다. University of Chicago Knowledge Lab의 수장인 James Evans는 발표된 학술 논문을 넘어, 실제로 성공한 과학자들이 어떻게 사고하는지를 더 폭넓게 분석하는 ‘인간을 이해하는 인공지능’의 잠재력을 옹호해 왔다.

그러나 그는 최근 논문에서 다음과 같이 경고하기도 했다. “인공지능이 과학적 발견을 가속화할 것이라는 대담한 전망은 실제로 연구를 수행하는 과학자들의 증거보다 앞서 나갔다 . . . 온갖 기대에도 불구하고 오늘날의 과학 AI는 여전히 상상력과 산출물, 판단이 인간의 현실적 이해를 바탕으로 할 때 더 큰 혜택을 얻는 협력자에 해당한다.”

Stanford University Graduate School of Business 교수인 Igor Strebulaev는 이 기술을 활용하면서 과거라면 인간 연구조교(RA)들이 장기간 프로젝트를 수행해야 했을 데이터를 훨씬 더 빠르게 수집하고 분석할 수 있게 됐다고 말한다. 이러한 역량은 차세대 학자를 채용하고 훈련하는 전통적인 경로를 위협할 수 있다.

그러나 그는 다음과 같이 말한다. “이제 일정한 분량의 일을 하는 데 필요한 RA 수와 제 시간은 줄었지만, 지금은 훨씬 더 많은 일을 더 잘, 더 깊이 할 수 있기 때문에 평생 그 어느 때보다 바쁘게 지내고 있습니다. 그러려면 더 큰 팀이 필요합니다.”

Gartenberg 역시 사안을 단순하게 보지 않는다. 다만 그녀는 AI와 함께하는 미래의 불확실성에 대해 경고한다. “AI는 연구 과정에서 가치사슬의 더 높은 단계까지 계속해서 잠식하고 있습니다.”

워킹 잇, 수요일마다

직장에서 앞서 나가는 데 필요한 모든 정보를 매주 수요일 받은편지함에서 확인하세요