ChatGPT가 직업적 글쓰기에 미치는 영향에 대한 정량적 연구

ChatGPT가 업무 효율에 어떤 영향을 미치는지 측정한 논문(피어리뷰 거치지 않음)

2023년 3월 6일자로 올라옴

444명의 marketer, grant writer, consultant, data analyst, HR professional, manager에게 ChatGPT 사용 그룹 vs 미사용 그룹으로 나눠 20-30분짜리 작업을 시키고 평가함

Noy, Shakked and Zhang, Whitney, Experimental Evidence on the Productivity Effects of Generative Artificial Intelligence (March 1, 2023). Available at SSRN: https://ssrn.com/abstract=4375283 or http://dx.doi.org/10.2139/ssrn.4375283

원문 PDF 바로 다운로드: https://economics.mit.edu/sites/default/files/inline-files/Noy_Zhang_1.pdf

1st task 수행 후 ChatGPT 사용/미사용하며 2nd task수행하는 방식. (1번째는 baseline으로 활용)

Figure 1. 걸리는 시간은 줄고 / 작업 결과물의 질이 상승
Figure 2. 최고 실력가는 전후 점수 비슷. 실력이 낮은 사람이 더 큰 점수향상을 가져옴(inequality 감소) / 걸리는 전반적으로 일정하게 감소

Figure 3. 보통 구상(25%)-초안(50%)-퇴고(25%) 비율로 시간이 들어가는데, drafting이 줄고 editing이 늘어나는 양상 / 유료결제 의사는 2-1의 결과에도 불구하고 실력과 상관없이 비슷했음
Figure 4. 직업만족도와 자기효능감이 상승함 / AI가 자신의 직업을 대체할 걱정과 도움을 받을 기대감이 모두 증가