GPT가 직업에 미치는 영향 – OpenAI 논문

Generative Pretrained Transformers(GPTs)는 General Purpose Technologies(GPTs)인가?
라는 도발적인 질문에 답하는 논문 (3/20)

원문: https://arxiv.org/abs/2303.10130

“Our research serves to measure what is technically feasible now, but
necessarily will miss the evolving impact potential of the LLMs over time.”
언어모델이 시간에 따라 인류에게 어떤 분야에서 어느 수준의 영향을 미치는지 분석/예측하는 것 자체가 하나의 거대한 학문분야다…

"a positive feedback loop may emerge as LLMs surpass a specific performance threshold,
allowing them to assist in building the very tooling that enhances their usefulness and usability across various
contexts."
LLM이 LLM 발전을 가속화시키는 양성피드백이 일어남

직업의 목록과 그 직업이 하는 일을 담은 O*NET 이라는 데이터베이스로 각 직업이 Exposure가 얼마나 되는지 평가함. exposure: 해당 직업의 일을 하는데 50% 이하로 시간단축 되는지. 사람과 GPT-4가 각각 평가해봤는데 평가가 비슷하더라

“General-purpose technologies (e.g. printing, the steam engine) (GPTs) are characterized by widespread proliferation, continuous improvement, and the generation of complementary innovations”
General purpose technology라는 게 인쇄술, 증기기관 같이 전세계 모든 분야에 영향을 미친 기술을 말함… GPT 언어모델이 이런 수준의 기술이라는 주장.

직군의 인원에 따라 받는 영향이 차이가 없어보임

직업에 필요한 skill 기준으로
영향 덜받음: Science, Critical Thinking, Active Learning, Mathematics
영향 많이 받음: Programming, Writing, Reading comprehension, Active listening

수입이 올라갈수록 언어모델의 exposure를 많이 받으나, 최고 높은 직군(뭘까이게?)은 상승하지 않고 오히려 약간 꺾이는 양상

직업에 필요한 training 기간에 따라 비교하면 zone 1(3개월)부터 Zone 5(4년이상)로 갈수록 exposure가 증가함. 즉, 숙련도가 높은 직업일수록 영향을 많이 받음. 단, Zone 5가 Zone 4보다 낮거나 약간 낮음(빨강보다 노랑이 아래에)

이건 본문 설명이 없어서 잘 이해가 안 되는데… Animal Scientists는 왜 이렇게 높지? 행동실험 분석이 자동화될거란 소린가?

"The power of relatively simple UI improvements on top of LLMs was evident in the rollout of ChatGPT – wherein versions of the underlying model had been previously available via API, but usage skyrocketed after the release of the ChatGPT interface."
그러게…

"One way this might take shape is that an augmentation phase where jobs first become more precarious (writers become freelancers) could play out prior to full automation."
LLM을 잘 쓰는 사람들이 못 쓰는 사람들의 일감을 가져가는 기간이 지나면 그 직업 자체가 자동화되어버리는?

"Our analysis indicates that approximately 19 % of jobs have at least 50% of their tasks exposed to GPTs when
considering both current model capabilities and anticipated GPT-powered software."

결론:

GPT는 GPT가 맞다. 기술적으로는 인간의 노동을 더 효율적으로 할 것이 확실하지만, 사회적/경제적/규제/기타요소가 효율성에 어떻게 영향을 미칠지는 확실치 않다

GPT의 발달로 인간 노동, 직업의 질, 불평등, 기술개발, 그외에도 여러가지 어떻게 영향을 미칠지 추가연구가 필요하다. 이걸 이해해서 policymaker, stakeholder들이 informed decision을 해야한다

그리고 GPT-4보고 결론을 적으라고 한 것을 첨부함 ㅋㅋㅋㅋㅋㅋ

# LLM assistance statement
GPT-4 and ChatGPT were used for writing, coding, and formatting assistance in this project.

이렇게 마지막에 추가해놨네… 요즘 논문들은 AI툴 이용하면 명시하라는 추세니까

소감:

O*NET 27.2 database라는 직업을 “자연어”로 기술해놓은 데이터를 사람이 평가 vs LLM이 평가한 데이터를 비교. 거기다가 여러 wage, employment, demographics 데이터를 결합해서 내용을 엄청 풍성하게 만들었음. Exposure의 정의가 다른 연구에서도 통용되는지 궁금함.

과거에는 tabular 데이터가 아니고 자연어로 된 데이터는 분석하기 어려웠다면, 이제는 LLM으로 분석 작업을 맡길수가 있음. 데이터셋 일부에서 LLM이랑 인간의 분석이 충분히 비슷하다는 검증을 하고 나머지 데이터셋은 LLM에게 맡기면 scale-up이 가능함

내 분야와 Social study 경계에 걸친 부분에 어디 활용할 수 없을까 계속 고민해봐야할 듯

Originally tweeted by 말러팔산 (@mahler83) on 2023-03-20.

CC BY-NC-SA 4.0 This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.

Leave a Comment

Time limit is exhausted. Please reload CAPTCHA.