Low-code LLM – 블럭코딩 방식으로 상호작용 2023.4

ChatGPT 같은 LLM도구를 이용할 때 복잡한 작업일수록 길고 복잡한 prompt를 적는 것이 굉장히 부담스럽다. 이용자가 수월하게 상호작용할 수 있는 "Low-code LLM"이라는 블럭코딩 같은 UI를 제안하는 논문 (2023 4/17)

원문: https://arxiv.org/abs/2304.08103

기존의 UI는 이용자가 prompt를 작성하고 LLM이 거기에 답을 해주고 말을 주고 받는 챗봇 형식이었음.
Low-code LLM은
1) Planning LLM이 작업 구조를 설계
2) 이용자가 UI를 통해 수정
3) Executing LLM이 명령을 수행
4) 이용자가 UI를 통해 추가 수정을 해서 원하는 결과 나올 때까지 반복

Low-code LLM의 장점

1) 복잡한 작업을 작은 작업단위의 workflow 형태로 변환하기 때문에 이용자가 원하는 결과가 나오도록 컨트롤하기 편함
2) LLM이 무슨 일을 하는지 이해하기 쉽고 빠르고 쉽게 수정 가능
3) 인간의 개입이 도움이 될만한 모든 작업에 널리 적용 가능

Overview

우선 이용자가 뭘 원하는지 간단하게 prompt 입력
Planning LLM이 workflow를 설계함
각 단계는 execution procedure + jump logic으로 구성
이용자의 확인을 거친 뒤 각 단계는 LLM에게 일을 시킬 수 있는 자연어로 변환되어 Executing LLM에게 전달

예를 들어 "사회문제로서의 음주운전에 대한 글 작성"이라는 작업을 한다면 다음과 같은 형태가 된다. 이 중 Step 3는 이용자로부터 구체적인 내용을 추가로 입력받아 진행된다.

Planning LLM의 설계 단계

구성요소
1) Step name, description을 생성해 이용자가 쉽게 수정할 수 있도록
2) Jump logic
각 Step에 sub-forkflow를 만들어 detail 추가 가능

Workflow 수정 UI

sequential, conditional, recursive execution이 가능한 flowchart 형태로 표시해주고 다음 6가지 동작을 제공
– 클릭으로 단계 추가/삭제
– Step name/description 수정
– 클릭으로 Jump logic 추가/삭제
– 드래그로 순서 변경
– 클릭으로 상세내용 추가
– 클릭으로 재생성/승인

Executing LLM

modified flowchart는 natural language workflow로 변환
education prompt를 제공해 workflow를 정확하게 따라가도록 함
수행 과정에 대화형 상호작용도 가능

Application scenarios

LLM이 아무리 발전해도 인간의 개입이 필요한 작업 형태는 늘 존재할 것. 인간의 개입이 복잡하고 긴 prompt를 적는 것보다 GUI 형태로 logic을 제공하는 것이 수월할 것.

실험

1) Long content generation
2) Large project development
3) Task-completion virtual assistant
4) Knowledge-embedded system

1) Advertising: information of manipulation 제목의 글 작성.
광고는 일종의 manipulation이라는 내용의 글 작성
introduction 내용을 이용자가 수정
body 내용을 3개 문단으로 나누고, 1,2문단의 주제를 이용자가 수정. 3문단은 생성된 주제 승인.

(논문 이런 식으로 써보고 싶다…)

2) HP와 CP 수치, 공격스킬 회복스킬을 가진 2인용 게임을 OOP스타일로 python으로 코딩
parent class, player 1 class, player 2 class를 이용자가 수정
player 2 턴에서 하는 동작을 일부 수정
ChatGPT에게 그냥 바로 시켰을 때보다 훨씬 좋은 코드를 작성함

3) 호텔 예약을 해주는 agent 생성
방이 없으면 다른 날짜를 물어보고 상대가 안 된다고 하면 대화를 종료하는 로직 추가
지불수단에 대한 내용 추가
예측 가능한 범위 내에서의 동작을 수행하도록 컨트롤 가능해짐

4) 이력서 작성 도우미
헤더 부분 형식 수정
Personal statement를 적는 단계 추가
이력사항에 key responsibility 내용을 추가
HR 전문가가 이런 식으로 전문성을 이용해 workflow 수정 가능

Limitations

• Planning LLM이 생성한 workflow를 이해하고 수정하는 데에 이용자에게 추가 cognitive load 발생
• 애초에 생성된 workflow가 안 좋은 경우 수정에 들어가는 노력이 너무 많을 수 있다. 이는 LLM 성능이 올라가면 개선될 것
• 이용자가 모르는 분야는 제대로 개입할 수 없다.

앞으로의 활용성

• 점차 복잡한 일을 LLM이 하게 될텐데, 로직을 확인하고 개입하기 편한 형태이다
• LLM뿐 아니라 다양한 HCI 상황에서 활용 가능
• 4가지 예시 외에도 human opinion이 중요한 collaboration 상황은 많이 있을 것이다

Conclusions

• Stronger control over LLMs, user-friendly interaction, wide applicability
• Prompt engineering으로 LLM에게 일을 일방적으로 시키는 형태가 아니라 communication을 통한 collaboration 형태가 되어야 한다.

Acknowledgement

이 논문도 GPT-4를 Low-code LLM 방식을 이용해 작성하였습니다. ???

내 생각

• 내가 ChatGPT를 논문 쓰는데 활용할 때 사용하고 있는 방법과 매우 유사하다. 다만 UI가 저렇게 바뀌면 정말 편할 것 같다. 지금은 명령을 내리려면 일일이 줄글로 타이핑하거나 내가 수정해서 이렇게 수정했다고 ChatGPT에게 제공하고 있었음.
• Prompt engineering을 통한 명령이 아니라 communication과 collaboration이 되어야한다는 데 격한 공감. HCI 측면에서 LLM 발전이 어떤 변화를 가져올지 궁금하다.

Originally tweeted by 말러팔산 (@mahler83) on 2023-04-24.