ChatGPT로 LLaMA를 의사로 파인튜닝 시키기

ChatGPT로 doctor-patient conversation을 생성해 LLaMa모델을 fine-tuning시켜 ChatDoctor 모델을 만들었는데, ChatGPT보다 성능이 좋다는 내용 (3/24)

https://arxiv.org/abs/2303.14070

Methods

1. 700개의 질병에 대한 relative symptoms, medical tests, and recommended medications를 수집해서 “disease database”를 만듦.

2. 이걸 프롬프트로 줘서 ChatGPT로 doctor-patient dialogue 5K를 생성함 “InstructorDoctor-5K”

3. medical practitioner가 validation

4. InstructorDoctor-5K로 Stanford Alpaca training methodology로 fine-tuning 수행. (A100 6개로 30분)

Results

– 같은 질문을 ChatGPT와 ChatDoctor에게 하고 blind로 accuracy 평가했을 때 87.5% vs 91.25%로 우리 모델이 우월하게 나옴
예시:

흥미로운 예시

1) pyloric stenosis의 약에 대해 물어봤는데 약이 잘 안 듣는 질병이라 수술에 대해 우선적으로 설명해줌
3) myoclonus에 사용하는 약들이 DDI가 있으니까 약을 추천해주기 전에 이미 먹고 있는 약을 우선 확인함
4) 일산화탄소 중독은 응급이니까 빨리 치료받으라고 권함

5) Wernicke-Korsakoff 치료의 일반적인 약물은 말해주지만 자신이 없는지 신경과 의사를 찾아가라고 권함. (왜 자신이 없지? ㅎㅎㅎ)

Discussions

LLaMa 라이선스 때문에 수익 목적으로 활용 못한다. 의료기기 허가도 안 받았으니 의료용으로 사용 못한다.
정확하다고 충분히 자신이 없으면 의학적 조언을 해주지 않는 장치가 필요하다.
의료자원이 부족한 환경 또는 연구목적으로 활용성이 좋아보인다

My Thoughts

Disease database의 구체적인 내용이 기술이 안 되어서 아쉬움.
Fact grounding을 하면서 큰 LLM(175B)으로 자연스러운 dialogue를 생성하고, 이걸로 작은 LLM(7B)를 fine-tuning시켜 특정 도메인에서 원래보다 높은 성능을 이끌어냄
한국어로 해볼까?

Originally tweeted by 말러팔산 (@mahler83) on 2023-03-28.