Large language model From Sparse to Dense – Chain of Density Prompting – Adams 2023.9 mahler83, 2023-09-162023-09-16 https://arxiv.org/abs/2309.04269 Chain of Density (CoD) prompt를 개발했음.우선은 sparse summary를 만들고, 순차적으로 dense summary를 만들어나감.500개의 annotated CoD summary를 제공 Density에 따라 clarity vs informativeness tradeoff가 일어남 CoD prompting: 요약문의 길이를 늘리지 않고, 빠뜨린 디테일(missing entity)를 찾아서 추가하기를 반복하는 방식 missing entity Baseline (vanilla prompt) 요약문의 평가 인간 평가자 선호도 Limitations My…
Large language model LLM 추론의 경우의 수를 탐색하는 Tree of Thoughts로 성능 향상 – Yao 2023.5 mahler83, 2023-05-202023-05-23 Chain of Thought이 추론을 단어 하나씩 순차적으로 생성해 접근하는 linear search인 반면, 다양한 작은 단계로 쪼갠 추론을 tree search처럼 찾는 방식인 “Tree of Thoughts”를 제안하는 논문. 복잡한 추론에 높은 성능을 보임 2023 5/17 저자: Shunyu Yao, Dian Yu, Jeffrey Zhao, Izhak Shafran, Thomas L. Griffiths, Yuan Cao, Karthik Narasimhan 원문:…
AI LLM으로 작은 LM을 가르칠 때 추론과정을 포함시켜 학습효율 증가 2023.5 mahler83, 2023-05-092023-07-19 Distilling step-by-step이라는 방식으로 적은 학습데이터와 작은 모델로 높은 성능을 낼 수 있다는 논문 (2023 5/3) 저자: Rylan Schaeffer, Brando Miranda, Sanmi Koyejo 원문 https://arxiv.org/abs/2305.02301 SOTA 대형 모델들의 문제는 memory, compute가 부담스럽고 low latency가 필요한 경우에 쓰기 어려움. 그래서 사용하는 방식이 finetuning이나 distillation finetuning: update pretrained small model with human annotated…
Large language model Few-shot 예시를 스스로 생성하는 Synthetic prompting – 2023.2 mahler83, 2023-04-222023-04-22 Chain-of-thought prompting을 할 때 few-shot으로 제공하는 예시를 스스로 생성해서 사용하는 "Synthetic prompting"이라는 방법을 제안하는 논문 (2023 2/1) https://arxiv.org/abs/2302.00618 문제상황: 복잡하고 다양한 예시가 필요한 어려운 문제에 대한 prompting을 사람에게 시키는 것은 비용과 노력이 많이 필요함. 예시를 줄이면 성능이 저하됨. seed example이 주어지면, 두 가지 방식으로 예시를 augmentation 1) backward process: LLM이…