Large language model ChatGPT API 업데이트 2023.06.13 mahler83, 2023-06-142023-07-19 ChatGPT API의 업데이트 소식: GPT-4, GPT-3.5 Turbo 모두 성능 향상 + Function calling기능 추가 (함수처럼 기능을 기술하고 출력형식을 정하면 JSON 결과를 출력함) GPT-3.5 Turbo 가격 25% 인하, text-emebedding-ada-002 75% 인하 GPT-3.5 Turbo 16k모델 출시 (기존 모델은 4k context window) 드는 생각: 엠베딩 가격이 저번에 1/10로 떨어지고 거기서 또 1/4로 떨어진건데,…
AI LLM으로 작은 LM을 가르칠 때 추론과정을 포함시켜 학습효율 증가 2023.5 mahler83, 2023-05-092023-07-19 Distilling step-by-step이라는 방식으로 적은 학습데이터와 작은 모델로 높은 성능을 낼 수 있다는 논문 (2023 5/3) 저자: Rylan Schaeffer, Brando Miranda, Sanmi Koyejo 원문 https://arxiv.org/abs/2305.02301 SOTA 대형 모델들의 문제는 memory, compute가 부담스럽고 low latency가 필요한 경우에 쓰기 어려움. 그래서 사용하는 방식이 finetuning이나 distillation finetuning: update pretrained small model with human annotated…
Academic writing 논문 리뷰 과제 질문 목록 mahler83, 2021-04-292023-07-19 학생들에게 논문 읽고 리포트를 쓰게 할 때 다음 질문에 답하는 형태로 내도록 하고 있다. 1. 이 논문이 나오게 된 역사적인 이유는? 즉, 이 분야에서 어떤 연구들이 진행되어왔고 어떤 맥락에서 이번 연구가 시작된 것인가? 논문 주제를 잡는 방법을 배우고 introduction에 들어갈 중요한 내용을 배울 수 있는 질문. 2. 이 논문은 어떤…
Uncategorized Rhinology journal endnote style file mahler83, 2016-03-102016-03-10 Couldn’t find a style file for the journal “Rhinolology” at http://endnote.com/downloads/styles, so I had to make one. Use it at your own risk! Style file download: Rhinology.ens (44KB) Journal link: rhinologyjournal.com
Uncategorized 대선조작 음모론 관련 반박 mahler83, 2016-03-012018-08-09 최청년청년이라는 분이 적은 글. 대신 반박근거를 찾아주셔서 감사합니다. http://cafe.daum.net/_c21_/bbs_search_read?grpid=1RLza&fldid=EzjK&datanum=10880 저 내용을 보니 2012년 12월 16일에 작성한 트윗이 klear.com에서는 날짜가 더 과거로 나오는 현상이 다른 계정에서도 관찰된다. 트윗: https://twitter.com/hunpk/status/280308568203333632 klear: http://klear.com/profile/hunpk 오늘은 2016-03-01, 트윗 작성 시각은 2012-12-16으로 1171일 전에 작성된 트윗. 개월수로는 38.9개월전. 그러나 klear에서는 42개월전으로 나온다. -100일 오차가 있는 현상이 나…
analytics 새 기능 – Cohort analysis mahler83, 2015-02-062015-03-05 Google에 Cohort Analysis라는 기능이 신규로 추가되었다. 사이트를 방문한지 0, 1, 2, 3, 4, 5, 6주차인 사람들을 cohort로 묶어서 각 그룹의 이용행태를 분석해주는 것이다. 예를 들어 위의 그림처럼 처음 방문한 사람들은 평균 66개 페이지를 방문하고, 방문이 반복될수록 점점 읽는 글의 수가 떨어지는 것을 볼 수 있다. (아마 오래 이용한 사람일수록…
아기 적금통장 추천 mahler83, 2015-02-022015-02-02 설날이 다가오고 있어서 세뱃돈 받은 걸 넣어줄 통장을 개설하고 왔습니다. [주택청약종합저축]을 추천합니다! 장점은.. – 만기가 “주택청약시”까지로 되어있어서 사실상 만기가 없습니다. 그래서 서류를 들고 은행을 몇 년마다 재방문할 필요가 없습니다. (오예) – 일반 자유적립식 적금보다 이율이 높습니다. 기타 특징은 – 전체 금융권에 은행과 상관없이 1계좌만 만들 수 있습니다. – 5천원 단위로…
새로운 바이러스 창궐 가능성 mahler83, 2014-04-262014-04-26 사우디에서 새로운 바이러스가 번지고 있다고 한다. MERS-CoV (Middle Eastern Respiratory Syndrome Coronavirus) 싸스(SARS)처럼 이름이 “RS”로 끝나는 질병들은 이름이 “호흡기 증후군”으로 끝나는 녀석들이다. 2012년에 처음 나타나 지금까지 전세계에서 250명밖에 죽지 않았지만, 사우디아라비아에서는 백신 개발을 서두르고 있다고 한다. MERS가 위험한 이유: 아직 백신이 없다는 점, 특이한 증상이 없다는 점, 전염 경로가 불분명한…
Can’t focus, reading a paper mahler83, 2013-12-232013-12-23 #lifeAsACode 집중이 안 돼서 논문을 보는 중이다. 할 일은 많은데…
인생이 별로라고 느껴질 때 mahler83, 2013-12-232013-12-23 삶이 짜증날 때, 돌아보면 문제점을 파악하려는 노력조차 안 하면서 짜증을 내고 있는 경우가 많다. 문제를 찾아서 해결하는 데 주력해보자. 문제를 못 찾으면, let’s just be awesome!