우울한 AI 연구자를 위한 생존전략 2023.3 mahler83, 2023-04-152023-07-19 우울한 AI 연구자를 위한 제언 (3/31)Julian Togelius, Georgios Yannakakis https://arxiv.org/abs/2304.06035 1. Introduction 잘 지내고 있니? 응 나도 힘들어. Scaling law의 시대에 엄청난 자원을 쏟아부어 SOTA를 달성하는 회사들을 보면, 동료 연구자와 건강한 경쟁을 하던 것과 다른 결의 분노가 일어나. 주니어 AI 연구자들을 위한 제안을 몇 가지 해볼게 2. Give up! 세상을 움직이는 발견을 하는 걸 포기하고, 적당히 자잘한 페이퍼도 내고 연구비도 따오는 방법. 포기하면 편해 3. Try scaling anyway 클라우드에 쓸 수 있는 $50k 연구비를 땄다고 치자. 그런데 마인크래프트에서 다이아 곡괭이 만드는법을 배운 AI agent 학습에 V100 x 9일 x 720개가 들어갔다? 수백k임 ㅋㅋ 그래도 50k 정도면 준수한 규모야. 이정도면 prototype, PoC 실험은 가능해문제는 여기서 몇 달, 몇 년간 더 scale-up해야 한다는건데 이게 쉽지 않아. Academia에 있으면서 몇 년간 한두명이 first로 이름 올리는 결과물이 나온다, 문제 있지? 4. Scale down 새로운 방식의 접근을 toy problem으로 간단히 구현하는거야. Behavior transformer 논문처럼. 문제는 요즘에는 폴리곤이 보이는 조잡한 스샷은 사람들이 리트윗을 안 해줘. 그리고 언어모델 쪽은 scale down이 사실상 불가능.. 5. Reuse and remaster 요즘 AI가 빨리 발전하는 배경에는 코드나 모델을 공개하는 추세 덕분이지. 라떼랑은 다르네. 공개된 모델을 가져다가 특정 문제를 해결하는 접근이 가능해. 문제는 요즘 거대모델들이 작은 문제들도 다 잘해서 그것도 점점 쉽지 않게 되고 있어.. 6. Analysis instead of synthesis 공개된 모델의 또다른 활용 방법은 그걸 분석하는거야. 요즘 모델들은 몇 B, 몇 T 파라미터다, emergent하다 뭐다 해서 어디까지 가능한지 잘 이해를 못하고 있거든. 창의적으로 건들여보고 더 잘 이해할 수 있는 데이터를 내는 것도 의미가 있어. 내부의 동작회로나 세세한 기전을 밝히는 건 나중에 더 큰 모델을 개발하는데 도움이 되고, 오동작을 일으킬 때까지 괴롭히는 것도 방법! 창의적인 마인드셋으로 접근해봐 7. RL! No data! 데이터가 없는 게 문제일 때 강화학습도 생각해봐. 그런데 availability, analysis, storage, handling문제는 피해가도 compute 문제가 여전히 남아. 요즘 RL은 다들 많은 걸 요구하잖아. 그래도 4번의 Scale down이랑 조합해서 어찌저찌 해볼만한 여지는 있을거야. 8. Small models! No compute! Compute 문제는 작은 모델을 쓰는 전략으로 우회 가능하지. 특정 문제를 해결하는데 필요한 최소한의 모델을 만드는 걸 생각해봐. Edge AI는 메모리도 작고 결과도 즉시 필요하는 상황이잖아. 개인정보 보호 이슈 때문에 로컬 모델도 필요할거고. Green AI 운동과도 통해 작은 모델이 제일 잘하는 영역은 점점 줄어들지만, 앞으로 훨씬 많이 사용하게 될거야. 작은 모델들에 대해서 정확하게 이해하고 내부 작동원리를 밝혀내는 일들이 가치 있다는 이야기지. 9. Work on specialized application areas or domains Industry에서 관심을 안 가질법한 좁은 영역을 찾아서 거기서 선두주자가 되는 방법도 있어. 우리도 그러고 있어. 00년대에 게임을 연구하거나, SVM이나 회귀모델이 판치던 시절에 뉴럴넷, 딥러닝을 연구하거나, multiagent learning이나 cognitive/affect modelling을 하던 시절에 강화학습을 연구하던 사람들이 이런 전략을 취한 사람들이야. 그런데 관심사에서 벗어난 영역이라는 건 장점인 동시에 단점이 돼. 컨퍼런스에 제출해도 잘 안 받아줌… 10. Solve problems few care about. 9번이랑 비슷한데 좀 더 극단적으로 끌고 가면, 아무도 관심을 안 가지는 문제를 정의하고 해결하는 방식도 가능해. 우리도 15년 전에 게임에서 procedural content generation이라는 새로운 개념을 가져왔고, 지금은 deep RL에서 많이 쓰게 됐잖아. 주변을 한 번 둘러보고, AI를 안 하는 사람들한테 한 번 물어봐. AI를 제일 안 쓸 것 같은 영역이 있어? 그런데 세월이 지나면 뭔가 될 것 같은 영역이야? 거길 한 번 파보는 걸 추천해. 11. Try things that shouldn’t work Industry는 안 될 것 같은 곳에는 돈을 못 넣거든. 이런 데에서 academia의 장점을 살려보는 건 어때? 안 되는 곳을 파고들어 그게 될 때까지 일해보거나 아니면 왜 안 되는지를 정확하게 연구하는거지. 12. Do things that have bad optics 윤리나 도덕적 문제가 있을만한 영역은 큰 회사일수록 도전하기 힘들어. PR문제가 생기면 CEO가 짤리거든. 그래서 작은 회사들이 삽질을 끝내놓은 걸 사들이는 식으로 해결하고 있지. 그런데 작은 회사도 못 하는 것들이 있어. Academia에서 짤리지 않을 안정성이 확보된 상황이면 회사에서는 못해볼 것 같은 일들을 해보는 건 어때? Chuck Tingle처럼 글을 쓰는 작가 AI를 만들거나, 지금 네가 읽고 있는 이런 쓸데 없는 글을 실명을 글고 아카이브에 올린다거나. 물론 불법적인 건 안 돼! 몇 가지 키워드를 줄게: nudity, sexuality, rudeness, religion, capitalism, communism, law and order, justice, equality, welfare, representation, history, reproduction, violence. 이런 건 아마존이나 구글이 건들기 어려운 주제 같지 않아? 13. Start it up, Spin it out! 아카데미아에서 회사로 spin-out하는 것도 좋은 전략이야. 우리도 http://modl.ai를 세우면서 많은 걸 배웠어. 기관 내에만 있었으면 접해보지 못했을 real-world data도 보고, 산업표준의 높은 요구치도 충족시켜보고, 잘 풀리면 자금도 인력도 scale-up! 하지만 명심해야 할 것들이 있어 1) 모든 좋은 연구 주제가 좋은 비즈니스 모델은 아냐 2) 논문에 SOTA라고 적은 거랑 돌아가는 비즈니스가 되는 거랑 엄청난 괴리가 있어. 스타트업이 하는 일은 development이지 research가 아냐 3) 투자를 잘 받더라도 늘 부족해. 대학원생 인건비를 생각하면 안 돼 4) 애초에 아카데미아를 선택한 샌님들은 이 바닥이랑 안 맞을 가능성이 높아 우리가 논문을 많이 내는 건 학교 일이고, 세상에 실질적으로 세상에 영향을 미치는 건 회사 일이라고 생각하고 있어. 14. Collaborate of jump ship! 여기까지 읽어도 large scale에 미련을 못 버리고 있다면, 데이터와 compute를 가진 곳과 교류를 하면 돼! 지리적으로 가까우면 자꾸 교류를 하고, 멀면 공동연구를 하거나 인턴십을 보내고, 어떤 경우는 연구실 전체가 회사로 옮겨간 경우도 봤어. 문제는 거기서 파생된 IP가 출판 불가능한 경우도 많고, industry 기반의 랩에서 일하고 싶지 않아하는 경우도 있다는 것. 그리고 대학의 공공성은 AI연구자들을 교육하고 계속 배출하는 건데, 그게 약화되거나 필요없어지게 되는 문제점을 지적하는 이들도 있겠네. 15. How can large players in industry help? 집단으로 AI 연구자들이 우울증에 빠진 상황에서 큰 회사들이 뭘 할 수 있을까? 주주의 이익을 추구하는 입장에서 별로 할 수 있는 게 없긴 한데 – 기본 모델을 공개하는 것 – 아카데미아와 협업을 많이 하는 것 – 계획과 진행상황을 계속 공개 너무 폐쇄적으로 가지 말고 적절한 수준에서 공개하면서 아카데미아와 협업을 많이 했으면 좋겠어. 이 사람들이 의외로 공짜로 많은 걸 해줄 수 있거든 16. How can universities help? 중요한 건 대학에서도 혁신을 주도하겠다는 꺾이지 않는 마음. 굵직한 논문들을 보면 회사와 대학의 합작이 많아. 대학에서 직원들이 좀 더 risk-taking을 할 수 있는 환경을 만들어줘야 해. 꾸준한 논문과 연구비 수주를 전제조건으로 하는 채용/승진 기준을 좀 바꿔 17. Parting words 집단 우울증에 조금이나마 도움이 되기를 바라면서 이 글을 적어봤어. Academia와 industry를 다 경험해본 입장에서 하고 싶은 이야기들도 좀 있었고, 이 글을 계기로 앞으로 우리가 어떻게 살면 좋을지 많은 이야기가 나왔으면 좋겠어. 지금이 이런 이야기를 나눌 때라고 생각해. My thoughts: – AI 쪽은 자본을 가진 거대한 회사들이 선도하고 있고, 국가 연구비나 쫌쫌따리 받아서 연구하는 대학 연구자들은 혁신적인 연구가 사실상 불가능해진 것 같다.– 밥먹으면서 동생한테 조언해주는 말투의 글이라 재미있게 읽었다.– 굳이 대학이 혁신을 주도해야 하나? 초반에 말한 여러가지 전략들로도 대학에서 할 일이 넘쳐날 것 같다.– 나는 9. Work on specialized application areas or domains 이거지 Originally tweeted by 말러팔산 (@mahler83) on 2023-04-15. Share this:FacebookX AI My Thoughts
블로그 이전 완료 2023-07-172023-07-17 2023년 7월 17일 PHP 버전 8.2 서버로 이전 작업 완료! 기존 서버의 PHP버전이 5번대라서(…) Duplicator plugin이 동작하지 않아 다음과 같은 방식으로 작업했다. 추후 필요한 작업 Share this:FacebookX Read More
My Thoughts AI시대에 필요한 코딩과 시스템설계 능력 2024-03-222024-03-22 AI 시대가 도래함에 따라 우리는 AI와 어떻게 상호작용해야 할지에 대해 고민하게 된다. 많은 사람들이 현재의 AI를 마치 1-2년 뒤의 AI처럼 생각하며 활용하려 하지만, 실제로는 기대만큼의 결과를 얻지 못하곤 한다. AI에게 “이것 좀 해줘!”라고 요청하는 것만으로는 부족하다. 원하는 결과를 얻기 위해서는 AI가 처리 가능한 작은 단위의 작업들로 세분화하고, 단순한 프로그래밍으로 해결할… Share this:FacebookX Read More
Ideas 배달음식 선택 도우미 시스템 2016-01-142016-01-14 재미로 쓰는 프로젝트 기획서 ㅋㅋ Purpose of project 밥을 시키는 건 언제나 고민인다. 여러가지 조건에 부합하는 메뉴를 골라야 하는데, 직관적으로 메뉴를 고르기에는 옵션들이 머릿속에 항상 들어있는 게 아니고, 장소마다 배달 가능여부가 달라진다. (예를 들어 최후의 보루인 맥도날드 배달이 안 되는 곳도 있다..ㅜㅜ) General concept of how the system works 각 메뉴별로… Share this:FacebookX Read More