Today, I will review a new paper that was released yesterday. This research comes from Sergey Levine’s team, a prominent figure in the AI and RL domains. They propose fine-tuning Vision-Language Models (VLM) with Reinforcement Learning (RL) to enhance performance in optimal decision-making tasks within multi-step interactive environments. The paper presents a simple approach that outperforms both GPT-4 and Gemini. This research is similar to my own ideas for solving challenges in embodied AI. Therefore, I will review this paper and organize its key concepts.

이번에는 4D generation (3D generation + motion)에 대해 리뷰해보도록 하겠다. 이 연구는 Nvidia에서 발표한 논문으로 여러 모델을 사용하여 4D generation을 진행하는 것을 목표로하였다. 아직은 발전할 것이 많아보이지만 그래도 새로운 연구 방향으로써 4D가 주목받고 있고 연구를 하기에는 최적의 주제라고 생각한다.

이번에는 Q-transformer에 이어 딥마인드에서 공개한 Embodied AI인 RT-2에 대한 리뷰를 진행해보도록 하겠다. 이전에 RT-1과 Q-transformer가 로봇 데이터만을 가지고 Transformer를 학습시켜 Imitation learning을 진행했다면 이번에는 Internet Scale에서 학습된 Vision Language 모델을 사용하여 로봇 데이터를 추가해 더욱 Generalization 성능이 뛰어난 모델을 개발하는 연구이다. GPT를 써보았다면 이미 이미지를 통한 Reasoning의 수준이 놀라운 수준이고, 이를 활용하면 실제 로봇을 만들 수 있다는 상상을 할 수 있을 것이다. 이 논문은 그 상상을 직접 실험으로 증명하고 검증한 논문이다. 이 논문을 통해 더 좋은 성능의 Embodied AI가 개발될 것이라는 확신을 가지게 되었다.

이번 포스팅에서는 3D generation 모델 중에서 Zero123를 리뷰해 볼 것이다. Zero123는 diffusion model을 카메라 각도에 따른 이미지를 생성하도록 finetuning하여 3D generation을 진행한다는 매우 간단한 아이디어에서 출발한 논문이다.

이번 포스트에서는 현재 다양한 3D generation 모델의 기초가 된다고 볼 수 있는 DreamFusion에 대해서 리뷰해볼 것이다. 이 논문은 구글 리서치와 버클리에서 진행한 연구이고, 2D diffusion 모델을 사용하여 NeRF를 학습시켜 3D generation 모델을 만들 수 있다는 사실로 주목받았다. 현재는 video prior, 2D와 3D를 결합한 prior 등을 이용하여 다양한 연구가 나오고 있다. 앞으로 3D generation 모델들에 대해 리뷰를 진행하기 위해 알아두어야하는 논문이기 때문에 자세한 리뷰를 진행해보도록 할 것이다.

이번 포스트에서는 지난번 포스트에서 짧게 설명했던 Q-Transformer라는 논문에 대해 더 자세히 알아볼 것이다. 이 포스트를 이해하기 위해서는 지난 글 중 offline RL 부분을 반드시 읽어보는 것이 좋다.

지난 포스팅에 이어 이번에는 Image generation model에서의 alignment를 살펴보려고한다. 이 분야는 현재 치열한 경쟁이 진행되고 있어 많은 논문이 발표되고 있다. 이 글에서는 첫 시도인 Aligning Text-to-Image 논문부터 DPOK, Diffusion DPO까지 자세하게 리뷰해보고자 한다. 나머지 다양한 연구들은 짧게 요약해서 설명할 것이다.

LLM과 Image generation 모델을 통해 생성형 인공지능 모델에 대한 관심은 폭발적으로 증가했다. 이미 ChatGPT와 미드저니와 같은 인공지능 모델의 영향력은 경제 사회 전반의 변화를 일으키고 있다. 하지만 생성 모델을 서비스에 사용하기까지는 여러 번의 학습 과정을 거치게 되는데, 이는 바로 생성형 모델이 가진 특징 때문이다. 이 학습 과정에서 필수적인 Alignment에 대해서 정리해보았다.

데일 카네기의 인간관계론을 읽고 느낀점을 정리해보았다.

이번 블로그 글은 벌써 마지막 주제이다. 두 개의 발표만이 남았는데 모두 강화학습을 게임에 적용하여 상용화하는 방법에 대한 발표였다.

How to get indexing from google search console efficiently

이번 발표는 reinforcement learning에서 pretrain과 관련된 전체적인 내용을 설명해주는 강의였다. 쉬운 설명과 함께 대표적인 알고리즘을 설명해주어 매우 도움이 많이 되었던 것 같다.

Causal RL과 multi environment RL에 대한 발표를 정리해보았다.

모두의 연구소 강화학습 세미나에 참석보았다.