.

[논문리뷰] From Seeing to Thinking: Decoupling Perception and REasoning Improves Post-Training of Vision-Language Models (ICML 2026)

보호되어 있는 글입니다.

오랜만에 논문리뷰. VLM 관련된 논문을 몇 개 읽어볼까 한다. 오랜만에 VLM 자체에 대한 논문들을 보니 재밌다. ICLR 2026 논문이다.https://proceedings.iclr.cc/paper_files/paper/2026/file/76818d8d85e05e45ce3a16a8468619d1-Paper-Conference.pdf AbstractVLM은 VQA와 같은 멀티모달 task에서 좋은 성능을 보인다. 하지만 맞는 시각적 근거가 있어도 틀릴 수 있다.이 연구에서는 이러한 틀리는 원인이 시각적 근거를 인식하지 못해서 발생하는 건지, 아니면 잘 인식했더라도 이를 잘 활용하지 못해서인지를 조사한다.레이어 별 attention 변화를 분석한 결과, shallow layer들은 주로 text에 집..

보호되어 있는 글입니다.

A100 80G 중 6~70G 정도를 야무지게 먹으면서 실험이 돌아가고 있다.불과 한 2년 전만 해도 3090 24G도 크다고 생각했는데 어느 순간 A100이 기본값이 되어버렸다.버겁다 버거워 (+ 와중에 AI 전력주를 사야지 라는 생각)사실 못 자서 뭔소리를 주절거리는지 모르겠다.블로그에는 텐션 올라갈 때 주저리하러 오게 되는 것 같다.이러려고 블로그 만들었지 하하!

보호되어 있는 글입니다.

난독증을 Qwen에서 시뮬레이션 한 내용의 ICLR 2026 논문이다.특정 뇌병변을 llm/vlm모델이 시뮬레이션 하도록 만드는 연구와 관련된 레퍼런스를 찾다가 읽게된 논문이다.https://openreview.net/pdf?id=AQhpxQ1xfa Abstract난독증은 지속적인 읽기 어려움을 특징으로 하는 신경발달장애이고, 흔히 뇌의 VWFA(Visual Word Form Area)의 활동 감소와 연관되어 있다.전통적인 접근법은 읽기장애의 근본적인 매커니즘에 대한 인과적 사실을 가설 검증하는 데에 한계가 있다. (왜냐면 사람 뇌에서 특정 영역을 일부러 lesion 할 수 없기 때문)이 연구에서는 VLM을 이용해서 word processing하고 유사한 인공신경망의 구성요소를 찾아내고, 이를 pertu..

대학원 들어오기 전에 오히려 머리가 더 뾰족하게 돌아갔던 것 같다.왜냐? 항상 내가 하고 싶은 연구만 했으니까! 점점 내가 하고 싶지 않은 연구들을 하게 되고하고 싶지 않으니 머리도 안 돌아가고 스스로에게 확신이 없으니 스트레스를 받는다.앞으로도 딱히 하고 싶지 않은(열의가 생기지 않는) 연구를 하는 일들이 꽤나 생길텐데이럴 때 어떤 마음가짐을 가지고 헤쳐나갈지 진지하게 고민해봐야겠다.사실 일이야 업무니 그냥 해치우면 되는건데 연구는 뭔가 열정과 열의가 큰 비중을 차지해서 그런 것 같다. 우선 드는 생각은,이럴 때일수록 차근차근 한 단계 한 단계 머릿속을 거치면서 곱씹으면서 프로세스를 밟아나가야 한다는 것이다.열정과 열의가 있으면 자연스럽게 되는 것들이 안 되고 있다.나 스스로에게 확신이 들 때까지 계획..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

Diffusion 계열 모델들을 계속 다루면서 내가 뭔가 정확히 알고있지 않은 상태에서 생각을 하려고 하고 있는 것 같아서차분하게 차근차근 기초부터 다지기로 했다.지금이 딱 적기이다. 지금 다지지 않으면 한없이 모래성을 쌓게 될 것이므로 빡 집중해서 공부해보기로 했다. 아래 pdf를 보고 공부했다.https://arxiv.org/pdf/2406.08929? 1. Fundamentals of DiffusionGenerative modeling의 목표는 미지의 분포 p*(x)에서 나온 i.i.d. 샘플들이 주어졌을 때, 이와 거의 같은 분포에서 새로운 샘플을 생성하는 샘플러를 만드는 것이다. 예를 들어서, p_dog 분포로부터 강아지 이미지 데이터가 주어졌을 때 이 분포로부터 새로운 강아지 이미지를 생성하는..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

저번에는 LLM / VLM 모델의 count에 관한 논문을 읽었고,이번에 읽는 이 논문은 diffusion 모델의 count 관련한 논문을 읽어보려고 한다.CVPR 2025 논문이다.https://openaccess.thecvf.com/content/CVPR2025/papers/Binyamin_Make_It_Count_Text-to-Image_Generation_with_an_Accurate_Number_of_CVPR_2025_paper.pdf 0. AbstractText-to-image 모델이 전례없는 성공을 거두었음에도 불구하고 텍스트를 이용해서 이미지 속 객체 수를 control하는 것은 놀라울 정도로 어렵다.이게 아동도서, 요리 레시피 삽화 등의 다양한 분야에서 중요하다. 정확한 개수의 객체를 세..

보호되어 있는 글입니다.

이미지 생성 모델들의 counting 관련해서 논문 찾다가 찾은 논문!딱 내가 궁금해했던 정보들을 담고 있어서 꼼꼼히 읽어보려고 한다.따끈따끈한 CVPR 2026 이다.https://arxiv.org/pdf/2511.17699 AbstractCounting은 LLM하고 LVLM의 기본적인 능력 중 하나이다. 이 LLM / LVLM이 어떻게 숫자를 세는지 조사했다. (두근)모델 안에서 숫자가 어떻게 저장되고 어떻게 이동하는지 추정하는 CountScope라는 도구도 직접 만들었다!(아니 이렇게 멋진 걸 만들었다고?) 실험 결과, 개별 토큰이나 시각적 특징들은 latent positional count information을 담고 있다! 이게 문맥 간에 전달되고, 추출하려면 추출할 수도 있다! 층별로 분석한 ..

보호되어 있는 글입니다.