.

[기본이론] 강화학습개론 (1)

중간고사 공부를 한다. 강화학습이 해결해야 하는 4가지 질문 Q1. 어떻게 최적의 행동을 찾을 수 있을까? (lesson1~5)-> MDP, Bellman Equation, Dynamic Programming, Monte Carlo, TD Learning, BanditsQ2: 상태가 너무 많아지면 어떻게 할까? (lesson6~7)-> DQN, Policy Gradient, Actor-Critic, PPOQ3: 환경과 직접 상호작용하는 횟수를 어떻게 줄일까?Q4: 보상은 어디에서 오는 걸까? 용어정의 Markov Decision ProcessMarkov property: 미래는 현재 상태에만 의존하고 과거 상태에는 의존하지 않는다는 성질 Markov chain: Markov property를 만..

보호되어 있는 글입니다.

이어서 또 VLM 논문.VLM 정말 재밌다. 뭔가 지금 모든 게 밝혀진 상태가 아니라서 그런지, 재밌게 연구할 분야가 무궁무진한 느낌이다. CVPR 2026 논문이다.https://vlm-mirage.github.io/static/pdfs/mirage_arxiv.pdf AbstractVLM은 멀티모달 이해 능력이 뛰어나지만 출력하는 과정에서는 텍스트만 생성하기 때문에 시각적인 추론 과정도 모두 언어로 표현해야 한다. 그래서 시각적 상상(visual imagination)이 필요한 문제에서는 성능이 비교적 안 나올 수 있다.최근 연구들에서는 VLM이 실제 이미지를 생성하도록 학습시키기도 하지만, 이때 이미지 생성 사전학습이 필요하고(heavy함) 이게 오히려 추론 능력을 방해하는 경우가 있다. 그래서 인간..

보호되어 있는 글입니다.

오랜만에 논문리뷰. VLM 관련된 논문을 몇 개 읽어볼까 한다. 오랜만에 VLM 자체에 대한 논문들을 보니 재밌다. ICLR 2026 논문이다.https://proceedings.iclr.cc/paper_files/paper/2026/file/76818d8d85e05e45ce3a16a8468619d1-Paper-Conference.pdf AbstractVLM은 VQA와 같은 멀티모달 task에서 좋은 성능을 보인다. 하지만 맞는 시각적 근거가 있어도 틀릴 수 있다.이 연구에서는 이러한 틀리는 원인이 시각적 근거를 인식하지 못해서 발생하는 건지, 아니면 잘 인식했더라도 이를 잘 활용하지 못해서인지를 조사한다.레이어 별 attention 변화를 분석한 결과, shallow layer들은 주로 text에 집..

보호되어 있는 글입니다.

A100 80G 중 6~70G 정도를 야무지게 먹으면서 실험이 돌아가고 있다.불과 한 2년 전만 해도 3090 24G도 크다고 생각했는데 어느 순간 A100이 기본값이 되어버렸다.버겁다 버거워 (+ 와중에 AI 전력주를 사야지 라는 생각이 든다.) 사실 잠을 제대로 자서 뭔소리를 주절거리는지 모르겠다.블로그에는 약간 정신이 나가서 텐션이 올라왔을 때 주저리하러 오게 되는 것 같다. 이러려고 블로그 만들었지 하하!

보호되어 있는 글입니다.

난독증을 Qwen에서 시뮬레이션 한 내용의 ICLR 2026 논문이다.특정 뇌병변을 llm/vlm모델이 시뮬레이션 하도록 만드는 연구와 관련된 레퍼런스를 찾다가 읽게된 논문이다.https://openreview.net/pdf?id=AQhpxQ1xfa Abstract난독증은 지속적인 읽기 어려움을 특징으로 하는 신경발달장애이고, 흔히 뇌의 VWFA(Visual Word Form Area)의 활동 감소와 연관되어 있다.전통적인 접근법은 읽기장애의 근본적인 매커니즘에 대한 인과적 사실을 가설 검증하는 데에 한계가 있다. (왜냐면 사람 뇌에서 특정 영역을 일부러 lesion 할 수 없기 때문)이 연구에서는 VLM을 이용해서 word processing하고 유사한 인공신경망의 구성요소를 찾아내고, 이를 pertu..

대학원 들어오기 전에 오히려 머리가 더 뾰족하게 돌아갔던 것 같다.왜냐? 항상 내가 하고 싶은 연구만 했으니까! 점점 내가 하고 싶지 않은 연구들을 하게 되고하고 싶지 않으니 머리도 안 돌아가고 스스로에게 확신이 없으니 스트레스를 받는다.앞으로도 딱히 하고 싶지 않은(열의가 생기지 않는) 연구를 하는 일들이 꽤나 생길텐데이럴 때 어떤 마음가짐을 가지고 헤쳐나갈지 진지하게 고민해봐야겠다.사실 일이야 업무니 그냥 해치우면 된다는 생각으로 임해왔는데지금까지 내가 연구를 대할 때 너무나 당연하게 열정과 열의를 큰 베이스로 둬와서 그런 것 같다. 우선 드는 생각은,이럴 때일수록 차근차근 한 단계 한 단계 머릿속을 거치면서 곱씹으면서 프로세스를 밟아나가야 한다는 것이다.열정과 열의가 있으면 자연스럽게 되는 것들이 ..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

최근 C++ 스터디를 시작했다.'가랑비에 옷 젖듯이'라는 컨셉의 스터디이고,문제 난이도에 따라서 일주일마다 팀원끼리 돌아가면서 1~3문제씩 가져오면 이를 같이 일주일 deadline으로 풀고 공유하는 스터디이다.근데 이번에 한 팀원분이 엄청 어려운 문제를 가져오셨다. 난 Lv.1도 허덕이는데.. 그래서 이번 문제는 푸는 거에 의의를 두지 않고 코드 해석하는 데에 의의를 두었다.언젠가 이런 문제도 C++로 거뜬하게 풀 수 있길 바라면서 시작! 문제선인장을 최대한 비 안 맞는 위치에 두는 문제이다.문제 만드는 사람들 정말 창의적이다. 재밌는 문제 진짜 잘 만든다.https://school.programmers.co.kr/learn/courses/30/lessons/468379m개의 행과 n개의 열로 구성된 ..

보호되어 있는 글입니다.

Diffusion 계열 모델들을 계속 다루면서 내가 뭔가 정확히 알고있지 않은 상태에서 생각을 하려고 하고 있는 것 같아서차분하게 차근차근 기초부터 다지기로 했다.지금이 딱 적기이다. 지금 다지지 않으면 한없이 모래성을 쌓게 될 것이므로 빡 집중해서 공부해보기로 했다. 아래 pdf를 보고 공부했다.https://arxiv.org/pdf/2406.08929? 1. Fundamentals of DiffusionGenerative modeling의 목표는 미지의 분포 p*(x)에서 나온 i.i.d. 샘플들이 주어졌을 때, 이와 거의 같은 분포에서 새로운 샘플을 생성하는 샘플러를 만드는 것이다. 예를 들어서, p_dog 분포로부터 강아지 이미지 데이터가 주어졌을 때 이 분포로부터 새로운 강아지 이미지를 생성하는..

보호되어 있는 글입니다.