Counting과 관련된 논문들을 쭉 읽어보는 중이다.
WACV 2025 논문이다.
0. Abstract
최근에 diffusion 모델의 뛰어난 성능 때문에 t2i image generation의 퀄리티가 크게 향상되었다.
근데 아직 input prompt를 정확하게 반영하는 이미지를 생성하는 데에 어려움이 있다.
그 중 하나가 object의 개수를 정확하게 생성하는 것이다.
이 논문에서는 input prompt를 보고 object를 정확한 개수로 생성하도록 개선하는 방법을 제시한다.
바로 *reference-less하고 **class-agnostic하게 object의 개수를 세는 counting network를 사용하는 것이다.
*reference-less: 예시를 주지 않는 것
**class-agnostic: <-> class-aware. 특정 class만 세지 않고 모두 세는 것
Counting network의 gradient를 계산해서 각 denoising step에서 예측된 노이즈를 수정한다.
Multi object를 다루기 위해서는 새로운 attention map guidance를 사용해서 각 object에 대한 고품질 mask를 생성한다.
마지막으로 각 object에 대해서 계산된 gradient를 이용해서 denoising 과정을 안내한다.
다양한 실험을 통해서 위 방법이 object count의 fidelity를 크게 향상시킴을 확인했다.
4. Method
4.1 Counting Guidance for a Single Object Type
4.2 Counting Guidance for Multiple Object Types
4.2.1 Semantic Information Mixing Problem
4.2.2 Attention Map Guidance
4.2.3 Masked Counting Guidance