코드 러너(Learner+ Runner)

ChatGPT가 최근 화두가 되어서 비교적 가려졌으나, 이미지 생성에 있어서도 또 하나의 기념비적인 사건이 일어났다. 바로 Stable Diffusion 모델이 등장해서 키워드 위주의 입력 프롬프트로 원하는 사진을 손쉽게 생성할 수 있게 된 것이다. 이런 Stable Diffusion이 파급력을 가진 이유는 높은 이미지 퀄리티와 상대적으로 적은 연산 리소스를 요구하는 하드웨어 사양 때문이다. 즉, 누구나 자신의 PC로 원하는 사진을 뽑을 수 있게 되었기 때문이다. 딥러닝 공부를 해본 사람들은 대부분 이미지 생성에 GAN(Generative Adversarial Network)을 사용한다는 것을 배웠을 것이다. 그래서 이런 Diffusion Model에 대해서는 생소할 수 있다. 그래서 이번 시간에는 이렇..

스테이블 디퓨전에 관한 'Rombach, Robin, et al. "High-resolution image synthesis with latent diffusion models." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.' 논문을 보면 U-net 구조가 많이 나온다. 오늘은 이 U-Net에 대해서 먼저 짚고 넘어가고자 한다(그다음은 VAE 원리도 다뤄보고, 프롬프트가 어떻게 latent에 컨디셔닝 되는지도 다룰 예정이다. 조금 더 다루게 되면, 실제로 Stable Diffusion을 사용해서 이미지를 뽑는 내용도 책뿐만 아니라 여기에도 올릴까 한다). 저 구조를 조금 더 확대해보면 아래와..

최근에는 딥러닝 생성 모델들을 사용해 세상에 존재하지 않는 새로운 사진을 만드는 것에 관심을 갖고 개인적으로도 관심이 많다. 이런 생성 모델들을 제공하는 서비스들은 상당히 많은데, 필자는 최근 Stable Diffusion으로 다양한 모델들을 다루고 있다. 최근에는 미드저니도 버전 5가 나오면서 퀄리티가 상당히 증가했다. OpenAI의 DALL·E 2도 상당히 재밌는 모델이다. 이런 생성 모델들을 사용하면 어떤 사진들을 만들 수 있을까? 아래 사진들은 필자가 로컬 PC에서 모델들을 튜닝하여 직접 뽑은 사진들이다. 상당히 배경이 현실적이다. 이런 배경 사진들 외에도 인물 사진도 가능하다. 상상력을 동원해서 아래와 같이 동물의 얼굴을 가진 사람의 사진들 만들어 볼 수도 있다. 재미있는 사진들이 탄생했다. 생..