안녕하세요! 프레임아웃 AXC(AI eXperience Center)입니다. 저희 AXC는 맞춤형 데이터와 최첨단 생성형 AI 기술을 융합하여, 고객사의 비즈니스 효율성을 높이고 시장 경쟁력을 강화하는 혁신적인 AI 솔루션 개발에 매진하고 있는 프레임아웃의 핵심 기술 조직입니다.

오늘은 저희 팀이 최근 큰 성과를 거둔 'Stable Diffusion 심층 추론(Deep Reasoning)' 기술에 대해, 그 탄생 배경부터 놀라운 성능까지 공유해 드리고자 합니다. 이 기술은 단순히 프롬프트에 따라 그림을 그리는 것을 넘어, AI가 사용자의 복잡한 의도까지 깊이 '이해하고 추론하여' 상상 속 이미지를 현실로 만들어내는, AI 이미지 생성의 새로운 시대를 열고 있습니다.

프로젝트의 시작 : 롯데월드 '로티'를 위한 도전

이번 기술 혁신의 여정은 저희의 고객사인 롯데월드 프로젝트에서 시작되었습니다. 목표는 롯데월드의 사랑스러운 마스코트 '로티'를 활용하여, 다채로운 컨셉의 배너와 일러스트를 생성형 AI를 통해 자유롭고 빠르게 제작하는 것이었습니다.

하지만 시작부터 큰 난관에 부딪혔습니다. '로티'는 롯데월드의 고유 자산인 만큼, 학습에 사용할 수 있는 공개된 이미지가 매우 제한적이었습니다. 적은 양의 이미지 데이터로 AI 모델을 학습시켜야 하는 상황이었죠.

한계를 넘기 위한 기술적 시도들

저희 AXC에서는 이 문제를 해결하기 위해 다양한 최신 기술들을 발 빠르게 도입하고 검증했습니다.

1. Dreambooth 기반 파인튜닝 : 먼저, 적은 이미지로도 특정 대상에 대한 파인튜닝이 가능한 'Dreambooth' 기술을 활용하여, 강력한 이미지 생성 모델인 SDXL을 '로티' 캐릭터에 맞게 미세 조정했습니다. 이를 통해 기본적인 '로티' 이미지 생성의 가능성을 열었습니다.
2. ControlNet을 활용한 품질 보강 : 하지만 적은 데이터로 학습한 초기 모델은 이미지 품질이 다소 불안정했습니다. 저희는 여기서 멈추지 않고, 이미지의 구조나 형태를 제어하는 'ControlNet' 기술을 접목하여, 생성되는 '로티' 이미지의 품질과 안정성을 크게 향상시킬 수 있었습니다. 캐릭터의 특정 포즈나 구도를 유지하면서 디테일을 살리는 데 큰 효과를 보았습니다.

더 높은 곳을 향한 열망 : '심층 추론' 연구의 시작

ControlNet을 통해 상당한 품질 개선을 이루었지만, 저희의 목표는 단순히 '그럴듯한' 이미지를 넘어, 더욱 창의적이고 자유로운 연출이 가능하며, 사용자의 복잡한 요구사항까지 완벽하게 반영하는 궁극의 이미지 생성 솔루션을 만드는 것이었습니다. "어떻게 하면 AI가 단순히 이미지를 복제하는 것을 넘어, 사용자의 의도를 더 깊이 이해하고, 여러 요소를 조화롭게 통합하여 상상 속 장면을 완벽하게 구현할 수 있을까?" 이 고민이 바로 'Stable Diffusion 심층 추론' 연구의 시발점이 되었습니다.

‍

'Stable Diffusion 심층 추론', 무엇이 다른가? - AI가 '생각하며' 그리는 방식

저희는 복잡한 문제를 잘게 나누어 순서대로 해결하는 대규모 언어 모델(LLM)의 '생각의 사슬(Chain of Thought)' 방식과, 전문 아티스트가 단계별로 그림을 완성해나가는 과정에서 영감을 얻었습니다.

'Stable Diffusion 심층 추론' 기술의 핵심 작동 원리는 다음과 같습니다.

1. 요청 분석 및 '작업 계획' 자동 수립 (AI 기획자) : 사용자가 "햇살 좋은 축구장에서 신나게 공을 드리블하는 '로티', 파란 유니폼에 열정적인 표정으로!"와 같이 복잡한 요청을 하면, 소형 언어 모델(SLM)이 요청을 면밀히 분석하여 최적의 '이미지 생성 계획'을 단계별로 자동 수립합니다. (예: 1단계 : 포즈 스케치 → 2단계 : 캐릭터 디테일(표정, 의상) → 3단계 : 부가 요소(아트 스타일, 조명) → 4단계 : 배경 완성)
2. 단계별 정밀 '작업 수행' 및 '집중' (AI 아티스트) : Stable Diffusion 모델이 수립된 계획에 따라 단계별로 이미지를 생성합니다. 각 단계에서는 해당 작업 목표에 AI의 역량을 집중하여 정확도를 극대화합니다.
3. '컨트롤넷' 기반 '일관성' 유지 및 '품질 향상' (AI 품질 관리자) : 이전 단계의 결과물을 ControlNet 입력으로 사용하여 다음 단계 생성 시 핵심 가이드라인으로 활용합니다. 이를 통해 전체 이미지의 통일성을 유지할 뿐 아니라, 놀랍게도 여러 단계를 거치면서 캐릭터 외형의 일그러짐이 자체적으로 보정되고 디테일이 향상되는 효과까지 확인했습니다. 필요시 배경 제거 후 특정 요소에 집중하는 후처리 과정도 포함됩니다.

'심층 추론'이 가져온 성과와 강력한 강점 (Wow Points!)

저희 AXC의 엄격한 테스트와 실증 과정에서 'Stable Diffusion 심층 추론' 기술은 기대 이상의 성과와 명확한 강점들을 입증했습니다.

• 압도적인 '정확성'과 '디테일 구현' : 사용자가 아무리 복잡하고 많은 요구사항(예: 포즈 변경 + 배경 변경 + 소품 추가 동시 요청)을 한 번에 제시해도, 심층 추론 방식은 각 요소를 단계별로 분해하여 처리함으로써 요청 사항 누락이나 왜곡 없이 매우 정확하게 결과물에 반영했습니다. 특히, 복잡한 요청에서 기존 방식 대비 캐릭터 외형이 일그러지지 않는 안정성은 주목할 만한 성과입니다.
• 예측 가능하고 '일관성' 있는 고품질 결과 : 각 단계가 이전 결과에 기반하여 진행되므로, 최종 결과물의 랜덤성이 크게 줄고 예측 가능성이 높아졌습니다. 이는 사용자가 원하는 결과에 더 빠르고 효율적으로 도달하게 하여, 업무 효율성을 크게 향상시킵니다. 비록 여전히 약간의 무작위성이 존재하지만, 기존 방식보다 더 많은 고품질 이미지를 안정적으로 생성할 수 있게 되었습니다.
• '세밀한 제어'와 혁신적인 '수정 워크플로우' : 이미지 생성 과정이 명확한 단계로 나뉘어 있어, 사용자는 각 단계의 결과물을 확인하고 필요에 따라 특정 단계만 선택적으로 수정하거나 재실행하는 것이 가능합니다. 예를 들어, 캐릭터 포즈는 그대로 두고 옷만 바꾸거나 배경의 분위기만 다르게 하는 등, 특정 요소의 디테일 수준을 조절하기가 매우 용이해졌습니다. 이는 전체 이미지를 반복적으로 재생성해야 했던 기존 방식에 비해 시간과 자원을 획기적으로 절약할 수 있는 효율적인 워크플로우를 제공합니다.
• AI 스스로 '추론'하고 완성도를 높이는 지능 : 심층 추론 기술은 단순히 주어진 명령을 따르는 것을 넘어, AI가 사용자의 의도와 맥락을 파악하고 필요한 세부 사항을 스스로 추론하여 채워 넣는 능력을 보여주었습니다. 또한, 여러 단계를 거치면서 결과물의 품질이 자체적으로 보정되고 디테일이 향상되는 효과 는 이 기술의 놀라운 잠재력을 보여주는 강력한 증거입니다. 간단한 설명만으로도 원하는 캐릭터의 자세나 구도를 비교적 쉽게 얻을 수 있는 점 역시 큰 장점입니다.

극복해야 할 과제 : 효율성과 완벽한 균일성

물론, 이 혁신적인 기술에도 아직 개선해 나가야 할 지점들이 있습니다. 여러 단계를 순차적으로 처리하기 때문에, 단일 단계 생성 방식보다 시간이 더 소요된다는 점은 분명한 단점입니다. 저희 테스트에서는 이미지 한 장당 최대 4배의 시간이 더 필요했습니다. 또한, 품질의 일관성이 크게 향상되었음에도 불구하고, 여전히 결과물의 품질 편차가 완전히 사라지지는 않아 때때로 만족스럽지 못한 결과가 나올 가능성이 있습니다. 저희 AXC는 이러한 생성 시간 단축과 품질 균일성 확보를 위한 후속 연구 개발에 박차를 가하고 있습니다.

프레임아웃 AXC, AI 기술로 '상상'을 '가치'로 만듭니다

'Stable Diffusion 심층 추론' 기술 개발은 프레임아웃 AXC의 기술적 역량과 끊임없는 혁신 의지를 보여주는 중요한 이정표입니다. 저희는 이 기술이 롯데월드 '로티' 프로젝트와 같이 실제 고객사의 문제를 해결하는 것을 넘어, 향후 다양한 산업 분야(브랜드 마케팅, 엔터테인먼트, 제품 디자인, 교육 등)에서 이미지 콘텐츠 제작 방식에 혁신을 가져올 잠재력을 가지고 있다고 확신합니다.

AXC는 앞으로도 AI 기술의 한계를 넓히고, 고객과 사용자에게 실질적인 가치를 제공하는 솔루션을 창출하기 위해 끊임없이 도전하고 성장해 나갈 것입니다.

‍

AX(AI eXperience) Center. 박희수

‍

‍