ComfyUI 자동화 개발로그

2026-01-31 DevLog: ComfyUI 에셋 생성 자동화 시스템 구축

개요

게임 개발 과정에서 비주얼 에셋(유닛 초상화, 아이템 아이콘, 스킬 이펙트)을 대량으로 생성하고 관리하는 것은 반복적이고 시간이 많이 소요되는 작업이다. 이를 해결하기 위해 ComfyUI(Stable Diffusion)를 Unity 에디터와 긴밀하게 연동하여, "클릭 한 번으로" 모든 에셋의 이미지를 생성하고 적용하는 자동화 시스템을 구축했다.

주요 변경 사항

1. 에셋 타입별 프롬프트 엔지니어링 세분화

기존에는 모든 에셋에 동일한 프롬프트 로직을 사용하여 아이템에 캐릭터가 등장하는 등의 문제가 있었다. 이를 해결하기 위해 에셋 타입별로 프롬프트 생성 로직을 완전히 분리했다.

• Unit (유닛):
  • 초점: Character Portrait, Upper Body, Detailed Face
  • 특징: 캐릭터의 개성과 직업적 특징 강조
• Item (아이템):
  • 초점: Single Object, Game Icon, Isolated on White
  • Negative Prompts: No humans, No face, No text (사람이나 텍스트 절대 배제)
• Skill (스킬):
  • 초점: Magic Effect, Abstract Energy, Visual Impact
  • 특징: 추상적인 마법 효과와 타격감 강조

2. Img2Img (이미지 기반 생성) 워크플로우 도입

텍스트 프롬프트만으로는 원하는 구도를 잡기 어려울 때를 대비해, 레퍼런스 이미지를 업로드하여 이를 기반으로 변형 생성하는 Image-to-Image 기능을 추가했다.

• Unity 에디터에서 Texture2D를 드래그 앤 드롭하면 자동으로 서버에 업로드
• Denoising Strength 조절을 통해 원본 유지 비율 설정 가능

3. 데이터 시각적 묘사(Visual Description) 자동 채우기 (AutoDescriptionFiller)

기획 데이터(UnitData, ItemData)에는 게임적 수치만 있고 외형 묘사가 부족한 경우가 많다. 이를 보완하기 위해 자동화 스크립트를 작성했다.

• 에셋의 이름(Ex: Fire Sword)을 분석하여 자동으로 적절한 묘사(Burning blade, medieval weapon, fire element)를 visualDescription 필드에 주입.
• 에디터 로딩 시점에 비어있는 필드를 감지하여 자동 채움.

4. 일괄 생성(Batch Generation) 및 자동 분류

수십 개의 아이템을 하나씩 생성하는 것은 비효율적이다.

• Tools > ComfyUI > Generate ALL Assets 메뉴 추가
• 실행 시: 데이터 묘사 자동 채우기 -> 유닛 -> 아이템 -> 스킬 순으로 전수 조사 및 순차 생성
• 결과물 저장 시 Assets/Art/Generated/{Type} 폴더로 자동 분류하여 저장 및 프리팹/ScriptableObject에 자동 할당.

기술적 구현 요약

• UnityWebRequest & Async/Await: 비동기 HTTP 통신으로 에디터 멈춤 현상 방지
• Editor Scripting: AssetDatabase를 활용한 텍스처 임포트 설정(Sprite, Single) 자동화
• ComfyUI Workflow API: JSON 기반의 워크플로우를 동적으로 수정(Prompt, Seed, InputImage Injection)하여 요청

결과

이제 기획 데이터(ScriptableObject)만 생성해두면, 버튼 하나로 게임에 필요한 모든 리소스의 초안(Draft)을 즉시 확보할 수 있게 되었다

.