사진을 그림으로 변환하기 위한 필수 도구 선정
단순한 필터 앱이 아닌, 생성형 AI를 통해 사진을 그림으로 변환하는 작업은 정교한 제어가 필요합니다. 가장 범용적인 도구는 '스테이블 디퓨전(Stable Diffusion)'과 '미드저니(Midjourney)'입니다.
스테이블 디퓨전은 'ControlNet'이라는 강력한 확장 기능을 지원하여 원본 사진의 외곽선과 깊이 정보를 완벽하게 보존한 상태로 화풍을 입힐 수 있습니다. 반면, 미드저니는 '이미지 프롬프트(Image Prompt)' 기능을 활용하여 원본의 분위기를 지향점으로 삼아 예술적인 재해석을 가하는 데 최적화되어 있습니다.
처음 입문하는 사용자라면 스테이블 디퓨전의 웹UI인 Automatic1111 환경을 구축하는 것을 권장합니다. 이는 로컬 환경에서 무료로 무제한 생성이 가능하며, 세밀한 파라미터 조정이 가능하기 때문입니다.
사진을 그림으로 변환하려면 미드저니, 스테이블 디퓨전과 같은 이미지 생성형 AI에 '이미지 투 이미지(Img2Img)' 기능을 활용해야 합니다. 원본 사진의 구도를 유지하면서 화풍을 입히기 위해서는 프롬프트의 가중치 조절과 노이즈 강도 설정이 핵심입니다.
Img2Img(이미지 투 이미지)의 핵심 원리
사진을 그림으로 변환하는 과정에서 가장 중요한 개념은 'Denoising Strength(노이즈 제거 강도)'입니다. 이 수치는 AI가 원본 사진을 얼마나 참고할지를 결정합니다.
일반적으로 0.3에서 0.5 사이의 값을 설정하면 원본의 구도를 유지하면서도 새로운 그림체로 자연스럽게 변환됩니다. 만약 이 수치를 0.7 이상으로 높이면 AI가 원본 사진을 거의 무시하고 완전히 새로운 그림을 생성하므로, 사진의 형태를 알아보기 어렵게 됩니다.
반대로 0.2 미만으로 설정하면 필터를 씌운 것 같은 어색한 결과물만 얻게 됩니다. 자신의 사진에 가장 적합한 값을 찾기 위해서는 'X/Y/Z Plot' 기능을 사용하여 여러 강도별 결과물을 한 번에 비교하는 것이 가장 효율적입니다.
프롬프트를 활용한 예술적 스타일 주입
단순히 사진을 넣는 것만으로는 원하는 화풍이 나오지 않습니다. AI에게 '어떤 스타일'로 변환할지 명확한 언어를 전달해야 합니다.
예를 들어, 인물 사진을 수채화로 변환하고 싶다면 'Watercolor painting, soft brush strokes, pastel color palette, masterpiece'와 같은 키워드를 프롬프트에 추가합니다. 이때 'Photo-realistic'이나 'High-resolution' 같은 키워드는 오히려 방해가 됩니다.
붓 터치의 질감을 살리고 싶다면 'Impasto'나 'Oil painting' 같은 구체적인 미술 용어를 사용하는 것이 좋습니다. 반대로 애니메이션 스타일을 원한다면 'Studio Ghibli style' 또는 'Flat color, cel shading'과 같은 스타일 태그를 조합하여 결과물의 방향성을 잡아야 합니다.
결과물의 디테일을 높이는 보정 테크닉
AI가 생성한 결과물에서 흔히 발생하는 문제는 원본 사진의 디테일이 뭉개지는 현상입니다. 이를 해결하기 위해 'Upscaling(업스케일링)' 과정을 거쳐야 합니다.
'R-ESRGAN'과 같은 업스케일러를 사용하면 그림의 해상도를 2배, 4배로 늘리면서도 뭉개진 선을 다시 선명하게 다듬을 수 있습니다. 또한, 얼굴이 뭉개지는 현상을 방지하려면 'ADetailer'와 같은 안면 보정 플러그인을 활성화해야 합니다.
이는 사진 속 얼굴 영역을 AI가 자동으로 인식하여 고해상도로 다시 그려내는 기술입니다. 이러한 후처리 과정을 거쳐야만 단순히 사진을 변형한 느낌을 넘어 실제 작가가 그린 듯한 결과물을 얻을 수 있습니다.
흔히 저지르는 실수와 해결 방안
많은 초보자가 가장 많이 하는 실수는 원본 사진의 조명과 AI 화풍의 불일치입니다. 역광이 강한 사진에 맑은 수채화 스타일을 입히면 빛의 질감이 서로 충돌하여 결과물이 탁해집니다.
이럴 때는 프롬프트에 'Warm lighting' 혹은 'Soft ambient light'를 추가하여 AI가 빛을 재구성하도록 유도해야 합니다. 또한, 복잡한 배경은 AI가 형태를 인식하는 데 방해 요소가 됩니다.
인물이 중심인 사진이라면 배경을 살짝 흐리게(Blur) 처리한 뒤 변환하거나, 'Inpainting' 기능을 사용하여 인물만 따로 추출해 배경을 재생성하는 방식을 권장합니다. 도구의 기능에만 의존하지 말고, 원본 사진의 대비(Contrast)를 미리 보정하여 AI가 피사체를 명확히 구분하게 만드는 것이 가장 빠른 지름길입니다.