Stable Diffusion에서의 Checkpoint, Lora, VAE: 개념과 활용 방법에 대해 알아보기

Stable Diffusion은 고차원 데이터의 생성 및 조작을 가능하게 해주는 딥 러닝 프레임워크입니다. 하지만 초보자들이 Checkpoint, Lora, VAE와 같은 관련 용어를 이해하는 것은 어렵습니다.

 

반응형

최근 네이버에서 프롬프트 엔지니어 채용공고가 있었죠. 이 때 이러한 개념들이 많이 언급되었습니다. 오늘 보시면 많은 도움 되실 겁니다.

2023.03.10 - [프롬프트 활용] - [NAVER Z] Diffusion 모델 학습 체험형 프롬프트 엔지니어 인턴 모집 채용(~3/17)

[NAVER Z] Diffusion 모델 학습 체험형 프롬프트 엔지니어 인턴 모집 채용(~3/17)

 

Checkpoint

Checkpoint는 Stable Diffusion뿐만이 아닌 모든 AI 모델에서 사용되는 개념입니다. 학습하고 있는 AI 모델을 얼만큼의 Epoch 즉, 기간동안 학습을 했고 그 학습한 결과로 나오는게 Checkpoint입니다. 같은 데이터로 기간을 다르게 학습하면 AI 모델 결과값이 다르게 나올 수 있습니다.

 

스테이블 디퓨전에서는 Checkpoint가 .ckpt라는 파일로 많이 보셨을 겁니다. ckpt말고 safetensor라는 확장자도 있는데, 모두 Checkpoint라고 보시면 될 것 같습니다.

즉, 한마디로 요약하면 Checkpoint는 AI 모델이다라고 보시면 될 것 같습니다.

safetensor가 궁금하신 분들을 위해 링크 공유드립니다.

2023.03.04 - [노코딩AI/AI설명] - 확장자에 ckpt 말고 safetensors가 붙는 이유는 뭘까? safetensors란?

확장자에 ckpt 말고 safetensors가 붙는 이유는 뭘까? safetensors란?

 

 

Lora

Lora는 Stable Diffusion에서 사용되는 기술로, 복잡한 데이터 분포에서 샘플링의 효율성을 향상시키기 위해 사용됩니다. 이는 계층 구조를 사용하여 데이터의 확률 분포를 모델링하여 대형 모델에서 고품질 샘플을 생성할 수 있도록 해줍니다. Lora는 Stable Diffusion의 효율성을 향상시키는 데 필수적입니다. Lora를 적용하는 방법은 다음과 같습니다.

• 적용하고자 하는 Lora 데이터를 받습니다.
• 구글 드라이브에서 sd/stable-diffusion-webui/models/Lora 아래의 폴더에 파일을 넣습니다.
• Stable Diffusion으로 돌아와 Generate 탭에서 show extra networks를 누르고, Lora 탭으로 이동하여 원하는 Lora 데이터를 선택합니다.

좀 더 궁금하신 분들은 아래 링크에서 확인해보시면 좋을 것 같습니다.

 

2023.03.12 - [노코딩AI/AI설명] - diffusion 모델 중 LoRA 모델에 대해 알아보고 이미지 생성해보기

diffusion 모델 중 LoRA 모델에 대해 알아보고 이미지 생성해보기

 

 

VAE

VAE는 Stable Diffusion에서 사용되는 기술로, 데이터 분포의 잠재 공간을 학습하여 복잡한 데이터 분포에서 고품질 샘플을 생성할 수 있도록 도와줍니다. 이는 입력 데이터를 저차원 공간으로 인코딩하여 데이터 분포의 잠재 공간을 학습하고 고품질 샘플을 생성하는 데 필수적입니다.

 

VAE를 사용하면 어떤 효과가 있나요?
일반적으로 그 효과는 매우 작습니다. 개선된 VAE는 잠재 공간에서 이미지를 더 잘 디코딩합니다. 미세한 디테일이 더 잘 복구됩니다. 모든 미세한 디테일이 중요한 눈과 텍스트를 렌더링하는 데 도움이 됩니다.

 

VAE를 사용하는 방법은 다음과 같습니다.

• 적용하고자 하는 VAE 데이터를 받습니다.(link:https://huggingface.co/stabilityai/sd-vae-ft-mse-original/tree/main)
• 구글 드라이브에서 sd/stable-diffusion-webui/models/VAE 아래의 폴더에 파일을 넣습니다.
• Stable Diffusion으로 돌아와서 Settings 탭을 누르고, 왼쪽 메뉴에서 "Stable Diffusion"을 선택합니다. 그리고 SD VAE 메뉴를 찾아서 다운로드 받은 VAE 파일을 선택합니다.

2023.03.02 - [노코딩AI] - Stable Diffusion 실사 사진 만들기. webui 윈도우 PC에 설치하는 방법.

Stable Diffusion 실사 사진 만들기. webui 윈도우 PC에 설치하는 방법.

 

Checkpoint, Lora, VAE는 Stable Diffusion에서 중요한 개념이며, 이들 용어와 이를 구현하는 방법을 이해하면 기계 학습 기술을 향상시키고 보다 효과적인 모델을 만들 수 있습니다.