Komapper SD Fine-Tuning Practice Code

Stable Diffusion 실습 코드입니다. 콘크리트 손상 사진을 소재로, 확산 모델의 원리부터 LoRA 파인튜닝과 ControlNet 조건부 생성까지 다룹니다.

Komapper_SDFTPracticeCode/
├── 01_T2I/          텍스트 → 이미지, LoRA 파인튜닝
├── 02_CtrlGen/      마스크 → 이미지, ControlNet 조건부 생성 (가중치 동봉)
├── 03_Inpaint/      사진 일부만 다시 칠하기, DreamBooth (가중치 동봉)
├── Dataset_Dmg/     01_T2I · 02_CtrlGen 용 (ControlNet이 생성한 합성 데이터)
└── Dataset_Crack/   03_Inpaint 용 (실제 촬영 사진)

실습은 01_T2I → 02_CtrlGen → 03_Inpaint 순서입니다. 스크립트는 각자의 폴더 안에서 실행하며, 결과 그림은 그 폴더의 ./outputs/ 에 저장됩니다.

세 폴더 모두 같은 4단 구성입니다 — 01·02는 공개 이미지로 원리를 보고, 03에서 우리 데이터로 학습하고, 04에서 미리 학습해 둔 가중치와 비교합니다.

01_T2I — 텍스트로 이미지 만들기

파일	내용
`00_Ready4SD.py`	세 폴더 전부에 쓰이는 모델을 미리 내려받아 캐시에 넣어 둡니다 (약 7GB, 6~10분). 학습도 생성도 하지 않습니다.
`01_noise_to_image.py`	텍스트도 VAE도 없이, 순수 노이즈 → 사진. 확산 모델의 원리만 보여 줍니다.
`02_text_to_image.py`	텍스트로 이미지 생성. 프롬프트·스텝 수·guidance scale을 바꿔 가며 결과를 봅니다.
`03_lora_finetune.py`	핵심. 860M UNet을 얼려 두고 LoRA(약 0.8M)만 학습시킵니다. 300스텝, GPU로 2분 정도.
`04_lora_inference.py`	같은 프롬프트·같은 시드로 LoRA 적용 전/후를 나란히 비교합니다.
`lora_pretrained/`	미리 학습해 둔 LoRA 가중치. `03`은 여기를 건드리지 않습니다.
`lora_finetuned/`	`03`이 만드는 폴더. `lora_pretrained`와 구성이 같아 `04`에서 골라 쓸 수 있습니다.

03만 결과 그림 대신 가중치를 저장합니다.

02_CtrlGen — 마스크로 이미지 만들기

프롬프트 옆에 조건 이미지를 하나 더 넣어, 손상이 어디에 생길지까지 지시합니다.

파일	내용
`01_edge_to_image.py`	공개 사진의 윤곽선(Canny)을 조건으로 넣어 다시 그립니다. ControlNet 도입부.
`02_control_strength.py`	`controlnet_conditioning_scale` 0 → 1.5. 조건이 결과를 얼마나 붙잡는가.
`03_controlnet_finetune.py`	핵심. UNet을 얼려 두고 ControlNet(361M)만 학습시킵니다. 300스텝.
`04_controlnet_inference.py`	같은 캡션·같은 시드로 마스크를 준 경우와 안 준 경우를 비교합니다.
`ctrl_pretrained/`	미리 학습해 둔 ControlNet (fp16, 722MB). `Dataset_Dmg` 의 사진을 만들어 낸 바로 그 모델입니다.

01·02는 공개 이미지와 공개 ControlNet으로 원리만 보고, 03·04에서 Dataset_Dmg로 직접 학습하고 비교합니다. 자세한 내용은 02_CtrlGen/README.md를 보세요.

03_Inpaint — 사진 일부만 다시 칠하기

멀쩡한 벽 사진에 균열 마스크를 씌워 그 자리에만 균열을 그려 넣습니다. 배경은 진짜 사진 그대로 남고, 마스크가 곧 정답 라벨이 됩니다.

파일	내용
`01_inpaint_basic.py`	공개 사진의 일부를 마스크로 지우고 다시 채우기. inpainting 도입부.
`02_inpaint_strength.py`	`strength` 0.2 → 1.0. 마스크 안을 얼마나 버리고 새로 그릴 것인가.
`03_dreambooth_finetune.py`	핵심. DreamBooth로 `sks` 토큰에 "우리 균열"을 각인. UNet 전체(866M)를 학습.
`04_inpaint_inference.py`	멀쩡한 벽 + 마스크 → 균열 사진. 전/후 비교.
`dreambooth_pretrained/`	미리 학습해 둔 DreamBooth UNet (1.7GB). 실제 연구에 쓴 그 모델입니다.

자세한 내용은 03_Inpaint/README.md를 보세요.

Dataset_Crack — 03_Inpaint 용 데이터

실제로 촬영한 사진입니다. Dataset_Dmg(ControlNet 생성물)와는 출처가 다릅니다.

폴더	내용
`CrackImages/`	균열 사진 100장 (448x448)
`CrackMasks/`	그 균열의 마스크 100장. 파일명이 사진과 짝을 이룹니다.
`IntactImages/`	멀쩡한 콘크리트 벽 100장. DreamBooth의 class 이미지이자 생성 배경입니다.

Dataset_Dmg — 01_T2I · 02_CtrlGen 용 데이터

폴더	내용
`JPEGImages/`	콘크리트 손상 사진 100장 (1024x1024, 166MB)
`CtrlNetImages/`	손상 부위 마스크 100장 (1024x1024). ControlNet 조건 입력으로 쓰는 클래스별 컬러 마스크입니다.
`TextFiles/`	사진별 캡션 100개

전부 1024px 원본 그대로입니다. 01_T2I의 LoRA 학습은 불러올 때 512로 줄여 쓰고, 02_CtrlGen은 1024를 그대로 씁니다 — ControlNet 가중치가 1024로 학습돼서 512로 줄이면 결과가 망가집니다.

세 폴더는 파일명이 1:1로 짝을 이룹니다 (000000_271_image → .png / .png / .txt).

마스크 색상 표

색	RGB	손상
흰색	`(255,255,255)`	Crack (균열)
빨강	`(255,0,0)`	Spalling (박리)
노랑	`(255,255,0)`	Exposed rebar (철근 노출)
하늘	`(0,255,255)`	Efflorescence (백태)
초록	`(0,255,0)`	Vegetation (식생)
파랑	`(0,0,255)`	Control point (표적)
검정	`(0,0,0)`	손상 없음 (배경)

100장 중 2장은 마스크가 전부 검정입니다. 캡션도 "no visible damage"이므로 정상이며, 조건을 비웠을 때 무엇이 나오는지 보여 주는 예시로 쓸 수 있습니다.

실행

CUDA GPU가 필요합니다.

pip install torch diffusers transformers accelerate peft safetensors matplotlib pillow tqdm

cd 01_T2I
python 00_Ready4SD.py        # 먼저 한 번 (모델 내려받기)
python 01_noise_to_image.py
python 02_text_to_image.py
python 03_lora_finetune.py   # LoRA 학습
python 04_lora_inference.py  # 전/후 비교

Colab에서는 이 폴더를 통째로 MyDrive/Komapper_SDFTPracticeCode 에 올린 뒤, 각 스크립트 끝에 있는 주석 블록을 그대로 셀에 붙여 넣으면 됩니다. 다른 경로에 올렸다면 주석 안의 %cd 경로만 바꾸세요.

Downloads last month: -

Inference Providers NEW

This model isn't deployed by any Inference Provider. 🙋 Ask for provider support