ComfyUI

ComfyUI는 오픈 소스 노드 기반 프로그램으로, 사용자가 일련의 텍스트 프롬프트에서 이미지를 생성할 수 있도록 한다. 이 프로그램은 스테이블 디퓨전과 같은 무료 확산 모델을 이미지 기능의 기본 모델로 사용하며, ControlNet 및 LCM 저순위 적응(Low-rank adaptation)과 같은 다른 도구들과 결합하여 각 도구가 프로그램 내의 노드로 표현된다.

역사
ComfyUI는 2023년 1월 깃허브에 출시되었다. 개발자 comfyanonymous에 따르면, 프로젝트의 주요 목표는 사용자 인터페이스 측면에서 기존 소프트웨어 설계를 개선하는 것이었다. 개발자는 스태빌리티 AI에 참여했지만, 2024년 6월 3일부로 참여가 종료되었고 핵심 개발자들과 함께 Comfy Org라는 조직이 설립되었다. 2024년 7월, 엔비디아는 자사의 RTX Remix 모딩 소프트웨어 내에서 ComfyUI 지원을 발표했다. 2024년 8월, 블랙 포레스트 랩스(Black Forest Labs)가 개발한 Flux 확산 모델에 대한 지원이 추가되었고, Comfy Org는 리눅스 재단이 설립한 오픈 모델 이니셔티브에 합류했다. 2024년 11월 현재, 이 프로젝트는 깃허브에서 58.6k개의 별을 받았다. ComfyUI는 Automatic1111과 함께 스테이블 디퓨전의 가장 인기 있는 사용자 인터페이스 중 하나이다.

기능
ComfyUI의 주요 기능은 노드 기반이라는 점이다. 각 노드에는 "모델 로드" 또는 "프롬프트 작성"과 같은 기능이 있다. 노드들은 워크플로우라고 불리는 제어 흐름 그래프를 형성하기 위해 연결된다. 프롬프트가 대기열에 추가되면, "체크포인트 로드"부터 시작하여 최종 이미지와 저장 위치로 끝나는 현재 실행 중인 노드 주위에 강조된 프레임이 나타난다. 워크플로우는 일반적으로 수십 개의 노드로 구성되어 복잡한 유향 비순환 그래프를 형성한다. 노드 유형에는 모델 로드, 프롬프트 지정, 샘플러, 스케줄러, VAE 디코더, 얼굴 복원 및 업스케일링 모델, LoRA, 임베딩, ControlNet 등이 포함된다.

Euler, Euler_a, dpmpp_2m_sde 및 dpmpp_3m_sde와 같은 여러 샘플러가 지원된다. 워크플로우는 파일로 저장할 수 있어 사용자가 노드 워크플로우를 재사용하고 다른 사용자와 공유할 수 있다. 워크플로우 파일 형식은 JSON이며 생성된 이미지에 임베드될 수 있다. 사용자들은 또한 새로운 노드로 노출되는 기본 시스템에 대한 사용자 지정 확장 기능을 만들었으며, 예를 들어 비디오 생성을 목표로 하는 AnimateDiff 확장이 있다. ComfyUI는 Automatic1111과 같은 다른 확산 UI에 비해 더 복잡하다고 묘사되어 왔다. 프로그램에는 기본 노드 그룹도 포함되어 있다.

2024년 12월 현재 1,674개의 노드가 지원된다. ComfyUI는 스테이블 디퓨전, Flux, 텐센트의 Hunyuan-DiT를 포함한 여러 텍스트-이미지 모델과 Pony와 같은 Civitai의 사용자 지정 모델을 지원한다.

 LLMVision 확장 프로그램 침해 

2024년 6월, "Nullbulge"라는 해커 그룹이 ComfyUI 확장 프로그램을 침해하여 악성 코드를 추가했다. 침해된 ComfyUI_LLMVISION이라는 확장 프로그램은 인터페이스를 AI 언어 모델 GPT-4 및 Claude 3과 통합하는 데 사용되었으며 깃허브에 호스팅되었다. Nullbulge는 웹사이트에 수백 명의 ComfyUI 사용자의 여러 서비스 로그인 정보를 담은 목록을 게시했으며, 확장 프로그램 사용자들은 수많은 로그인 알림을 받았다고 보고했다. vpnMentor는 확장 프로그램에 대한 보안 연구를 수행하고 "암호화폐 지갑을 훔치고, 사용자 화면을 스크린샷하고, 장치 정보 및 IP 주소를 노출하며, 특정 키워드나 확장자를 포함하는 파일을 훔칠 수 있다"고 주장했다.

Nullbulge의 웹사이트는 자신들이 "우리 죄 중 하나"를 저지른 사용자들을 대상으로 했다고 주장하며, 여기에는 AI 아트 생성, 예술품 도용, 암호화폐 홍보, 그리고 Patreon과 같은 아티스트로부터의 다른 종류의 도용이 포함된다. 그들은 "예술가의 권리를 보호하고 그들의 작업에 대한 공정한 보상을 보장하는 것의 중요성을 믿는 개인들의 집단"이며, "AI 생성 예술 작품이 창의 산업에 해롭고 권장되어서는 안 된다"고 믿는다고 주장했다.

 각주 

분류:파이썬으로 작성된 자유 소프트웨어
분류:자유-오픈 소스 소프트웨어
분류:오픈 소스 인공지능