PSALM은 다양한 세그멘테이션 과제를 처리하기 위해 유연한 아키텍처와 입력 스키마를 결합하여 사용합니다. 이 모델은 이미지, 작업 지시 프롬프트, 조건 프롬프트 및 일련의 마스크 토큰과 같은 네 가지 다른 유형의 입력으로 구성된 입력 스키마를 활용합니다.
먼저, PSALM은 이미지를 시각 인코더에 입력으로 사용하고, 작업 지시 프롬프트는 모델의 작업을 설명하고 명시하는 텍스트 문장입니다. 조건 프롬프트는 특정 작업에 필요한 추가 정보를 제공하며, 마스크 토큰은 마스크 제안을 예측하기 위해 사용됩니다. 이러한 설계는 Mask2Former에서 영감을 받았지만, 마스크 토큰은 먼저 LMM에서 업데이트되고 마스크 생성기에서 사용되는 차이가 있습니다.
PSALM은 마스크 생성기를 사용하여 세그멘테이션 마스크를 예측하고, 각 마스크의 클래스를 예측하기 위해 조건 프롬프트의 출력 임베딩을 사용합니다. 이러한 설계는 다양한 세그멘테이션 작업에 대해 유연하고 적응 가능하며, 마스크 예측과 분류를 분리함으로써 일부 작업의 학습 어려움을 완화합니다.