Det er nedtegnelser om slottet ved Castrum Caucoliberi så tidlig som år 673, noe som antyder at bosetningen var strategisk og kommersiell viktig under Vestgoternes fremvekst. Collioure var tidligere delt i to landsbyer, adskilt av elven Douy, den gamle byen sør for elven ved navnet Port d'Avall (på fransk kjent som Le Faubourg) og havnen nord for elven, Port d'Amunt (på fransk kjent som La Ville).