Nach dem 4. Kreuzzug brach die Herrschaft von Byzanz am Ionischen Meer zusammen. Nachfolgestaat war hier das Despotat Epirus, dessen wechselvolles Schicksal Himara bis in die zweite Hälfte des 13. Jahrhunderts teilte. Seit dieser Zeit unterhielten die Himarioten eine eigene Flotte, die sie zum Schutz ihres Gebietes ebenso wie für die Piraterie verwendeten. Himara selbst wurde stark befestigt. Vermutlich 1277 kam Himara unter die Herrschaft des neapolitanischen Königs Karl von Anjou. Seit etwa 1375 gehörte Himara zum Besitz der Ballsha, die sich aber nur 20 Jahre als Stadtherren behaupten konnten.