Nell'antichità a nord di Paleochora c'era l'antica città di Kalamydi, di cui oggi è rimasto ben poco. L'attuale penisola, dove sorge il paese, non esisteva nell'antichità e la collina dove si trova la fortezza veneziana era una piccola isola fino a quando il fondale marino fu sollevato da un forte terremoto nel giugno 365 d.C., che causò inoltre un potente tsunami che si abbatté su Alessandria d'Egitto. La posizione strategica della zona indusse i veneziani, guidati dal generale Marino Grandenigo, sotto il potere del doge Giovanni Dandolo, a costruire una fortezza nel 1282 per controllare i traffici e l'area sud-ovest dell'isola che i veneziani avevano colonizzato nel 1204. La fortezza prese il nome di Castel Selino, un riferimento a un prodotto agricolo della zona, il sedano. La fortezza diede il nome all'intera area, conosciuta oggi come Selino. Il forte fu distrutto durante una rivolta contro i veneziani nel 1332 da Varda Kallergi e dai suoi uomini. La fortezza fu ricostruita nel 1334, a opera dei veneziani, ma nel 1536, la fortezza fu nuovamente distrutta dall'ammiraglio ottomano Ariadeno Barbarossa. Il forte fu successivamente ricostruito nel 1595.