Κατά την αρχαιότητα βόρεια της Παλαιοχώρας υπήρχε η αρχαία πόλη Καλαμύδη, για την οποία λίγα είναι γνωστά. Πιθανότατα ήταν επινείο της αρχαίας Καντάνου. Η στρατηγική θέση της περιοχής ώθησε τους Βενετούς και το στρατηγό Μαρίνο Γκραντενίγκο να κατασκευάσουν ένα οχυρό το 1282, το οποίο ονόμασαν Καστέλλο Σέλινο, αναφορά σε παλαιότερο όνομα της περιοχής, το οποίο ίσως αναφέρεται στα σέλινα που φύτρωναν στην περιοχή. Το φρούριο έδωσε το όνομά του σε ολόκληρη την περιοχή, η οποία σήμερα είναι γνωστή ως Σέλινο. Το οχυρό καταστράφηκε κατά τη διάρκεια μιας επανάστασης ενάντια των Βενετών το 1332 από το Βάρδα Καλλέργη και τους άντρες του. Το φρούριο ξανακατασκευάστηκε το 1334. Το 1536, το φρούριο καταστράφηκε από τον Χαϊρεντίν Μπαρμπαρόσα. Το φρούριο ανακατασκευάστηκε το 1595.