Vest for byen bortenfor øyas øverste punkt, kjent som Vigla (270 meter), står Paleokastro (gammelfestningen), øyas antikke akropolis. Denne befestede høyden har klassisk opprinnelse: dens plan er rektangulær og måler 60 x 80 meter. Inngravert på festningens fundament er det også her en dorisk inskripsjon som er datert tilbake til 300- eller 200-tallet f.Kr. med en referanse til (det antikke navnet på Kastellorizo) og dens avhengighet til Rhodos. På østsiden er den levninger av en porthvelving, propyleene.