Ve 12. století př. n. l. ostrov osídlili Dórové. V období helénismu byl součástí rhodského městského státu, později patřil Byzantské říši. Ve 14. století ho ovládali johanité, v letech 1461 až 1512 patřil Neapolskému království, pak ho dobyla osmanská říše, v roce 1659 ho nakrátko získala Benátská republika. Většinu obyvatel tvořili Řekové, kteří se za osvobozenecké války ve dvacátých letech 19. století vzbouřili proti turecké nadvládě, ale povstání bylo potlačeno. O ostrov se bojovalo za první světové války, v roce 1919 ho Italové připojili ke své državě zvané Italské egejské ostrovy. Další boje o ostrov proběhly za druhé světové války, kdy byl bombardován a střídavě obsazován britskými a italskými jednotkami, část obyvatel byla evakuována do Gazy. Na základě mírové smlouvy z roku 1947 se Kastelorizo stalo součástí Řecka.