På begynnelsen av 1900-tallet satte en økonomisk nedgang inn, akseptert av tilbakegangen i Det osmanske rike og deportasjonen av grekere i Tyrkia i 1923. På slutten av 1920-tallet hadde befolkningen på Kastellorizo dalt til rundt 3000 mens rundt 8000 innbyggere hadde funnet sett et nytt liv i utlandet, hovedsakelig i Australia, Egypt, Hellas og USA. Særlig i byene Perth og Sydney i Australia har mange etterkommere fra Kastellorizo hvor de er kjent som «kazzies». På denne tiden hadde byen rundt 730 hus mens 675 allerede var tomme og mange lå forfalne.