Deretter lot han arbeidet hvile, og dro til İzmir. For en tid var han lærer ved Buca Sultanisi. Etter Mudros-våpenhvilen virket Kaya i İzmir «Selskapet for forsvar og rettigheter»s utenriksavdeling. Grunnet denne virksomhet ble han arrestert av den britiske okkupasjonsmakt og innesperret i Bekirağafengselet i Istanbul. Etter at britene okkuperte Istanbul ble han skipet ut til Malta. Derfra klarte han å flykte til det europeiske fastland.