Nach dem Waffenstillstand von Mudros war Kaya in İzmir in der Abteilung für auswärtige Beziehungen der „Gesellschaft zur Verteidigung der Rechte“ tätig. Aufgrund dieser Tätigkeit wurde er von der britischen Besatzungsmacht verhaftet und im Bekirağa-Gefängnis in İstanbul eingesperrt. Nachdem die Briten İstanbul besetzten, wurde Kaya zusammen mit anderen wegen ihrer Mittäterschaft beim Völkermord an den Armeniern verhaftet und nach Malta verschifft. Kaya gelang jedoch mit insgesamt 16 Kriegsgefangenen die Flucht nach Europa. Nach einiger Zeit in Italien und Deutschland ging Kaya nach Anatolien und beteiligte sich am Türkischen Befreiungskrieg unter der Führung Mustafa Kemal Atatürks.