Han gikk på folkeskole og middelskole i İstanköy (nå ). Gymnasiet tok han i Midilli (nå ). Senere fortsatte han på Galatasaray Sultanisi. I 1908 absolverte Kaya rettsskolen og dro til Paris. Der tok han videreutdannelse i rettsvitenskap, og vendte så tilbake til Tyrkia.