Kagayama Sukenori wurde im Dezember 1837 in eine Samuraifamilie des Satsuma-han, der heutigen Präfektur Kagoshima geboren. Während der Beschießung der Stadt Kagoshima durch britische Schiffe im August 1863 befand er sich dort und nahm auf Seiten der Satsuma-Kämpfer an den Gefechten teil. Später kämpfte er im Boshin-Krieg auf Seiten der kaisertreuen Truppen. Im Jahr 1871 trat er im Rang eines Majors in das Kaiserlich Japanische Heer ein. Er nahm an der japanischen Strafexpedition nach Taiwan 1874 teil und gehörte während der Satsuma-Rebellion zur Besatzung der Burg Kumamoto und half diese gegen die Kämpfer seines Heimathan zu verteidigen. Im Anschluss hieran stieg er durch die Ränge auf, wurde Chef des Kaiserlichen Stabes, Generalsuperintendent der Tokioter Polizei und schließlich Generalmajor des Heeres.