Prefectura de Kagoshima
Nació como Hashiguchi Kakunoshin en 1837 en Kajiya-Chō, Kagoshima, en el Dominio de Satsuma (la actual Prefectura de Kagoshima), tercer hijo de un samurái de Satsuma llamado Hashiguchi Yosoji. Durante su infancia, sería adoptado por un samurái del mismo clan, Kabayama Shirōzaemon. Como miembro de una familia samurái, Kabayama participó en combate durante el bombardeo británico de Kagoshima, en 1863, y en la Guerra Boshin.