La familia se había trasladado de Prefectura de Kagoshima, donde la familia Koyamada es un descendiente directo de Kagenori Koyamada, el señor del clan Koyamada que era un clan samurái en el dominio de Satsuma.