El 9 de enero de 1896, el príncipe Hiroyasu contrajo matrimonio con Tokugawa Tsuneko (1882-1939), novena hija del príncipe Tokugawa Yoshinobu, el último "Shogun" de Japón, con la que tuvo seis hijos: