Con su primera esposa tuvo como hijo a Konoe Tsunehiro, adoptó una hija que fue posteriormente consorte de Date Shigemura, séptimo del Sendai han.