Kondō Isami war verheiratet und hatte eine Tochter, die 1862 geboren wurde. Beide wurden in den Unruhen der 1860er Jahre getötet, ebenso wie sein Enkel, der im Chinesisch-Japanischen Krieg getötet wurde.