21 декабря 1840 года женился на Маргарет Хэлси (1817—1880) в , штат Нью-Йорк. Дочь — Клара Миллс (1851—1931), вышла замуж за Генри Гаррисона Чейза Данвуди (1842—1933), выпускника Военной академии в Вест-Пойнте (1886), бригадного генерала Армии США. Внук Хэлси (1881—1952) — выпускник Вест-Пойнта (1905), полковник, участник Первой мировой войны. Правнук Гарольд Хэлси (1919—2015), выпускник Вест-Пойнта (1943), бригадный генерал, участник Второй мировой, корейской и вьетнамской войн, кавалер креста «За выдающиеся заслуги». Праправнучка Энн Элизабет (р. 1953) — генерал, в , достигшая .