Il s'est marié en 1891 à Lois Reat et avait 3 enfants - Théodore Lee, Lois Brown, et Neill Duncan Brantly. Neill Duncan Brantly (1897-1972) rejoint la marine et est devenu un contre-amiral pendant la Seconde Guerre mondiale, commandant de navires à la Bataille du golfe de Leyte. Lois Brown Brantly (1894-1972) s'est mariée à Francis A. Hazelbaker, qui a été lieutenant-gouverneur du Montana de 1929 à 1933.