Era hijo de Abiel Holmes (1763-1837), un clérigo calvinista y ávido historiador que escribió los "Anales de América" y poesías, y su segunda mujer, Sarah Wendell, hija de una importante familia de Nueva York.