Contrajo matrimonio con la pintora trascendentalista Sophia Peabody en 1842.