En enero de 1861, el padre de Lowell murió de un ataque al corazón, motivando a Lowell a mudarse con su familia de nuevo a Elmwood.