Nació en febrero de 1818 en Charlestown, Massachusetts, hijo de Jeremiah Evarts y Mehitabel Barnes Sherman. Su madre era hija de Roger Sherman, padre fundador de Connecticut, firmante de la Declaración de Independencia, los Artículos de la Confederación y la Constitución. Del lado paterno, era descendiente de un inmigrante inglés establecido en Connecticut en el siglo XVII.