Morton stammet fra en pastorsfamilie; han far var kalvinistisk-kongregalististisk predikant som flyttet meget rundt med sin familie i New England-statene. Morton selv var oppkalt etter onkelen Levi Morton, protestantisk misjonær i Palestina.