Por la parte paterna, Lowell era tátara tátara nieto del comandante Mordecai Myers (padre de Theodorus Bailey Myers, tío abuelo segundo de Lowell), soldado de la Guerra de 1812 y posteriormente alcalde en Kinderhook y Schenectady; por parte materna, fue descendiente de la familia Mordecai de Raleigh, Carolina del Norte, quienes fueron personas prominente en asuntos de estado.