Su padre fue William Nixon Lummis (1775-1833), un prominente doctor que estudió medicina en Filadelfia bajo la tutela del famoso médico Benjamin Rush.