Hijo de Ann Louis Penn Dagworthy (Charlton) y el capitán John Ross Key nació en la plantación familiar de Terra Rubra en el que era condado de Frederick y es actualmente el condado de Carroll (Maryland).