સપ્ટેમ્બર 27, 1809 ના રોજ ચાર્લ્સ કાઉન્ટી, એમડીમાં જન્મ, રાફેલ સેમેમ્સ રિચાર્ડ અને કેથરિન મિડલટન સેમેમ્સના ચોથા સંતાન હતા.