De los 11 a 16 años, el pequeño "Jemmy" Madison fue enviado a estudiar con Donald Robertson, un profesor de la hacienda Innes del Condado de King and Queen, en la región de Tidewater.