En contraste con muchos jóvenes en busca de colegio, Madison no decidió asistir al colegio de William y Mary debido a que el clima de Williamsburg (Virginia) le hubiera afectado su salud débil.