Un vistazo sobre Madison es proveído por las primeras notas biográficas escritas de la Casa Blanca " A Colored Man's Reminiscences of James Madison" (Recuerdos de James Madison por un Hombre de Color, 1865), escritas por el antiguo esclavo de Madison [[Paul Jennings]] quien trabajó para el presidente desde la edad de 10 años, sirviendo como [[lacayo]], y después como su ayudante de cámara para el resto de la vida de Madison.