માત્ર 5 ફુટ 4 ઇંચ ઊંચું અને 100 પાઉન્ડથી ઓછું વજન ધરાવતા, મેડિસન એ બધા અમેરિકી પ્રમુખોમાંથી સૌથી નાનું હતું.