Sammen med Elbridge Gerry, som ble visepresident, ble Madison valgt for perioden 1813 – 1817. Visepresident Gerry døde 23. november 1814, og Madison satt resten av embedsperioden uten visepresident.