Madison var den første presidenten av American Colonization Society, som kjøpte reisen for frie svarte amerikanere til selskapets koloni i Vest-Afrika, Liberia. Etter betingelsene i hans testament, ble 2000 dollar gitt til ACS gjennom deres agent Ralph Randolph Gurley.