En 1777, el primo de Madison, el reverendo James Madison, (1749-1812) llegó a ser el presidente del colegio de William y Mary.