Su padre, James Madison Sr.