Aun así, en una carta a Stephen Bates de 1832, James Madison parece haber escrito que él nunca fue un masón y que era un "extraño a [sus] principios".