1804年7月，联邦党领袖亚历山大·汉密尔顿在决斗中身亡。此事摧毁了联邦党击败广受欢迎的杰斐逊的希望。因为失去领导、组织混乱，联邦党没能吸引到纽约州之外的多少支持。联邦党攻击路易斯安那购地事件危险，批评杰斐逊组建的巡逻舰海军，又声称杰斐逊与他的奴隶莎丽·海明斯育有数子。然而，联邦党并未激励起人们反对杰斐逊，而杰斐逊的扩张主义政策与减少政府支出的举措受到了广泛的欢迎。此外，支持杰斐逊的民主共和党组织有序。从1800年开始发展的民主共和党甚至在联邦党根深蒂固的新英格兰，也受到了一定的支持。