平克尼曾在美国独立战争时期（以及之后）为美国的公共事业服务，这使得他在全国妇孺皆知。联邦党希望，平克尼能赢得南方几个州的选票，而不是像上次大选一样，让杰斐逊主导南方州的选票。
大选.1804年7月，联邦党领袖亚历山大·汉密尔顿在决斗中身亡。此事摧毁了联邦党击败广受欢迎的杰斐逊的希望。因为失去领导、组织混乱，联邦党没能吸引到纽约州之外的多少支持。联邦党攻击路易斯安那购地事件危险，批评杰斐逊组建的巡逻舰海军，又声称杰斐逊与他的奴隶莎丽·海明斯育有数子。然而，联邦党并未激励起人们反对杰斐