После того, как стало ясно, что на новые президентские выборы Джефферсон пойдёт с новым вице-президентом, Берр решил участвовать в гонке за кресло губернатора штата Нью-Йорк. В 1804 году он проиграл избирательную кампанию малоизвестному Моргану Льюису. Во время кампании Александр Гамильтон выпустил немало оскорбительных памфлетов против Берра, в связи с чем последний вызвал его на дуэль и застрелил.