Das Mercer County wurde am 13. Januar 1825 aus als frei bezeichneten – in Wirklichkeit aber von Indianern besiedelten – Territorium gebildet. Benannt wurde es nach Hugh Mercer (1726–1777), einem General der Kontinentalarmee, der in der Schlacht von Princeton fiel.