Mercer County wurde am 17. Oktober 1785 aus Teilen des Lincoln County gebildet. Benannt wurde es nach General Hugh Mercer, der während des Amerikanischen Unabhängigkeitskriegs bei der Schlacht von Princeton gefallen war.