Mercer County wurde am 12. Februar 1820 aus Teilen des Darke County gebildet und 1824 abschließend organisiert. Benannt wurde es nach Hugh Mercer (1726–1777), einem Brigadegeneral der Kontinentalarmee im Amerikanischen Unabhängigkeitskrieg, der bei der Schlacht von Princeton tödlich verletzt wurde.