Mercer County wurde am 17. März 1837 aus Teilen des Giles- und Tazewell County in Virginia gebildet. Benannt wurde es nach Hugh Mercer, einem General der Kontinentalarmee während des Amerikanischen Unabhängigkeitskrieges, der an den Folgen einer Verwundung während der Schlacht von Princeton verstarb.