Fylket ble opprettet 1. april 1820 og fikk fulle rettigheter 2. januar 1824. Mercer County har fått sitt navn etter general Hugh Mercer som deltok i den amerikanske uavhengighetskrigen.