John Mercer war der jüngere Bruder von James Mercer (1736–1793). Dieser war Delegierter im Kontinentalkongress. Ein weiterer Bruder namens George Mercer (1733–1784) war ein britischer Offizier während des Siebenjährigen Kriegs. Sein Neffe war Charles F. Mercer (1778–1858), der Virginia im US-Repräsentantenhaus vertrat. John Mercer besuchte bis 1775 das College of William &amp; Mary, wo er sich mit James Monroe befreundete, mit dem zusammen er sich als Freiwilliger für die Kontinentalarmee meldete. Danach studierte er bei Thomas Jefferson Jura, der sein politischer Mentor werden sollte. Danach begann er in Williamsburg in seinem neuen Beruf als Rechtsanwalt zu arbeiten. Während des Unabhängigkeitskrieges stieg er vom Leutnant bis zum Colonel auf. Er war an mehreren Schlachten beteiligt und war zeitweise auch im Stab von General Charles Lee. Gleichzeitig mit diesem schied er aus der Kontinentalarmee aus, um der Miliz von Virginia beizutreten. Als Angehöriger dieser Truppe nahm er dann an der Belagerung von Yorktown teil.