James Mercer war der ältere Bruder des Kongressabgeordneten und Gouverneurs John Francis Mercer (1759–1821). Ein weiterer Bruder namens George (1733–1784) war ein britischer Offizier während des Siebenjährigen Krieges. Sein Neffe war Charles F. Mercer (1778–1858), der Virginia im Repräsentantenhaus der Vereinigten Staaten vertrat.