Potters Familie wanderte 1741 nach Amerika aus. James trat in die Miliz von Pennsylvania ein und nahm 1756 an der Kittanning Expedition während des Siebenjährigen Kriegs in Nordamerika teil. Im zivilen Leben war Potter Landwirt und unterstützte die Erschließung des zentralen Pennsylvanias durch europäische Siedler. Dabei erwarb er auch selbst umfangreichen Grundbesitz, die auf ihn zurückgehende Potter-Allison Farm ist seit 1977 ein denkmalgeschützter Historic District. 1776 war er Mitglied der Verfassungsgebenden Versammlung Pennsylvanias. Während des Amerikanischen Unabhängigkeitskriegs kommandierte Potter die "Northumberland-Miliz" in den Schlachten von Trenton, Princeton, Brandywine und Germantown. 1777 wurde er zum Brigadegeneral, 1782 zum Generalmajor der Miliz ernannt.