Randolph war Mitglied der Demokratisch-Republikanischen Partei. Von 1793 bis 1794 gehörte er dem Senat von Virginia an, zwischen dem 4. März 1803 und dem 3. März 1807 war er Abgeordneter im Kongress. Während des Britisch-Amerikanischen Kriegs von 1812 war er Oberst einer Infanterieeinheit. Nach dem Krieg wurde er in das Abgeordnetenhaus von Virginia gewählt.