Randolph a fait ses études au Collège de William et Mary et a épousé Martha Cocke en 1775. Il a servi dans la milice pendant la Guerre Révolutionnaire Américaine. Il a été membre de l'Assemblée de Virginie et membre de la Chambre des délégués de Virginie de 1777 à 1780. Lorsque George Wythe s'est retiré de la Convention de Philadelphie de 1787, George Mason a suggéré que Randolph (qui se trouvait alors à Philadelphie) soit nommé à sa place. Le conseil et le gouverneur ont décidé qu'à la lumière des capacités des délégués de Virginie restants, Wythe n'avait pas besoin d'être remplacé. Randolph fut élu gouverneur de la Virginie en 1788, le premier à être élu après que la Virginie a ratifié la Constitution des États-Unis. Il est mort sur sa ferme près de Green Creek dans le comté de Cumberland, en Virginie.