Da Randolphs onkel, Peyton Randolph, døde i oktober 1775, vendte han tilbake til Virginia i forbindelse med arveoppgjøret. Mens han var der ble han valgt som representant til Virginia-kongressen. Han skulle bli ordfører i Williamsburg, og senere den første justisministeren i Amerikas forente stater.