Jsou po něm pojmenovány okresy Randolph County v Severní Karolíně a Indianě, pevnost Fort Randolph a letadlová loď USS Randolph (CV-15). Jeho švagrem byl Benjamin Harrison V, signatář Deklarace nezávislosti Spojených států amerických a otec prezidenta Williama Henryho Harrisona. Jeho sestřenice Jane Randolphová byla matkou Thomase Jeffersona. Rodinné sídlo Peyton Randolph House se zachovalo jako muzeum.