Han vokste opp i en velstående og politisk engasjert familie i Scranton i Pennsylvania som sønn av Worthington Scranton og Marion Margery. Familien etablerte jern- og stålverkene som byen ble bygd rundt i 1840-årene. Han giftet seg i 1942 med Mary Lowe Chamberlain, som han fikk fire barn med, deriblant viseguvernør William Scranton III.