Sargent Shriver var sønn av bankieren Robert Shriver og hans hustru Hilda. Foreldrene var tremenninger. Shrivers forfedre stammet fra Tyskland, og ankom med navnet Schreiber i 1721 til den daværende britiske koloni Maryland. En an hans forfedre, David Shriver, var i 1776 med på å underskrive Marylands forfatning. Sargent Shriver ble oppdratt som katolikk og holdt fast ved denne troen resten av livet.