Shrivers Vorfahren stammten aus Deutschland, wo ihr Name "Schreiber" gewesen war, und wanderten 1721 in die damalige britische Kolonie Maryland aus; der Ahne David Shriver war 1776 einer der Unterzeichner der Verfassung von Maryland. Die katholische Familie gehörte der dortigen Elite an, ohne über Reichtum zu verfügen. Der Sohn des Bankiers Robert Shriver und seiner Ehefrau Hilda besuchte mit einem Stipendium die Canterbury School in New Milford (Connecticut) und verbrachte den Sommer 1934 mit dem Austauschprogramm Experiment in International Living in Deutschland. Im Herbst 1934 begann Shriver das Studium an der Yale University, wurde dort Chefredakteur der Zeitung "Yale Daily News" und machte 1938 seinen Abschluss. Anschließend bezog er die Yale Law School. Shriver war 1940 Mitgründer des America First Committee, das sich gegen einen Eintritt der USA in den Zweiten Weltkrieg wandte. Später revidierte er seine Ansicht und ließ sich für den Wehrdienst registrieren; nach dem Abschluss der Law School 1941 wurde er eingezogen und diente an verschiedenen Stellen in der United States Navy, darunter auf der USS South Dakota (BB-57) 1942 in der Schlacht bei den Santa-Cruz-Inseln und in der Seeschlacht von Guadalcanal; für seine Verwundung dort erhielt er das Purple Heart. 1943 ließ er sich zum U-Boot-Torpedooffizier ausbilden.