Crouthamel ble født øst i Pennsylvania til Kathryn Apple og Russell Crouthamel, som drev en familiebedrift som lagde bukser for menn under krigen. Han gikk på Pennridge High School og spilte der på et lag som vant 26 av 27 kamper i løpet av tre år. Han ble utnevnt til All League innen amerikansk fotball, løp og basketball, og ble også utnevnt til skolens beste idrettsutøver. Han tok en bachelorgrad i historie på Dartmouth College, hvor han ble uteksaminert i 1960.