Samuel Adrian Baugh ble født på en gård nær Temple i Texas, den andre sønnen til James, som jobbet for Santa Fe Railroad, og Lucy Baugh. Foreldrene hans skilte seg senere og moren oppdro tre barn på egenhånd. Da han var 16 flyttet familien til Sweetwater i Texas hvor han gikk på Sweetwater High School. Som quarterbacken for skolelaget (Sweetwater Mustangs), brukte han flere timer på å kaste en fotball gjennom et bildekk som svinte, ofte mens han beveget seg. Baugh øvde mer på punting enn å kaste ballen.