Baugh spilte også baseball da han gikk på Texas Christian. Det var som baseballspiller han fikk kallenavnet «Slingin' Sammy» av en sportsjournalist i Texas. Etter college signerte Sammy en kontrakt med St. Louis Cardinals og ble sendt til Minor League Baseball for å spille for Columbus Red Birds i Columbus i Ohio som en shortstop. Han ble deretter sendt til International Leagues Red Wings i Rochester i New York. Der fikk han lite spilletid bak startende shortstop Marty Marion og var misfornøyd med mulighetene sine, en av faktorene som gjorde at han valgte å gå profesjonell innen amerikansk fotball.