Klosterman ble født i Le Mars i Iowa som den 12. av 15 barn. Som barn flyttet familien til Compton i California. Han var den beste pasningsspilleren i college i 1951 da han spilte for Loyola University i Los Angeles, nå Loyola Marymount University. Cleveland Browns draftet ham i 1952 og endte opp som reserve for Otto Graham før han ble byttet til Los Angeles Rams, hvor han var reserve for Norm Van Brocklin og Bob Waterfield. Han flyttet nord og spilte quarterback for Calgary Stampeders i Canadian Football League frem til han var i skiulykke.