Han begynte deretter på Compton Community College og spilte deretter lineman på begge sider av ballen i tre sesonger da han gikk på University of Southern California. Som senior ble han utvalgt til All-Pacific Coast Conference førstelag og førstelaget i East–West Shrine Game og College All Stars Hula Bowl i 1951. Peters satte en karriererekord på USC for spilleminutter.