Flores spilte quarterback i to sesonger fra 1955 av da han gikk på Fresno City College. Han var også aktiv av banen, som medlem av elevrådet og president for organisasjonen Associated Men's Students. Han fikk et stipend til å studere på College of the Pacific—nå kjent som University of the Pacific—og ble uteksaminert i 1958. Han spilte også quarterback for Pacifics skolelag, Tigers. Etter spillerkarrieren i college ble han ansatt som assistenttrener på Pacific, og begynte på en mastergrad.