Olmos ble født i øst-Los Angeles i California, som sønn av en meksikansk far (med 25% ungarsk-jødisk avstamning) og en meksikansk-amerikansk mor. Da han vokste opp, ville han bli en profesjonell baseballspiller og ble mester (the Golden State batting champion). I tenårene, snudde han seg til rock&roll, og ble sangeren i et band han ga navnet «Pacific Ocean». Bandet slapp også en plate i 1968.