Olmos gikk ut med eksamen fra Montebello High School i 1964. Så gikk han på East Los Angeles College og California State University i Los Angeles, der han blant annet tok timer i skuespill og teater.