Rabals Familie verließ die Region Murcia nach Ausbruch des Spanischen Bürgerkrieges. In Madrid musste der junge Rabal als Straßenverkäufer arbeiten und so den Unterhalt der Familie sichern. Nach seiner Schulzeit arbeitete er als Elektriker in spanischen Filmstudios. Er übernahm erste Statistenrollen und ging dann ans Theater, wo er auch Schauspielunterricht erhielt. Nach zahlreichen Filmen in Spanien gelang ihm der internationale Durchbruch 1959 mit dem mexikanischen Film "Nazarín" von Luis Buñuel. Mit Buñuel drehte er zwei Jahre später den Film "Viridiana", der bei den Filmfestspielen von Cannes 1961 die Goldene Palme gewann. Neben zahlreichen filmisch interessanten Werken war Rabal auch immer wieder in Kommerzprodukten zu sehen.