O'Herlihy dukket opp som skuespiller for første gang i 1947. Hans første filmrolle i USA var som karakteren Macduff i Orson Welles' versjon av Macbeth i 1948. I 1954 var han med i regissør Luis Buñuels film Adventures of Robinson Crusoe, som skaffet ham en nominasjon til Oscar for beste mannlige hovedrolle. Men han ble forbigått av Marlon Brando som vant en Oscar for On the Waterfront, i stedet.