Su irreverente y a menudo obsceno sentido del humor hizo que mantuviera una buena relación con el coprotagonista, Marlon Brando, pero al principio tuvo dificultades para trabajar con el director, Elia Kazan, ya que éste no estaba de acuerdo con la dirección que Olivier había tomado al dar forma al personaje de Blanche.