Som person var han ifølge flere selvdestruktiv og kunne være vanskelig å arbeide sammen med. Etter å ha fullført filmen i 1953 skulle det ta fire år før han opptrådte på det hvite lerret igjen, og da hadde nye stjerner som James Dean og Paul Newman i stor grad overtatt. Hans begrensede aktivitet i filmindustrien var kanskje noe av årsaken til at hans popularitet sank mot slutten av 1950-årene. Det gjorde ikke saken bedre da han i 1956 ble utsatt for en bilulykke, som smadret ansiktet hans fullstendig. Plastiske kirurger klarte å gjenopprette ansiktet hans til en viss grad, men det var umulig å gi ham tilbake det vakre utseendet han var blitt så berømt for.