I motsetning til sitt glamorøse image begynte Boyer tidlig å miste håret, han hadde en fremtredende mage, og var betydelig kortere enn kvinnene han spilte mot, som Ingrid Bergman. Da Bette Davis første gang så han på settet til kjente hun han ikke igjen og prøvde å få han fjernet.