I tillegg til fransk og engelsk snakket Boyer også italiensk tysk og spansk. Hans eneste ekteskap var med den britike skuespillerinnen Pat Paterson, som han møtte under et middagsselskap i 1934. De to ble forlovet etter to uker og giftet seg tre måneder senere. De flyttet senere fra Hollywood til Paradise Valley i Arizona. De var gift helt til hun døde i 1978.