Boyer giftet seg i 1960 med den franske sangeren og komponisten François Lubian. Han døde i 2011.