Hossein var gift fire ganger. Hans første ekteskap, inngått i 1955 med filmpartneren Marina Vlady endte med skilsmisse. De fikk to sønner. Med sin annen hustru, den senere psykoanalytikeren og forfatteren Caroline Eliacheff, fikk han en sønn. De skilte seg i 1964. Den da 15-årige Caroline Eliacheff, datter av filmprodusenten Anatole Eliacheff og publisisten Françoise Giroud, kunne han gifte seg med den 7. juni 1962 bare med særlig tillatelse fra president Charles de Gaulle.