Sostuvo una relación con la actriz Michèle Girardon, quien se suicidó en 1975 tras el casamiento en 1974 de Vilallonga con Syliane Stella Morell.