Su primera esposa fue la aristócrata inglesa Essylt-Priscilla Scott-Ellis (1916-1983), hija del VIII barón Howard de Walden, a la que conoció cuando era enfermera durante la Guerra Civil y de la que tuvo dos hijos, John Alfonso Stephen y Carmen Beatrice de Vilallonga y Scott-Ellis, con los que se llevó bastante mal (especialmente con el varón); se separó ruidosamente de ella en 1956.