El 25 de marzo de 1964 contrajo matrimonio con María Eugenia Vilallonga y Martínez Campos (1942), hija mayor de los duques de la Seo de Urgel, con quien compartiría 30 años de su vida y tendría cinco hijos, siendo estos Pilar, Joaquín, María Eugenia, Lorenzo y José María Tasso Vilallonga.