Estaba casado con Suzanne Gramont con quien tuvo un hijo, Carlos Végh Gramont, economista y profesor universitario que reside en Estados Unidos.