Tuvo tres hijos con su esposa Matilde Ibáñez Tálice (1907-2002): Jorge Luis (1927-2016), presidente de Uruguay entre 2000 y 2005; Luis César (1930-2016) pianista e intérprete de música clásica; y Matilde Linda, nacida en Argentina en 1932.