Casado con Anita Cherviere, fue padre de Matilde Amalia, María Antonia, y José Lorenzo Batlle Cherviere (1941-1985), quien dirigiera los destinos de El Día hasta la década de 1980.