Fue padre de siete hijos, entre los que se encuentran los políticos Elisa y José María Robles Fraga y el diplomático Carlos Robles Fraga.