Peña Gómez estuvo casado tres veces, la primera vez con Julia Idalia Guaba Martínez con quien tuvo cuatro hijos: Lourdes Fátima, Luz del Alba (Luchy), José Francisco (José Frank) y Francisco Antonio (Tony).