Cuando Núñez de Cáceres vivía en Camagüey, Cuba, le nacieron otros tres hijos: José, el 9 de septiembre de 1804, Francisco de Asís, 15 de septiembre de 1805, y Gregorio, el 8 de junio de 1809.