Algunos de los hermanos de José Rafael fueron, José Gabriel Campoy, el bachiller Pedro Joaquín Campoy, comisario del Santo Oficio en el Real de los Alamos, y Raymundo Antonio Campoy, dueño de las famosas minas de San Pedro y San Pablo y hombre de fuertes recursos, que contrajera matrimonio con Ana María Micaela González de Zayas, padres de María Manuela Campoy quien contrajo matrimonio con Salvador Esquer y Rozas.