Francisco Javier Castaños tuvo una hermana, María Concepción, que se casó con Francisco Luis Héctor de Carondelet, el cual fue gobernador de Luisiana y Florida y presidente de la Real Audiencia de Quito.