Hijo de Vicente Ibarra y de Ana Teresa Toro, por lo que era hermano del general Andrés Ibarra y sobrino de Francisco Rodríguez del Toro (marqués del Toro).