Sus abuelos paternos fueron Manuel Pardo Ribadeneira, regente de la Audiencia del Cuzco, y Mariana de Aliaga, segunda hija de los Marqueses de Fuente Hermosa de Miranda y descendiente del conquistador Jerónimo de Aliaga.