Su padre fue nieto de José Bernardo de Tagle Bracho y Pérez de la Riva, vizconde de Bracho, quien obtuvo el marquesado de Torre Tagle en 1730, y su madre bisnieta de Melchor Portocarrero Lasso de la Vega, virrey del Perú, y descendiente de los judeoconversos De la Caballería.