Con la constitución de la Madrid-Alcalá en 1885, el palacio pasó a ser la residencia de Narciso Martínez Izquierdo, primer obispo de esta diócesis, quien lo habitó hasta 1886, año en el que fue asesinado a las puertas de la Colegiata de San Isidro.