Tras la expulsión de los jesuitas por la Pragmática Sanción de 1767, pasó al oratorio de San Felipe Neri hasta la desamortización de 1835.