Al subir al trono Felipe IV (1621) se vio forzado a abandonar la Corte y su cargo de Inquisidor General, siendo desterrado al monasterio de Santo Domingo de Huete y posteriormente a Aragón, donde murió, en 1626.