Incluso entonces, los detractores del antiguo valido siguieron formulando acusaciones contra él, hasta que consiguieron que el rey lo desterrara más lejos, a la ciudad de Toro, en 1643, y que fuera procesado por la Inquisición en 1644.