El pabellón de la Guardia fue, en el siglo XVI, el refectorio del palacio, durante la Revolución se convirtió en cárcel, fue dividido en compartimentos y distribuido en calabozos que, ante la creciente llegada de prisioneros, se dividió de nuevo para doblar su capacidad.