El duque Rodolfo IV constituyó en 1365 en el lugar la sede del Capítulo Colegial de Todos los Santos, ubicando su sala capitular en la galería oeste.