El castillo, orignariamente tangente al segundo círculo de los muros (siglo XII), estaba parcialmente circundado por un foso y unido a las cárceles albertinas de las cuales toma su nombre el cercano santuario mariano.