El edificio principal, que se construyó entre 1600 y 1610, año este último en que Pedro de Castro Cabeza de Vaca y Quiñones, fundó uno de los primeros colegios privados de Europa (como una universidad privada en la que se estudiaba derecho, teología y filosofía).