Al inicial Colegio de San Gregorio se añadió el Palacio de Villena, situado enfrente, y después el complejo del Palacio del Conde de Gondomar, separado por del Colegio de San Gregorio por un jardín e integrado por el propio palacio y su capilla, la Iglesia de San Benito el Viejo.