En el año 1521 el emperador Carlos V lo cedió para ser usado como convento —el edificio ya no tenía mucho uso por esa época—.