El edificio era conocido como la Casa del Emperador, ya que según se afirmaba, el Colegio se construyó sobre una casa propiedad del emperador Carlos I.