Entre otros, el profesor Ramón Corzo Sánchez y el arqueólogo Pedro Marfil creen que no se trata de un palacio ni tuvo nada que ver con el emperador, sino que se trató de un gran edificio mandado construir por el obispo Osio en honor de San Acisclo.