Finalmente, intercedió el emperador Carlos V para que se realizara la obra, aunque más tarde se lamentara, como recogió Bernardo de Alderete, con la famosa frase «habéis destruido lo que era único en el mundo, y habéis puesto en su lugar lo que se puede ver en todas partes».