La légende populaire dit que la Tour de Mécène (la même tour d'où Néron, environ deux mille ans plus tôt, observait l'incendie de Rome, qu'il avait lui-même allumé, selon la tradition) a été englobée dans le palais lui-même.