En esa época el centro de la plaza que hay delante del actual palacio, donde actualmente se encuentra el obelisco, estaba ocupado por el palacio y la torreta de los Annibaldeschi.