Il palazzo fu danneggiato sia nel Bombardamento navale di Genova di Luigi XIV di Francia nel 1684, e più gravemente nel 1941, gli ultimi due piani furono distrutti dai bombardamenti e successivamente ricostruiti con sopraelevazione di un piano.