La primera gran reestructuración, que transformó la fortaleza originaria en un elegante palacio ya sin fortificar, se llevó a cabo en el siglo XII por el dux Sebastiano Ziani.