Ripresosi dall'incidente, Taddei aiutò la squadra a guadagnare la salvezza nel campionato di Serie A 2003-2004. Nell'annata seguente, avendo rifiutato di firmare il rinnovo del contratto, fu messo fuori rosa dall'inizio di agosto e saltò buona parte della stagione. Il giocatore intraprese un'azione legale accusando la società di mobbing, accusa lasciata cadere però a dicembre in quanto fu reintegrato in rosa in seguito all'accordo della società toscana con la Roma.