Toldo har sin bakgrunn i AC Milan, men han spilte aldri A-lagskamper for klubben. Han ble utlånt til Trentino Calcio 1921 og Ravenna Calcio fra 1991 til 1993. Toldo skrev deretter under for ACF Fiorentina, og var i klubbens startoppstilling i åtte sesonger. I løpet av denne perioden vant klubben den italienske cupen (Coppa Italia) to ganger, og spilte en sesong i Mesterligaen for . Ett år før Fiorentina ble erklært konkurs, ble han overført til Internazionale i 2001, der han var nummer 1 inntil sommeren 2005, da den brasilianske målvakten Júlio César overtok Toldos plass. Han vant tilbake plassen som førstekeeper i februar 2006, og har undertegnet kontrakt med Inter frem til 2009.