Mazzarri je kao igrač igrao na poziciji veznog igrača, a omladinske godine proveo je u sastavu Fiorentine za koju nikada nije zaigrao u seniorskim godinama. Svoju prvu seniorsku utakmicu odigrao je 1981. dok je bio na posudbi u Pescari, koja je tada igrala Seriju B. Sezonu poslije te proveo je također kao posuđeni igrač u Cagliariju, da bi ga kasnije Fiorentina prodala Reggiani. Najduže je igrao u Empoliju, koji je svoje prve utakmice u Seriji A igrao upravo u doba kad je Mazzari bio igrač te ekipe.