Mazzarri je trenersku karijeru započeo kao pomoćnik u Bologni, a kasnije i u Napoliju gdje je radio kao pomoćnik Renza Ulivijerija. Prvu sezonu kao glavni trener imao je u Seriji C, gdje je vodio Acireale, u kojem je igrao u periodu 1992-1994. Nakon toga je vodio Pistoese, a najveći trenerski uspjeh do tada ostvario je kao trener Livorna, s kojim je ušao u elitni rang italijanskog fudbala, Seriju A.