Pioli begann seine Fußballkarriere in seiner Heimatstadt Parma und spielte schon seit der Jugend für den dort ansässigen AC Parma. 1982 wurde er in die Profimannschaft berufen, die zurzeit in der Serie C spielte. Dort spielte er bis 1984 und konnte in seiner letzten Saison sogar den Aufstieg in die Serie B feiern. Danach unterschrieb er beim italienischen Meister Juventus Turin. Die erste Saison mit Juventus verlief sehr erfolgreich, zwar wurde das Team nur Sechster in der Serie A, konnte aber den Europapokal der Landesmeister gewinnen. In der darauf folgenden Saison gelang es ihm schließlich mit Juventus Meister zu werden und des Weiteren den Weltpokal zu gewinnen. Nach einer weiteren Saison verließ er Juventus und schloss sich den Hellas Verona an, für die er zwei Jahre in der Serie A spielte. Von dort aus wechselte er zur &lt;a href="Serie%20A%201989/90"&gt;Saison 1989/90&lt;/a&gt; zum AC Florenz. In Florenz verbrachte er eine erfolgreiche Zeit und erreichte in der ersten Saison sogar das UEFA-Cup-Finale, welches gegen seinen ehemaligen Verein, Juventus Turin, verloren wurde. In den nächsten Jahren versank Florenz im Mittelmaß und stieg zwischenzeitlich sogar in die Serie B ab, konnte aber direkt wiederaufsteigen. 1995 ging er aus Florenz weg und wechselte zum Aufsteiger aus Padova, den er nach nur einem Jahr und dem Wiederabstieg in die Serie B verließ. Statt in der Serie B zu spielen wechselte Pioli in die Serie C und spielte dort bei zwei verschiedenen Vereinen, ehe er seine aktive Karriere 1998 beendete.