Dopo alcuni anni da tecnico di squadre toscane nelle serie inferiori, debutta in serie B nella stagione 1997-1998 come allenatore del Chievo Verona. L'anno dopo allena il Brescia. A novembre 1999 diventa l'allenatore dell'Empoli, che in quel momento è in Serie B e che, sotto la guida di Baldini, termina il campionato all'8º posto. Nella stagione 2000-2001 Baldini, ancora alla guida dell'Empoli, arriva quinto, andando molto vicino alla promozione in Serie A, ottenuta nella stagione 2001-2002. In Serie A con l'Empoli raggiunge una tranquilla salvezza.