Gilardino startet karrieren i Piacenza Calcio, og spilte sin første Serie A-kamp mot AC Milan. Han ble solgt til Hellas Verona, som han spilte to sesonger for. Karrieren skjøt for alvor fart i 2002, etter at han gikk til Parma FC. Han scoret fem mål den første sesongen, og sesongen deretter (2003/04) kom han på andreplass på toppscorerlista med 23 mål. I juli 2005 ble han solgt til AC Milan.