Se formó en las divisiones juveniles de Estudiantes de La Plata, donde también debutó profesionalmente en 1992. Con el "Pincha", permaneció por seis temporadas hasta su fichaje por Boca Juniors en 1997. Con los "xeneizes", Palermo rompería el récord de goles en torneos cortos, anotando 20 goles en el , y ganaría tres títulos locales y dos internacionales, destacándose por anotarle los dos goles al Real Madrid en la Copa Intercontinental 2000 que consagraría a Boca como campeón del mundo. En 2001 fue fichado por el Villarreal de España, donde solo pudo permanecer por dos temporadas y nunca llegó a asentarse, además de cortos pasos por Real Betis y Alavés, hasta su retorno a Boca en 2004. En su segunda etapa, Palermo se consagraría como el , con 236 goles, y ganaría tres títulos locales y seis internacionales, colocándolo como el 4° jugador con más títulos (13), y el 4° con más encuentros disputados (404). En 2011 se retiró profesionalmente en la institución, volviéndose uno de los máximos ídolos de toda la historia del club.