Nella stagione 2004-2005 sfiora la qualificazione alla Champions League, con il piazzamento al quinto posto in classifica. L'anno successivo Palombo fa il suo esordio in Coppa UEFA, in occasione dell'incontro Vitória Setúbal-Sampdoria. In campionato invece realizza la prima rete in Serie A il 18 gennaio 2006 in rovesciata nel successo per 3-1 contro la Fiorentina, sua ex squadra.