In Madrid nam Pellegrini deel aan de Europese kampioenschappen zwemmen 2004, op dit toernooi eindigde ze als vierde op de 200 meter vrije slag en als zesde op de 100 meter vrije slag. Samen met Alessandra Cappa, Chiara Boggiatto en Francesca Segat eindigde ze als vierde op de 4x100 meter wisselslag, op de 4x100 meter vrije slag eindigde ze samen met Cristina Chiuso, Cecilia Vianini en Simona Ricciardi op de vijfde plaats. Tijdens de Olympische Zomerspelen van 2004 in Athene veroverde de Italiaanse de zilveren medaille op de 200 meter vrije slag, ze hoefde enkel de Roemeense Camelia Potec voor zich te dulden. Met die prestatie trad Pellegrini, 32 jaar na dato (München 1972), in de voetsporen van landgenote Novella Calligaris, de eerste Italiaanse zwemster die een olympische medaille veroverde. Tijdens de halve finales in Athene scherpte ze het Italiaanse record aan tot 1.58,02, op de 100 meter vrije slag werd ze uitgeschakeld in de halve finales. Samen met Cecilia Vianini, Cristina Chiuso en Sara Parise strandde ze in de series van de 4x100 meter vrije slag, op de 4x100 meter wisselslag werd ze samen met Alessandra Cappa, Chiara Boggiatto en Ambra Migliori gediskwalificeerd. Op de Europese kampioenschappen kortebaanzwemmen 2004 in de Oostenrijkse hoofdstad Wenen eindigde de Italiaanse als vierde op de 200 meter vrije slag en als vijfde op de 100 meter vrije slag, samen met Cristina Chiuso, Francesca Segat en Alessia Filippi eindigde ze als zevende op de 4x50 meter vrije slag.