År 1840 blev han ledamot av conseil d'état och sändes 1845 som envoyé till Rom, där han följande år blev ambassadör. Vid denna tid utnämndes han till fransk greve. Sedan februarirevolutionen i Frankrike 1848 berövat honom hans ministerpost, kallades han till medlem i påve Pius IX:s kabinett och blev i september 1848 dess chef. Med kraft och skicklighet verkade han där för konstitutionella grundsatser och för ett italienskt statsförbund under påvens presidium; men han stötte överallt på förbittrade motståndare, och den 15 november 1848 mördades han på trappan till kammarens sessionssal. Pius IX lät resa en minnesvård över Rossi i Rom, och i Carrara restes hans staty 1876.