A fine luglio 1941 tornò a Milano per ricostituire il XVI Corpo d'armata e alla fine di ottobre ebbe l'ordine di trasferirsi prima a Napoli e poi in Sicilia, partecipando alla battaglia susseguente contro le forze anglo-statunitensi (luglio-agosto 1943). Evacuato dall'isola, s'impegnò nell'organizzare la difesa delle coste calabresi ma fu richiamato a La Spezia per assumere il comando della Piazza militare marittima, dove era concentrato il grosso della Regia Marina. L'8 settembre, dopo l'annuncio dell'armistizio, si oppose ai tedeschi che volevano entrare a La Spezia, permettendo alle navi di prendere il largo; il mattino del 9 settembre fu catturato e immediatamente condotto al campo di Shokken in Polonia, dedicato in particolare a generali e ammiragli. Le autorità tedesche cercarono ufficiali disposti a collaborare aderendo alla Repubblica Sociale Italiana (RSI): Rossi si rifiutò sempre. Il 22 gennaio 1945, con l'approssimarsi dell'Armata Rossa, i prigionieri furono obbligati a una lunga marcia verso Berlino. Dopo otto giorni, la colonna fu raggiunta dai sovietici, che trasferirono i superstiti a Lublino. Il 6 ottobre 1945 Rossi tornò in Italia, a Verona.