Zijn graf werd tijdens de beeldenstorm verwoest. Van Rossums gebeente werd in 1599 na het Beleg van Zaltbommel overgebracht naar de Sint-Janskathedraal in 's-Hertogenbosch. Noch in Rossum noch in 's-Hertogenbosch is echter enig spoor meer te vinden van zijn tombe. Het verhaal gaat dat zijn schedel naar Kasteel De Cannenburgh werd gebracht, en in 1883 naar het gemeentemuseum van Arnhem. Daar zou zijn schedel door de oorlogshandelingen in september 1944 definitief verloren zijn gegaan.