Den 20. januar 1931 døde Josef Groß 64 år gammel av hjertesvikt og ble begravet den 24. januar 1931 i biskopenes gravfelt på Leitmeritz kirkegård. En plakett i katedralen minnes ham.