Der deutsch-sowjetische Überfall auf Polen im Jahr 1939 bedeutete das Ende für seine Fußball-Karriere. Seine Heimatstadt wurde von der Sowjetunion besetzt, Zimmer wurde nach Charkow verschleppt und dort im Mai 1940 vom sowjetischen NKWD ermordet.