Po agresji Niemiec na ZSRR twierdza ponownie znalazła się w rękach Niemców, w których pozostawała do 1944 roku. Obrona twierdzy przez Sowietów w 1941 roku, mimo że w propagandzie urosła do rangi symbolu bohaterstwa radzieckiego żołnierza, nie miała strategicznego znaczenia. Sowieci nie obsadzili całej twierdzy i nie przygotowali jej do obrony. W okresie pierwszej okupacji sowieckiej do 22 czerwca 1941 r. służyła im przede wszystkim jako katownia, w której likwidowano polskich patriotów. Traktowano ją też jako punkt etapowy, w którym gromadzono więźniów przeznaczonych do dalszej deportacji. W twierdzy prawdopodobnie należy szukać śladów tzw. białoruskiej listy katyńskiej.