第二次世界大戦中、NKVDによるヨーロッパ東部、主にポーランド、バルト諸国、ルーマニア、ウクライナ等における囚人の大量処刑が行われている。これは1941年、ドイツ軍がバルバロッサ作戦を発動してソ連領内に侵入後、赤軍が撤退する際に行ったものである。犠牲者は全体で約100,000名と推測されている。ソ連軍による戦争犯罪の指摘は多く、とりわけ戦争初期および戦闘中に漸次捕虜となったドイツ空軍パイロットを対象としたものが指摘されることが多い。これはドイツ空軍の無差別爆撃によって民間人の大規模な犠牲が生じていたという要因がある。NKVD治安部隊はソビエト赤軍部隊ととも戦闘に参加し、督戦隊を含めて後方地域保全に用いられた。ソビエト赤軍に解放、もしくは占領された地域においてNKVDは大量の検挙、追放、および処刑を行った。対象者は対独協力者や非共産主義レジスタンスであり、ウクライナにおけるUPA、リトアニアの「森の兄弟」、ポーランド国内軍などであった。またNKVDは1939年から1941年の間、ポーランド軍将校捕虜の即座処刑を行っている（カティンの森事件）。