Den 22. februar 1941 var han en av de første sovjetiske generalene som mottok den nye rangen general i den sovjetiske hæren, som kun var underlegen marskalken av Sovjetunionen. Etter at flere av enhetene som var under hans kommando led flere sviende nederlag, blant annet i slaget ved Białystok-Minsk, i løpet av de første dagene av den tyske invasjonen etter Operasjon Barbarossa, var Pavlov fratatt sin kommando, arrestert og anklaget for kriminell inkompetanse og forræderi. Samme dagen som dommen mot ham ble avsagt, ble Pavlovs eiendommer konfiskert og han ble fratatt sin militære rang og han ble skutt og begravet i et deponi nær Moskva av NKVD.