A Szovjetunió elleni német invázió után június 22-én Sztálin Leningrádba, a frissen létrehozott Északi Front (Popov) törzséhez küldte. Június 23-án kinevezték a főhadiszállás tanácsadó testületének tagjává és visszahívták Moszkvába (feltehetőleg a leningrádi első titkár, Zsdanov). De alighogy megérkezett, az NKVD letartóztatta és kegyetlen kínzásnak vetette alá. (Önéletrajzában nem említi a letartóztatását, sokatmondóan hallgat a június 23. és szeptember eleje között történtekről.) Sztálin talán arra gyanakodott, hogy amikor a honvédelmi népbiztos helyetteseként néhány héttel a német támadás előtt ellenőrizte a határ menti különleges katonai körzetek felkészültségét, lehetősége volt egy grandiózus szabotőrhálózat megszervezésére, amelynek tevékenysége következtében a határ menti szovjet alakulatok egy része szándékosan engedi át a terepet a németeknek. Egy másik elképzelés szerint Berija terelte rá és több tekintélyes tisztre a diktátor gyanúját, akiket részben még a háború előtt tartóztattak le – mint pl. Loktyionov vezérezredes, a Balti Katonai Körzet korábbi parancsnoka, Ricsagov, a légierő parancsnoka, Szmuskevics, a légierő korábbi parancsnoka, Stern vezérezredes, Proszkurov, a katonai hírszerzés feje, aki korábban szintén a légierőnél szolgált. Mereckovot Berija helyettesei, Merkulov (akivel korábban jó kapcsolatban volt) és Bogdan Kobulov, valamint Vlodzimirszkij, a különleges ügyek osztályának vezetője és alárendeltjei, Svarcman és Rodosz nyomozók vallatták. A letartóztatottak többségét októberben, a moszkvai csata idején kivégezték, őt azonban (a korábbi hadiipari népbiztossal, Vannyikovval együtt) szeptemberben szabadlábra helyezték és rehabilitálták.