Od lutego 1941 roku Kobułow był Zastępcą Ludowego Komisarza Spraw Wewnętrznych, a w latach 1943–1945 Ludowego Komisarza Bezpieczeństwa Państwowego Wsiewołoda Mierkułowa. W 1944 kierował operacją wysiedlenia Czeczenów i Inguszów do Kazachstanu. W 1945 roku uczestniczył w przesłuchaniach uprowadzonych przywódców Polskiego Państwa Podziemnego przed procesem szesnastu. Po II wojnie światowej pełnił funkcję zastępcy szefa Głównego Zarządu Mienia Radzieckiego za Granicą (GUSIMZ) przy Radzie Ministrów ZSRR i zastępcy dowódcy Radzieckiej Administracji Wojskowej w Niemczech (kierował organami bezpieczeństwa w radzieckiej strefie okupacyjnej w Niemczech). Po śmierci Stalina Beria uczynił go pierwszym zastępcą Ministra Spraw Wewnętrznych ZSRR.