Serov liittyi NKVD:hen, selvisi Stalinin puhdistuksista 1930-luvulla ja oli itsekin teloittamassa marsalkka Mihail Tuhatševskia. Hänen epäillään vastanneen myös Nikolai Ježovin teloituksesta. 1939 Serovista tuli Ukrainan NKVD-komissaari, jolloin hän murhautti tuhansia ukrainalaisia talonpoikia. Hän oli vastuussa myös Katynin joukkomurhasta Puolassa ja Puolan kotiarmeijan jäsenten karkotuksista Siperiaan. 1941 hän järjesteli myös balttien ja kaukasialaisten karkotuksia Siperiaan, ja kohosi sadistisen NKVD-johtaja Lavrenti Berijan lähimmäksi alaiseksi. Vuonna 1946 Serov oli mukana hirttämässä Neuvostoliiton johdon silmissä petturiksi ryhtyneen kenraali Andrei Vlasovin ja hänen lähimmät alaisensa Moskovassa. Serov tuli Berliiniin 1946 ja järjesteli siellä Itä-Saksan salaisen poliisin Stasin toimintaa. Hän toimi myös vastavakoilujärjestö Smeršin palveluksessa toisen maailmansodan aikana.