Nato a San Pietroburgo, Švernik entrò nel 1905 nel Partito Operaio Socialdemocratico Russo, aderendo alla corrente bolscevica. Nel 1924 divenne Commissario del Popolo della Repubblica Socialista Federativa Sovietica Russa, l'anno seguente membro del Comitato Centrale del PCUS, divenendone Segretario nel 1926. Alla fine del 1942 fu nominato del Commissione di Stato straordinaria, organismo che doveva elencare e catalogare i crimini commessi dai tedeschi in Unione Sovietica.