Jezsov orosz szegényparaszti családban született, szülei anyagi helyzete miatt csupán alapfokú iskolai képzésben részesülhetett. 1909–1915 között szabósegédként, illetve gyári munkásként dolgozott; 1915-től 1917-ig a cári hadsereg kötelékében harcolt. 1917-ben, már a cár bukása után, de még az októberi forradalom előtt csatlakozott a bolsevikokhoz. Az orosz polgárháború idején a Vörös Hadseregben teljesített szolgálatot, az azt követő békés években a pártapparátusban dolgozott alacsonyabb beosztásokban. 1929–1930 között a mezőgazdasági népbiztos helyettese volt, majd 1930 novemberében az SZKP különleges ügyekkel foglalkozó, a személyügyi, illetve ipari osztályainak élére nevezték ki. 1934-től jutott kulcsfontosságú adminisztratív posztokhoz, a Központi Bizottság tagja, majd a következő év februárjától a KB titkára és a Központi Ellenőrző Bizottság vezetője lett.