Ejov s-a născut la Sankt Peterburg. A absolvit numai cursurile școlii elementare. Din 1909 până în 1915 a lucrat ca ajutor de croitor și ca muncitor industrial. Din 1915 până în 1917 a fost încorporat în armata țaristă. S-a alăturat bolșevicilor pe 5 mai 1917 în Vitebsk, cu doar câteva luni mai înaintea izbucnirii Marii Revoluții Socialiste din Octombrie. În timpul războiului civil rus (1919–1921) a luptat în rândurile Armatei Roșii. După februarie 1922, a lucrat în sistemul politic, cel mai mult ca secretar al diferitelor comitete regionale ale partidului comunist. În 1927 a fost transferat la Departamentul contabilitate și aprovizionare al Partidului Comunist, unde a lucrat ca instructor și ca șef de facto al departamentului. Din 1929 până în 1930 a fost adjunct al Comisarului Poporului pentru agricultură. În noiembrie 1930 a fost numit șef al unor departamente diferite ale Partidului Comunist: Departamentul afacerilor speciale, Departamentul de personal și Departamentul industriei. În 1934 a fost ales membru supleant în Comitetul Central al Partidului Comunist, iar în anul următor a devenit secretar al CC al PCUS. Din 1935 până în 1939 a fost de asemenea președintele Comisie centrale de control a partidului.