Czeriedniak urodził się w żydowskiej rodzinie w Grodnie w 1883. Z zawodu był fryzjerem. W latach 1904–1905 współpracował z białostockim anarchistą – Władimitem „Bezgłowym” Strigi; brał udział w akcjach terrorystycznych na terenach Białorusi i Polski. W latach 1907–1917 mieszkał w Ameryce i Francji, a po rewolucji rosyjskiej przeniósł się na Ukrainę. W 1917 zorganizował anarchistyczny oddział bojowy górników w Makiejewce, na czele którego brał udział w walkach z kozakami dońskimi i wojskami Cesarstwa Niemieckiego.