Machno werd geboren als boerenzoon en kende een armoedige jeugd. Na de dood van zijn vader werd hij al op achtjarige leeftijd schaapsherder, later landarbeider, schilder en op zijn zeventiende arbeider in een ijzergieterij. Onder invloed van de Russische Revolutie van 1905 begon hij zich voor het anarchisme te interesseren en sloot zich aan bij een anarchistische groepering. In 1908 werd hij door een infiltrant verraden en voor het eerst gearresteerd. Na in 1910 ter dood te zijn veroordeeld zat hij vervolgens tot de februarirevolutie van 1917 gevangen in de Moskouse Boetirka-gevangenis (waar hij bevriend raakte met de anarchist en zijn latere biograaf Peter Arsjinov). Tijdens zijn gevangenisperiode liep hij tuberculose op, waarna een deel van zijn long werd verwijderd.