Krylenko studert jus i St. Petersburg og ble bolsjevik i 1906. Han viet seg som sådan fremst til propagandaen i hæren. I juni 1914 flyktet Krylenko til Sverige, vendte tilbake i 1915, ble arrestert og innrullert som soldat. Etter februarrevolusjonen i 1917 blev han atter arrestert, men ble satt på frifot. Han var fra november 1917 til mars 1918 den russiske hærs øverstkommanderende.