Jako velitel Severozápadního frontu skládajícího se z 1. a 2. armády pod velením generálů Rennenkampfa a Samsonova se Žilinskij na počátku první světové války spolupodílel na porážkách ruských armád v bitvách u Tannenbergu a u Mazurských jezer. Ačkoliv se Žilinskij snažil z katastrofálního tažení ve Východním Prusku obvinit Rennenkampfa, následovalo jeho odvolání z místa náčelníka generálního štábu. Žilinskij byl poté jako vojenský zástupce odeslán do Francie. Na podzim roku 1916 byl povolán zpět do Ruska a v září 1917 byl zproštěn služby v armádě.