Zhilinsky también sirvió entre el 22 de febrero de 1911 y el 4 de marzo de 1914 como Jefe de Estado Mayor General del Ejército Imperial Ruso. A principios de la I Guerra Mundial, asumió el mando del Frente Noroeste. El Frente del Noroeste incluía al 1º Ejército y el 2º Ejército bajo el mando del General Paul von Rennenkampff y el General Alexander Samsonov. Después del fracaso de la invasión rusa de Prusia Oriental (1914) y de las pérdidas en la batalla de Tannenberg y en la primera batalla de los Lagos Masurianos, fue relevado del mando a pesar de los intentos de culpar a Rennenkampff por el fiasco. Zhilinsky fue enviado como representante militar a Francia entre 1915-1916 y fue rellamado a Rusia en el otoño de 1916. El 19 de septiembre de 1917, se le ordenó el retiro.