Después del estallido de la Primera Guerra Mundial, fue reclutado por el Ejército Imperial Ruso en noviembre de 1914. Desde febrero de 1915 luchó en el Frente Sudoeste, en la 82.º División de Infantería. Participó en el sitio de Przemysl, en operaciones ofensivas en Bucovina y en la ofensiva de Brusilov (1916). En diciembre de 1916, el soldado Rybalko fue retirado del frente y trabajó como capataz asistente en un taller para la reparación de molinos de rodillos de la Unión Zemstvo de toda Rusia en Zbarazh y Ternópil.