В августе 1914 года Ольдерогге принимал участие в походе в Восточную Пруссию и битве при Гумбиннене. С 27 октября 1914 года командовал 113-м пехотным Старорусским полком. Принимал участие в боях 20-го армейского корпуса во время Августовской операции, в которой корпус был окружён. Ольдерогге пробился из окружения в авангарде корпуса (113-й и 114-й пехотные полки). С 12 марта 1916 года командовал бригадой 1-й Туркестанской стрелковой дивизии, а с 7 июля 1917 года — 1-й Туркестанской стрелковой дивизией.