Участвовал в Великой Отечественной войне с самого её начала. К 22 июня 1941 года Николай Иванович имел звание подполковника и командовал 4-м кавалерийским полком 2-й гвардейской Крымской кавалерийской дивизии. Подразделение находилось в Молдавии на реке Прут и приняло на себя один из первых ударов врага. Полк Терёхина сражался под Кишинёвом, на Днепре, на Днестре, оборонял Москву, участвовал в освобождении Житомира и Киева, в конце войны воевал в Германии.