Вальтер фон Лоэ происходил из старинной вестфальской католической аристократической семьи. Он родился в фамильном замке Аллнер, в Хеннефе. Своё образование он начал в «Дворянской академии» в Бедбурге и продолжил в Боннском университете. Однако в университете он оставался недолго, так как началась первая из двух войн между Пруссией и Данией за обладание землями Шлезвиг-Гольштейна, на тот момент принадлежавшего Дании.