Ольбріхт був одним з небагатьох серед німецької старшини, хто підтримував демократичну Веймарську республіку. Його недовіра до нацистів стала очевидною ще на ранньому етапі становлення німецького націонал-соціалізму, особливо після Пивного путчу у 1923 році. У 1926 році Ольбріхт був призваний до служби в міністерстві оборони як керівник «Управління іноземних армій». У 1933 році він став начальником штабу Дрезденської дивізії.