Da Adolf Hitler kom til makten var Adam sjef for , og ble fjernet fra denne stillingen og satt til å være kommandant for en divisjon og sjef for Militærdistrikt VII. Etter å ha kritisert krigsminister Werner von Blomberg, ble han plassert i en retrettstilling ved den nyopprettede krigsskolen for Wehrmacht i 1935. Han ble ytterligere upopulær hos Hitler da han kritiserte den voldsomme ressursbruken i å bygge Siegfriedlinjen. Han ble av hitlerentusiastene betegnet som bremsekloss og defaitist for sin kritiske holdning til Hitlers oppbygning til storkrig.