I februar 1933 trådte Wagner ut av Berlins kunstakademi i protest mot utelukkelsen av Käthe Kollwitz og Heinrich Mann. Han ble stadig sterkere motarbeidet av nazistene som følge av hans medlemskap i SPD. Sammen med de øvrige sosialdemokratiske medlemmene av planadministrasjonen i Berlin ble han permittert fra sin stilling i 1933.