Goerdeler var motstander av nasjonalsosialismen, og spesielt kirkepolitikken og raseideologien. Han engasjerte seg i aktiv opposisjon i første del av tredveårene. Da et monument i Leipzig for den tyskjødiske komponisten Felix Mendelssohn ble ødelagt av nasjonalsosialistene i 1936 mens Goerdeler var på utenlandsreise, engasjerte han seg for å få det gjenoppbygget, men da dette ikke lyktes ham, trakk han seg som overborgermester.