Keväällä 1933, Adolf Hitlerin jo tultua valtaan, hän määräsi hakaristiliput poistettaviksi Kölnistä Reinin yli meneviltä silloilta. Maaliskuussa 1933 kansallissosialistit erottivat Adenauerin virastaan ja kielsivät häntä oleskelemasta Kölnin hallintopiirin alueella. Vuonna 1934 oli Adenauer lyhyen aikaa pidätettynä niin sanotun Röhm-puhdistuksen yhteydessä. Valtaosan Hitlerin valtakaudesta Adenauer eli politiikasta vetäytyneenä kotonaan Rhöndorfissa ja vietti aikansa lähinnä ruusuja kasvattaen. Hitleriä vastaan 20. heinäkuuta 1944 kohdistuneen epäonnistuneen attentaattiyrityksen jälkimainingeissa Adenauer pidätettiin, koska hänellä epäiltiin olleen yhteyksiä attentaatin suorittaneisiin oppositiopiireihin. Adenauer vapautettiin marraskuussa 1944.