Under ett år etter at han ble biskop, kom den nasjonalsosialistiske maktovertakelsen i Tyskland, og Adolf Hitler klarte i løpet av én måned på vårparten å etablere seg som diktator og tilsidesette de demokratiske strukturer. Det gjorde Gröber svært oppsatt på å få ferdigstilt det konkordat som Hitler tilbød Den katolske kirke for hele Det tyske rike, og som på papiret sikret nesten alle de rettigheter kirken ønsket avtalefestet. Nazistene brøt dette konkordatet så å si fra første stund, men Gröber opphørte aldri å henvise til det når han protesterte mot myndighetenes kirkefiendtlige tiltak.