Utnevningen til statssekretær ble møtt med sterk kritikk fra opposisjonen, SPD. Kritikken forsterket seg i 1956 og det ble påstått at han hadde hatt medansvar for at jøder måtte innføre navnene Israel eller Sarah i passene sine. I 1961 konkluderte statsadvokaten i Hamburg med at Globke ikke hadde hatt kontakt med Adolf Eichmann.