Hans samarbeid med tyskerne gikk dårligere utover krigen. Han var blant annet mot arrestasjonen og deportasjonen av de norske jødene og gikk inn for at administrasjonen av jødesaker ble lagt under Innenriksdepartementet. Terboven gjorde det etter hvert klart at Norges stilling ville stå sterkere om Hagelin forsvant.