De Man ble mistrodd både av flamske kollaboratører og av de tyske nasjonalsosialistene som hadde overtatt den reelle kontroll med de belgiske myndigheter. Tyskerne forbød de Man å gi noen flere offentlige taler rundt påsketider 1941.