Både Lie og justisminister Sverre Riisnæs ble under hele krigen mistenkeliggjort av mange i NS, både på grunn av deres tidligere uttalte NS-motstand og deres sterke tyskvennlighet. Skepsisen ble ikke mindre av deres nærhet til Himmler og at han fikk dem inn i begge regjeringene under krigen og inn i ledelsen av Norges SS og Germanske SS Norge.