Frank hadde beriket medlemmer av sin familie og ble avhørt for dette i 1942 og fikk innskrenket sine fullmakter. Krüger hadde som ansvarlig for sikkerhet i Generalguvernementet plass i regjeringen. Rivaliseringen toppet seg sommeren 1942. Sommeren 1942 fikk Frank selv problemer etter å ha holdt fire taler om viktigheten av rettssikkerhet også under krig, av hensyn til folks «allmenne rettsfølelse». Dette var merkelige ord med tanke på hva han foretok seg i Polen, men Frank hadde to grunntanker om juss der loven skulle være autoritær, men forvaltet av uavhengige dommere. SS-sjef Himmler mislikte Franks tanker om «judisiell uavhengighet» og klaget til Hitler. Først ble Frank avhørt av Gestapo; så ble han oppringt av Hitler som fratok ham alle oppgaver, bortsett fra ansvaret for Generalguvernementet. Innenfor SS var det allerede tiltenkt en etterfølger. Goebbels foreslo for Hitler at Frank enten burde fjernes eller få sin autoritet gjenopprettet. Hitler endte overraskende med å forflytte Krüger og beholdt Frank i Generalguvernementet. Frank var uansett oppslukt av sitt kjærlighetsforhold til ungdomskjæresten Lilly. Etter nesten tyve år hadde hun kontaktet ham, om han kunne hjelpe henne med å finne sønnen som var forsvunnet på østfronten. Frank var kjent som hjelpsom; komponisten Richard Strauss skrev et stykke til Franks ære for å ha hindret at Strauss' sjåfør ble sendt til østfronten: Se vår venn, vår minister Frank.