Wolff fikk i tillegg et anstrengt forhold til Himmler som to ganger nektet ham å skille seg fra sin første kone, fordi dette i Himmlers øyne var å svikte tradisjonelle familieverdier, samt skape skandaler som burde unngås. I 1936 hadde Wolff innledet et forhold til grevinne Bernsdorff (Ingeborg von Berns) som hadde vært enke i to år. 23. desember 1937 fikk hun sønnen Widukind Thorsun med Wolff, som likevel ikke skilte seg før 6. mars 1943. Tre dager senere inngikk han ekteskap med Ingeborg. Da hadde han henvendt seg direkte til Hitler om tillatelse til skilsmisse, noe som ergret Himmler. Tidligere hadde de to mennene stått hverandre nært, og i et brev fra 1939 smigret Wolff Himmler med at han personifiserte alt som er «» Men i etterkrigstiden forsøkte Wolff å skape avstand til Himmler og et bilde av seg selv som en i nazi-lederskapet.