Etter at nazistene hadde vunnet en stor valgseier i september 1930, ble Hanke leder av partiets lokalavdeling i den vestlige del av Berlin og fikk kontakt med den unge arkitekt Albert Speer. Hanke inngikk en kontrakt med Speer om å ombygge en villa i de vestlige forsteder til kontor for partiet. Hanke og Speer ble nære venner. Speer fortalte senere i sin selvbiografi at Hanke i 1944 hadde sagt til ham at han aldri burde besøke Auschwitz, fordi han selv hadde sett noe der som han verken hadde lov til eller var i stand til å beskrive.