Fra 11. desember 1933 var Brandt med i Reichsführers-SS-personlige stab. Fra 1936 arbeidet han som personlig administrativ offiser for Reichsführer-SS Heinrich Himmler. Han var også rådgiver og leder for ministerens kontor i Innenriksministeriet. Han kom med tiden å bli kalt «Himmlers høyre hånd». Fra slutten av 1930-årene var han Himmlers forbindelsesoffiser til innenriksministeriet, og fra 1943 ministerialråd i innenriksministeriet.