Han hadde allerede tidligere blitt kjent med Struensee og da Struensee tok den faktiske makten i kongeriket mente han han kunne ha nytte av Brandt, og Brandt kom derfor til å få stor innflytelse under Struensees styre. Han fikk avskjediget rivalen Holck, og i 1771 ble han utnevnt til lensgreve.