Brandt studerte jus og ble 1764 assessor i Højesteret. Han var imidlertid allerede i 1755 blitt knyttet til hoffet som hoffjunker, og etter hvert valgte han å gjøre karrière ved hoffet. Her støtte han sammen med Christian VIIs yndling, grev Holck, og dristet seg til å skrive et brev til kongen, hvor han både angrep sin rival og roste seg selv (2. mai 1768). Svaret på brevet var imidlertid en ordre fra kongen om å forlate København innen 24 timer og de kongelige stater i løpet av 8 dager. Han ble likevel snart tatt til nåde igjen.