Brandt startet sin militære karriere som vernepliktig soldat i Hæren under andre verdenskrig. Han ble forfremmet til løytnant i 1944. Etter krigen jobbet han en periode som journalist. I 1950 ble han ansatt i Bundeskanzleramt som rådgiver ved kontoret til forbundskanslerens militærrådgiver Gerhard Graf von Schwerin. Dette kontoret ble senere kalt Amt Blank og var forløperen til Forsvarsdepartementet som ble opprettet i 1955. Etter etableringen av Bundeswehr i 1955 ble Brandt i 1957 ansatt som kaptein i Hæren. Han tok generalstabsutdanning og jobbet ved NATO-hovedkvarteret i Paris som nær medarbeider av general Johann von Kielmansegg, som da var øverstkommanderende for NATOs bakkestyrker i Sentral-Europa.