Während des Streiks am 16. Juni 1953 erwirkte Brandt eine Herabsetzung der hohen Arbeitsnormen, die im Zuge des „Neuen Kurses“ der SED nicht herabgesetzt waren. Während des Aufstandes vom 17. Juni 1953 versuchte Brandt, die Demonstrationen zu kanalisieren, da er sie als Tragödie empfand: Der vorher eingeleitete Neue Kurs der SED war gefährdet, Walter Ulbrichts Machtposition erneut gestärkt. Im Zuge der Zaisser-Herrnstadt-Affäre wurde er von seinem Posten als Sekretär im August 1953 entbunden und erneut als Abteilungsleiter für die Westberlin-Arbeit der SED eingesetzt. Am 4. August 1954 erhielt er eine strenge Rüge wegen „unmoralischen Verhaltens“ und ein Jahr Funktionsverbot. Er wurde zu einem Verlag versetzt.