Fra 1954 til 1959 var han stedfortredende formann for Det kinesiske folks politisk konsultative konferanse, og minister for samferdselsministeriet. Han var blant de intellektuelle som ytret politisk kritikk under Hundre blomster-kampanjen, og måtte bøte for det under den påfølgende Anti-høyre-kampanjen da han ble avsatt fra sine verv og fordømt som høyreavviker. Han er blant det mest prominente ofre for anti-høyre-kampanjen, da mer enn 400 000 mennesker falt som offer for forfølgelsene og gjerne forsvant i arbeidsleirer og fengsler. Zhang Bojun var blant de ledende politikere som to år senere ble innrømmet amnesti.