Mielke var opprinnelig aktiv i i Weimarrepublikken, og ble senere en av de mektigste skikkelsene innenfor i DDR. Der bygget han opp det som ble Stasi, og var 1957-89 «minister for statssikkerhet». Han hadde også en rekke andre verv og titler, blant annet general i («den nasjonale folkehæren»).