Iscritto al Partito Comunista (KPD) nel 1921, fu attivo nella lotta per il potere che precedette l'ascesa del nazismo. Operativo nella "Parteiselbstschutz" agli ordini di Hans Kippenberger e Heinz Neumann, fu, insieme a Erich Ziemer, uno dei due assassini dei capitani della polizia berlinese Paul Anlauf e Franz Lenck. L'azione, avvenuta il 9 agosto 1931, causò anche il grave ferimento del sergente Max Willig, fu ordinata da Walter Ulbricht, reggente del KPD e futuro leader della DDR. Il pericolo costituito dalla sopravvivenza di Willig (che avrebbe potuto riconoscere gli assassini), determinò il surrettizio trasferimento a Mosca. Le indagini sugli omicidi iniziarono immediatamente, e nel marzo 1933 (a un mese dall'insediamento di Hitler) 15 congiurati furono arrestati dalle forze di polizia regolare (non nazista). In settembre furono emessi altri 10 mandati di cattura, fra cui quello di Mielke. Mielke verrà processato per questi delitti solo dopo la caduta del muro (nel 1993), e scontò solo una frazione della pena, in riconoscimento delle sue precarie condizioni di salute.