Schon 1921 war Mielke dem KJVD beigetreten. Eigenen Angaben zufolge wurde er 1925 Mitglied der KPD. Auch der Roten Hilfe und dem Roten Frontkämpferbund (RFB) gehörte Mielke an. Im RFB hatte er die Funktion eines „Schriftführers und Kulturobmanns“ inne. Wegen der Teilnahme an einer verbotenen KPD-Demonstration in Leipzig verbüßte Mielke 1930 eine mehrtägige Ordnungsstrafe im Polizeigefängnis am Alexanderplatz. Arbeitslos geworden, beschäftigte ihn 1931 die kommunistische "Rote Fahne", wobei eine Tätigkeit als „Lokalreporter“ ins Reich der Legende gehört. Als Angehörige des 1931 gegründeten "Parteiselbstschutzes", einer paramilitärisch organisierten und bewaffneten Gruppe der Partei, verübten am 9. August 1931 Mielke und Erich Ziemer die Morde an den Polizeioffizieren Paul Anlauf und Franz Lenck auf dem Bülowplatz in Berlin. Die KPD schaffte die beiden daraufhin einige Tage später in die Sowjetunion. Mielke behauptete später, die NS-Justiz hätte ihn 1934 „in Abwesenheit verurteilt zum Tode (Bülowplatz)“. Tatsächlich war das Verfahren gegen ihn durch Beschluss vom 23. April 1934 gemäß § 205 StPO noch vor der Eröffnung des Hauptverfahrens eingestellt worden, da man seiner nicht habhaft werden konnte.