Mielke ble medlem av det tyske kommunistpartiet i 1927 og deltok i agitasjon og gatekamper. 9. august 1931 skjøt og drepte han, sammen med Erich Ziemer (1906-37), og etter oppfordring fra Walter Ulbricht, politimennene Paul Anlauf og Franz Lenck. På flukt fra politiet flyktet han til Sovjetunionen. Saken mot ham ble utsatt av landretten i Berlin i 1934, fordi han hadde flyktet. Ziemer dro under falskt navn til Spania der han falt og ble utnevnt til «helt av Sovjetunionen» posthumt. Erich Wichert (1909-85) som også var tiltalt i samme sak, ble i 1933 dømt til 15 års tukthus, men senere posisjonerte han seg i DDRs forvaltning.