Mielke hadde arbeiderklassebakgrunn og vokste opp i bydelen Wedding som sønn av en vognmaker. Begge foreldrene var med på å grunnlegge KPD i 1918. I 1921 ble han medlem av KPDs ungdomsorganisasjon og bevoktet møtene deres som «parti-selvforsvar».