Mielke se convirtió en un protegido del general soviético Ivan Serov, que lo situó como adjunto de Wilhelm Zaisser al frente de una nueva policía secreta alemana para la zona soviética, el "Kommissariat 5".