I 1998 ble videre straffeforfølgelse for forbrytelser begått som Stasi-sjef innstilt, begrunnet med Mielkes svekkede mentale tilstand og høye alder. Han døde i 2000 på et pleiehjem i Berlin, 92 år gammel, der han hadde bodd under det vanlige navnet Müller. Han ble begravet i en umerket grav på i Berlin-Lichtenberg, noen kilometer fra sin gamle arbeidsplass. Han ligger begravet utenfor æreslunden som ble opprettet av SED-regimet etter andre verdenskrig.