Das Bundesgericht zieht in Erwägung:
1. Der Beschwerdeführer wurde durch das Bezirksgericht Zürich am 14. Mai 2009 unter anderem wegen mehrfacher sexueller Handlungen mit Kindern und mehrfacher Pornografie zu drei Jahren und zehn Monaten Freiheitsstrafe verurteilt. Vollzugsbegleitend ordnete das Gericht eine ambulante Massnahme an.
Am 7. September 2010 beantragte das Amt für Justizvollzug des Kantons Zürich die nachträgliche Anordnung einer stationären Massnahme. Das Bezirksgericht wies am 15. Dezember 2010 einen vom Beschwerdeführer gestellten Antrag, es sei ein neues Gutachten zu erstellen, ab und ordnete gestützt auf Art. 65 Abs. 1 StGB nachträglich eine stationäre Massnahme im Sinne von Art. 59 StGB an, unter Aufschub des Vollzugs der Reststrafe. Einen dagegen gerichteten Rekurs wies das Obergericht des Kantons Zürich mit Beschluss vom 20. Mai 2011 ab.
Der Beschwerdeführer wendet sich mit Beschwerde ans Bundesgericht und beantragt, der Beschluss des Obergerichts vom 20. Mai 2011 sei aufzuheben. Es seien ein neues und unabhängiges Gutachten zu erstellen und eine ambulante Massnahme gemäss Art. 63 StGB anzuordnen.
2. In Anwendung von Art. 109 Abs. 3 BGG kann auf die einlässlichen und überzeugenden Ausführungen der Vorinstanz, die sich auf ein Gutachten vom 22. September 2008, einen aktuellen Therapiebericht vom 5. Juli 2010, mündliche Äusserungen des Therapeuten vom 29. April 2010 und die eigenen Aussagen des Beschwerdeführers an der Hauptverhandlung stützt, verwiesen werden (vgl. angefochtenen Entscheid S. 7-12 E. III).
Der Beschwerdeführer bringt zur Hauptsache vor, dass sich die Verhältnisse seit dem Gutachten vom 22. September 2008 insoweit verändert hätten, als er seither therapiert werde und nun Einsicht in sein deliktisches Verhalten habe. Im Übrigen hätte die Vorinstanz seiner Ansicht nach gemäss der bundesgerichtlichen Praxis nicht auf den Therapeuten abstellen dürfen.
Zunächst ist festzuhalten, dass die Vorinstanz sich auf ein zwei Jahre zuvor erstelltes Gutachten stützen konnte, welches sich bereits zur Frage äusserte, ob und in welchem Fall eine stationäre Massnahme angeordnet werden soll. Unter diesen Umständen ist es nicht zu beanstanden, dass die Vorinstanz zusätzlich aus den verschiedenen Äusserungen des Therapeuten ihre Schlüsse zog. Diesen Angaben und nicht zuletzt den eigenen Aussagen des Beschwerdeführers an der Hauptverhandlung ist zu entnehmen, dass von einem nachhaltigen Erfolg der vollzugsbegleitenden Therapie zurzeit nicht die Rede sein kann. Der Beschwerdeführer äussert z.B. bereits heute, dass er in Aussicht nehme, die notwendigen Medikamente nach der Entlassung ein Jahr lang zu nehmen. Dies zeugt nicht von besonderer Einsicht, denn er wird die notwendigen Medikamente so lange nehmen müssen, als dies notwendig ist. Inwieweit es z.B. zu dieser Aussage eines neuen Gutachtens bedurft hätte, wie der Beschwerdeführer verlangt, ist nicht ersichtlich. Davon, dass die Vorinstanz "abenteuerlich anmutende" Schlüsse gezogen hätte, kann nicht die Rede sein.
Die Beschwerde ist im Verfahren nach Art. 109 BGG abzuweisen. Mit dem Entscheid in der Sache ist das Gesuch der Oberstaatsanwaltschaft, der Beschwerde sei die aufschiebende Wirkung zu entziehen, gegenstandslos geworden.
3. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Das Gesuch um unentgeltliche Rechtspflege ist in Anwendung von Art. 64 BGG abzuweisen, weil die Rechtsbegehren aussichtslos erschienen. Ausnahmsweise kann auf eine Gerichtsgebühr verzichtet werden.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Es werden keine Gerichtskosten erhoben.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, III. Strafkammer, schriftlich mitgeteilt.
Lausanne, 4. Juli 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Mathys C. Monn