Das Bundesgericht zieht in Erwägung:
1. Der Beschwerdeführer befindet sich in der Justizvollzugsanstalt Pöschwies im Strafvollzug. Am 4. Februar 2011 lehnte die Direktion der Anstalt ein Gesuch um Bewilligung für die Bestellung von vier Musik-CDs mit der Begründung ab, dass die darauf enthaltenen Texte die Gewalt verherrlichen und dem Vollzugszweck widersprechen würden. Dagegen erhobene Rechtsmittel wurden durch die Direktion der Justiz und des Innern des Kantons Zürich am 8. Februar 2011 und durch das Verwaltungsgericht des Kantons Zürich am 20. Juni 2011 abgewiesen.
Der Beschwerdeführer wendet sich ans Bundesgericht und beantragt, das Urteil des Verwaltungsgerichts sei aufzuheben. Es sei ihm zu gestatten, die Musik-CDs zu erwerben und Kopien der beanstandeten Texte anzufertigen.
2. In Anwendung von Art. 109 Abs. 3 BGG kann auf die einlässlichen und überzeugenden Erwägungen der Vorinstanz verwiesen werden (vgl. angefochtenen Entscheid S. 3-9 E. 2-6). Es steht ausser Zweifel, dass die vorliegend zu beurteilenden Texte (z.B. "Schlachtet sie nieder wie Vieh ... Mit dem Messer wird der Weg geöffnet zu jener Freiheit ... Nur einen kleinen Stich kostet die Sorglosigkeit ... Der Stahl in meinem Feinde") ein zumindest höchst problematisches Verhältnis zur Gewalt offenbaren. Es ist zu verhindern, dass solche Texte in einer Strafanstalt zirkulieren, in der sich Personen wie der Beschwerdeführer befinden, der sich in der rechtsextremen und der Hooligan-Szene aufgehalten hat und dem schwere Gewaltdelikte vorgeworfen werden. Als Massnahme erscheint nur ein Verbot als taugliches und durchaus verhältnismässiges Mittel. Selbstverständlich kommt auch die Erstellung von Kopien der Texte nicht in Betracht. Die Beschwerde ist als offensichtlich unbegründet im Verfahren nach Art. 109 BGG abzuweisen.
3. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Das Gesuch um unentgeltliche Rechtspflege ist in Anwendung von Art. 64 BGG abzuweisen, weil die Rechtsbegehren aussichtslos erschienen. Der finanziellen Lage des Beschwerdeführers ist bei der Bemessung der Gerichtsgebühr Rechnung zu tragen (Art. 65 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Einzelrichterin, schriftlich mitgeteilt.
Lausanne, 29. August 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: C. Monn