Das Bundesgericht zieht in Erwägung:
1. X._ befindet sich in der Strafanstalt Pöschwies im vorzeitigen Strafvollzug. Am 11. Januar 2011 wurde er mit einer Busse von Fr. 20.-- diszipliniert, weil er gegen die Vorschriften über die Anschaffung von Büchern und Abonnements für Zeitungen und Zeitschriften gemäss der Hausordnung der Strafanstalt verstossen habe. Am 26. Januar und 1. Februar 2011 wurden ihm wegen desselben Vorwurfs Bussen von Fr. 100.-- bzw. Fr. 20.-- auferlegt. Die Direktion der Justiz und des Innern des Kantons Zürich hiess einen Rekurs gegen die Verfügung vom 26. Januar 2011 am 24. Februar 2011 teilweise gut und reduzierte die Busse auf Fr. 20.--. Im übrigen Umfang wies sie die gegen die Bussen gerichteten Rekurse ab, soweit sie darauf eintrat. Das Verwaltungsgericht des Kantons Zürich wies eine dagegen gerichtete Beschwerde mit Urteil vom 25. Mai 2011 ab, soweit darauf eingetreten wurde.
X._ wendet sich mit Beschwerde ans Bundesgericht und beantragt, das Urteil und die Disziplinarverfügungen seien aufzuheben.
2. Soweit der Beschwerdeführer auf seine bisherigen Schreiben an die kantonalen Instanzen verweist, ist darauf nicht einzutreten. In der Beschwerde ist anzugeben, inwieweit der angefochtene Entscheid gegen das Recht verstossen soll (Art. 42 Abs. 2 BGG). Eingaben aus dem kantonalen Verfahren erfüllen diese Voraussetzung von vornherein nicht, da sie sich nicht auf den angefochtenen Entscheid beziehen können.
3. In Anwendung von Art. 109 Abs. 3 BGG kann auf die Ausführungen der Vorinstanz verwiesen werden (vgl. angefochtenen Entscheid S. 4/5 E. 2/3 mit Hinweis auf die Verfügung der Direktion vom 24. Februar 2011 E. 6).
Wie vor der Vorinstanz macht der Beschwerdeführer geltend, die für seine Disziplinierung hergezogene Bestimmung der Hausordnung der Strafanstalt sei eine Kann-Vorschrift.
Nach dieser Bestimmung können Bücher, Lehrmittel und Fachliteratur mittels Hausbrief über die Bibliothek gekauft werden. Zudem können gängige Zeitschriften und Zeitungen mittels Hausbrief abonniert werden. Die Direktion der Justiz führt dazu aus, die strittige Formulierung beziehe sich auf die Möglichkeit, Kaufverträge und Abonnemente abzuschliessen, und nicht auf die Vorgehensweise. Mit anderen Worten müsse sich der Gefangene beabsichtigte Kaufverträge und Abonnementsbestellungen mittels Hausbrief bewilligen lassen. Auf diese Art und Weise könne gewährleistet werden, dass Insassen nicht beliebig viele Bücher und Abonnements bestellen, ohne dass die Finanzierung sichergestellt sei. Aus Gründen der Sicherheit und Ordnung erscheine es sodann unabdingbar, dass die Leitung über den Inhalt der Bestellung informiert sei, denn Bücher, Zeitungen und Zeitschriften, die die Sicherheit gefährden, deren Inhalt gesetzlichen Bestimmungen widerspricht oder die gegen den Zweck des Vollzugs verstossen, würden nicht zugelassen. Dasselbe gelte, wenn Art oder Umfang die erforderliche Kontrolle verunmöglichen oder übermässig erschweren würden (Verfügung vom 24. Februar 2011 S. 3/4 E. 6.1).
Diese Interpretation der Hausordnung leuchtet ein und ist jedenfalls nicht willkürlich. Dass in einer anderen Abteilung von Pöschwies beim Eintritt angeblich ein Formular "Antrag für ein Abonnement", wie es der Beschwerde beiliegt, abgegeben wird, ändert nichts daran, dass für ein Abonnement offenbar auch dort eine Bewilligung vorliegen muss. Von einer unzulässigen Ungleichbehandlung der Insassen kann nicht die Rede sein. Eine Verletzung der Informationsfreiheit liegt klarerweise ebenfalls nicht vor.
4. Der Beschwerdeführer rügt, dass ihm die Vorinstanz keinen Anwalt gewährte. Der Umstand, dass auf der Gegenseite eine juristisch ausgebildete Person steht, stellt für sich allein indessen keinen Grund dafür dar, dass jemandem ein Anwalt beigegeben werden muss. Im Übrigen stellt die Vorinstanz zu Recht fest, dass der Beschwerdeführer durchaus in der Lage ist, seinen Standpunkt selbständig zu vertreten (angefochtener Entscheid S. 6 E. 4.3).
5. Die Beschwerde ist im Verfahren nach Art. 109 BGG abzuweisen, soweit darauf einzutreten ist. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung ist in Anwendung von Art. 64 BGG abzuweisen, weil die Rechtsbegehren aussichtslos erschienen. Der finanziellen Lage des Beschwerdeführers ist bei der Bemessung der Gerichtsgebühr Rechnung zu tragen (Art. 65 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 11. Juli 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Mathys C. Monn