Das Bundesgericht zieht in Erwägung:
1. X._ befindet sich im Strafvollzug in der Anstalt Pöschwies. Am 30. Juni 2010 stellte er ein Gesuch, ca. Fr. 300.-- von seinem Sperrkonto beziehen zu können, um fünf Bücher über die deutsche Grammatik, Argumentationstechnik sowie das Verwaltungsrecht und die Praxis zum SchKG zu erwerben.
Die Direktion der Anstalt bewilligte den Bezug von höchstens Fr. 290.-- ab dem Freikonto, den Rest vom Taschengeld. Dagegen rekurrierte X._ an die Direktion der Justiz und des Innern des Kantons Zürich mit dem Antrag, es sei zu bewilligen, die Bücher mit dem Guthaben auf dem Sperrkonto zu bezahlen. Die Justizdirektion wies das Rechtsmittel am 13. Oktober 2010 ab. Eine dagegen gerichtete Beschwerde wurde durch das Verwaltungsgericht des Kantons Zürich mit Urteil vom 14. Januar 2011 abgewiesen.
X._ wendet sich mit Beschwerde ans Bundesgericht und beantragt unter anderem, das Urteil des Verwaltungsgerichts sei aufzuheben. Die Bezahlung der Bücher ab dem Sperrkonto sei zu bewilligen.
2. Der Beschwerdeführer verlangt eine für die Parteien öffentliche Verhandlung (Beschwerde S. 1). Eine solche findet indessen nur ausnahmsweise statt (Art. 57 BGG). Da sich keine Sachverhalts- oder Rechtsfragen stellen, die nicht aufgrund der Akten und des angefochtenen Entscheids beurteilt werden können, erscheint eine mündliche Verhandlung als unnötig.
3. Im kantonalen Verfahren ging es nur um die Frage, ob der Bezug der Bücher ab dem Sperrkonto finanziert werden kann (angefochtener Entscheid S. 4 E. 2.2). Soweit sich der Beschwerdeführer mit anderen Themen befasst, kann das Bundesgericht darauf nicht eintreten. Dies betrifft z.B. die Rügen, die Vorinstanz habe die vollständige Einsicht in die Vollzugsakten verweigert und keinen Vollzugsplan erstellt (Beschwerde S. 2).
4. In Anwendung von Art. 109 Abs. 3 BGG kann auf die Ausführungen der Vorinstanz verwiesen werden (vgl. angefochtenen Entscheid S. 7-14 E. 4 und 5). Sie stützt sich auf Art. 83 Abs. 1 und 2 StGB, wonach der Gefangene für seine Arbeit ein Entgelt erhält, über welches er während des Vollzugs nur zum Teil frei verfügen kann, während aus dem anderen Teil für die Zeit nach der Entlassung eine Rücklage gebildet wird. In diesem Sinn sehe Ziff. 4.1 der Richtlinien der Ostschweizer Strafvollzugskommission über das Arbeitsentgelt in Strafvollzugsanstalten vom 7. April 2006 vor, dass das Entgelt anteilsmässig auf ein Sperr- und ein Freikonto aufgeteilt werde, und gemäss Ziff. 4.2 der Richtlinien werde auf dem Sperrkonto für die Zeit nach der Entlassung eine Rücklage gebildet. Erst wenn auf dem Sperrkonto ein Mindestbetrag von Fr. 3'100.-- verbleibe, könne die Anstaltsleitung Bezüge für "besondere Aus- und Weiterbildung" bewilligen (Ziff. 4.2 Abs. 3 lit. b der Richtlinien über das Arbeitsentgelt). Da das Guthaben auf dem Sperrkonto des Beschwerdeführers über Fr. 3'100.-- betrage, sei ein Bezug grundsätzlich möglich, falls es um die erwähnte "besondere Aus- und Weiterbildung" gehe. Die in Frage stehende Weiterbildung wolle der Beschwerdeführer im Selbststudium durchführen, indem er sich mithilfe der fünf Bücher Wissen auf den Gebieten der deutschen Grammatik, der Argumentationstechnik und des Rechts aneigne. Ein eigenständiges Studieren von Büchern stelle indessen keine Aus- und Weiterbildung im Sinne von Art. 4.2 Abs. 3 lit. b der Richtlinien über das Arbeitsentgelt dar. Eine solche Aus- und Weiterbildung müsse in einem formellen Rahmen, wie z.B. durch das Belegen eines Kurses oder die Teilnahme an einem Bildungsprogramm, erworben werden, weil die Lernleistungen nur bei einer institutionalisierten Aus- und Weiterbildung kontrolliert und gegebenenfalls mittels eines Diploms oder vergleichbarer Leistungsnachweise ausgewiesen werden könnten. Nur dies aber entspreche einer nachhaltigen Resozialisierung, denn im Vergleich zu selbständig erworbenem, ungeprüftem Wissen werde sich ein richtiger Abschluss wahrscheinlich in günstiger Weise auf das Leben in Freiheit, insbesondere auf die Vermittlungsfähigkeit auf dem Arbeitsmarkt, auswirken. Dagegen sei ein Selbststudium der erwähnten fünf Bücher als Freizeitbeschäftigung einzustufen, die allenfalls zu einem generell höheren Bildungsniveau verhelfe, aber nicht unter die Aus- und Weiterbildung gemäss Art. 4.2 Abs. 3 b der Richtlinien über das Arbeitsentgelt falle. Die Anordnung sei im Übrigen auch verhältnismässig, weil es dem Beschwerdeführer freistehe, die Bücher - allenfalls gestaffelt - durch Bezüge von seinem Freikonto zu erwerben.
Diese Erwägungen sind nicht zu beanstanden. Das Geld auf dem Sperrkonto stellt von Gesetzes wegen eine Rücklage für die Zeit nach der Entlassung des Gefangenen dar (Art. 83 Abs. 2 StGB). Diesem soll in diesem Zeitpunkt ein möglichst hohes Startkapital zur Verfügung stehen. Folglich kommt eine Verwendung des Geldes während des Vollzuges von vornherein nur ausnahmsweise in Betracht, und insbesondere ist sie nur zuzulassen, wenn damit für die Zeit nach der Entlassung des Gefangenen vorgesorgt wird. Dem entsprechen allenfalls Kurse in allgemein bildenden Fächern, wie sie in Art. 3.2 der Richtlinien der Ostschweizer Strafvollzugskommission für die Vollzugsplanung vom 7. April 2006 vorgesehen sind. Demgegenüber dürfte ein unkontrolliertes Selbststudium aus Büchern in aller Regel nicht geeignet sein, die Chancen des Gefangenen auf dem Arbeitsmarkt zu verbessern. Der Beschwerdeführer vermag denn auch nicht nachvollziehbar darzulegen, inwieweit bei der Resozialisierung in seinem Fall z.B. dem Selbststudium des Verwaltungsrechts und des SchKG die von ihm behauptete "zentrale Bedeutung" (Beschwerde S. 8) zukommen könnte. Die Beschwerde ist im Verfahren nach Art. 109 BGG abzuweisen, soweit darauf einzutreten ist.
5. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Das Gesuch um unentgeltliche Rechtspflege ist in Anwendung von Art. 64 BGG abzuweisen, weil die Rechtsbegehren aussichtslos erschienen. Der finanziellen Lage des Beschwerdeführers ist bei der Bemessung der Gerichtsgebühr Rechnung zu tragen (Art. 65 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 26. April 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Favre C. Monn