Das Bundesgericht zieht in Erwägung:
1. X._ befand sich im Strafvollzug. Am 4. Januar 2012 soll er nach den Aussagen einer Sozialarbeiterin Widerstand gegen eine bevorstehende Versetzung von Pöschwies nach Gmünden angekündigt haben. Die Justizvollzugsanstalt Pöschwies sprach am 12. Januar 2012 einen Verweis aus. Einen dagegen erhobenen Rekurs wies die Direktion der Justiz und des Innern des Kantons Zürich am 21. Februar 2012 ab.
X._ führte Beschwerde beim Verwaltungsgericht des Kantons Zürich. Dieses setzte ihm am 1. März 2012 eine Frist von 20 Tagen zur Leistung eines Kostenvorschusses von Fr. 1'500.-- an, ansonsten auf das Rechtsmittel nicht eingetreten werde. X._ stellte ein Gesuch um unentgeltliche Prozessführung. Das Verwaltungsgericht wies das Gesuch am 23. März 2012 ab.
X._ wendet sich ans Bundesgericht und beantragt, ihm sei die unentgeltliche Rechtspflege für das Verfahren vor dem Verwaltungsgericht zu bewilligen.
2. Die Vorinstanz wies das Gesuch um unentgeltliche Rechtspflege mit der Begründung ab, das Begehren des Beschwerdeführers erscheine aussichtslos. In Anwendung von Art. 109 Abs. 3 BGG kann auf ihre Ausführungen verwiesen werden (vgl. angefochtenen Entscheid S. 3-5 E. 3.3 und 3.4).
Die Vorinstanz stellt fest, die pauschale Bestreitung des Vorfalls durch den Beschwerdeführer vermöge die detaillierte und glaubhafte Darstellung der Sozialarbeiterin nicht infrage zu stellen. Inwieweit diese Feststellung willkürlich sein oder sonst gegen das Recht verstossen könnte, ergibt sich aus der Beschwerde nicht und ist auch nicht ersichtlich. Nachdem der Beschwerdeführer bereits in einem Schreiben vom 30. November 2011 angekündigt hat, sich gegen eine Versetzung, die nicht seinem Willen entspreche, zu wehren, erscheint seine Behauptung, die Sozialarbeiterin habe ihn nur auf Druck der Anstaltsdirektion hin belastet, unwahrscheinlich. Aus dem Umstand, dass ihm der Direktor einmal angeblich nicht in die Augen gesehen hat, folgt nicht, dass dieser etwas zu verbergen hätte. Die Vorinstanz kommt zum Schluss, unter den gegebenen Umständen seien die Aussichten auf eine Abweisung des kantonalen Rechtsmittels deutlich höher als diejenigen einer Gutheissung, so dass ein Selbstzahler Abstand von einer Beschwerde genommen hätte. Auch diese Schlussfolgerung ist nicht zu beanstanden.
Der Beschwerdeführer bemängelt, dass die in der Sache zuständige Instanz auch über das Gesuch um unentgeltliche Rechtspflege entscheidet. Der Vorwurf geht an der Sache vorbei. Im vorliegenden Verfahren geht es einzig darum, ob die Voraussetzungen für die Gewährung der unentgeltlichen Rechtspflege erfüllt sind. Die Frage der möglichen Befangenheit der Instanz, die anschliessend in der Sache zu entscheiden hätte, stellt sich damit gar nicht.
Die Beschwerde ist im Verfahren nach Art. 109 BGG abzuweisen.
3. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Seiner finanziellen Lage (vgl. angefochtenen Entscheid S. 3 E. 3.2) ist bei der Bemessung der Gerichtskosten Rechnung zu tragen (Art. 65 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Abteilungspräsident, schriftlich mitgeteilt.
Lausanne, 2. Mai 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Schneider
Der Gerichtsschreiber: C. Monn