Der Einzelrichter zieht in Erwägung:
1. Der Beschwerdeführer befindet sich in der Justizvollzugsanstalt Pöschwies im Strafvollzug. Am 16. Juni 2010 wurde er wegen eines unbewilligten Telefongesprächs mit seiner Mutter verwarnt. Am 19. November 2010 wurde er verwarnt, weil er die "Zellenkommunikation", die dem Kontakt mit dem Personal und der Alarmierung in Notfallsituationen dient, verklebt hatte. Am 22. November 2010 erfolgte eine weitere Verwarnung, weil er nach dem Ausrücken am Morgen das Fenster offen gelassen haben soll. Aufgrund der drei Verwarnungen innerhalb von sechs Monaten wurde er mit Disziplinarverfügung des Justizvollzugs des Kantons Zürich vom 22. November 2010 mit sieben Tagen Gruppenausschluss sowie mit Fernseh-, PC- und Playstationentzug bestraft. Dagegen gerichtete Rechtsmittel wiesen die Direktion der Justiz und des Innern des Kantons Zürich am 24. Januar 2011 sowie das Verwaltungsgericht des Kantons Zürich am 15. April 2011 ab. Der Beschwerdeführer wendet sich mit Beschwerde ans Bundesgericht und beantragt, das Urteil des Verwaltungsgerichts sei aufzuheben und die Sache zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
Soweit der Beschwerdeführer allgemeine Vorwürfe im Zusammenhang mit dem Strafvollzug erhebt, ist darauf nicht einzutreten. Gegenstand des vorliegenden Verfahrens kann nur das Urteil vom 15. April 2011 sein.
Der Sachverhalt kann vor Bundesgericht nur angefochten werden, wenn er offensichtlich unrichtig im Sinne von <ref-law> bzw. willkürlich im Sinne von <ref-law> festgestellt wurde. Willkür liegt vor, wenn der angefochtene Entscheid im bemängelten Punkt offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Dass eine andere Lösung ebenfalls vertretbar erscheint, genügt nicht (<ref-ruling> E. 2.4). Die angebliche Willkür ist in der Beschwerde präzise zu rügen, und die Rüge ist zu begründen (<ref-law>). Dieser Voraussetzung genügt die Eingabe des Beschwerdeführers nicht. Er bemängelt als willkürlich, dass die Vorinstanz in Bezug auf das offen gelassene Fenster auf die Aussage eines Gruppenbetreuers abgestellt hat (vgl. Beschwerde S. 2 und angefochtenen Entscheid S. 5 E. 4.2). Dass die Vorinstanz in Willkür verfallen wäre, ergibt sich aus der Beschwerde indessen nicht, zumal der Beschwerdeführer seine Vorwürfe gegen den Betreuer nicht zu belegen vermag. Da sich die Vorinstanz auf eine glaubwürdige Aussage stützen konnte, liegt auch keine Umkehr der Beweislast und keine Verletzung der Unschuldsvermutung vor.
Inwieweit die Vorinstanz im Übrigen gegen Art. 3, 6 Ziff. 1, 8 und 14 EMRK sowie <ref-law> verstossen haben könnte, ergibt sich aus der Eingabe, die sich auf eine Aufzählung der Artikel beschränkt, nicht (vgl. Beschwerde S. 3/4). Die Beschwerde ist insoweit nicht hinreichend begründet (Art. 42 Abs. 2 bzw. <ref-law>).
Da auf die Beschwerde im Hauptpunkt im Verfahren nach <ref-law> nicht einzutreten ist, ist der nicht gesondert begründete Antrag 2, es sei von einer Auflage der vorinstanzlichen Kosten abzusehen, gegenstandslos.
2. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>). Seiner finanziellen Lage (vgl. auch Verfahren 6B_294/2011) ist bei der Bemessung der Gerichtsgebühr Rechnung zu tragen (<ref-law>).

Demnach erkennt der Einzelrichter:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 15. Juni 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Einzelrichter: Der Gerichtsschreiber:
Schneider C. Monn