Das Bundesgericht zieht in Erwägung:
1. X._ befindet sich in der Strafanstalt Pöschwies im vorzeitigen Strafvollzug. Am 1. Februar 2011 wurde er mit einer Busse von Fr. 50.-- diszipliniert, da er am 29. Januar 2011 einen Aufseher als "Arschloch" bezeichnet habe. Die Direktion der Justiz und des Innern des Kantons Zürich hiess einen dagegen gerichteten Rekurs am 23. März 2011 teilweise gut und reduzierte die Busse auf Fr. 30.--. Im übrigen Umfang wies sie den Rekurs ab, soweit sie darauf eintrat. Das Verwaltungsgericht des Kantons Zürich wies eine dagegen eingereichte Beschwerde mit Urteil vom 11. Mai 2011 ab, soweit darauf eingetreten wurde.
X._ wendet sich mit Beschwerde ans Bundesgericht und beantragt, das Urteil und die Disziplinarverfügung seien aufzuheben.
2. Soweit der Beschwerdeführer auf seine Eingaben im kantonalen Verfahren verweist, ist darauf nicht einzutreten. In der Beschwerde ist anzugeben, inwieweit der angefochtene Entscheid gegen das Recht verstossen soll (<ref-law>). Eingaben aus dem kantonalen Verfahren erfüllen diese Voraussetzung von vornherein nicht, da sie sich nicht auf den angefochtenen Entscheid beziehen können.
3. In Anwendung von <ref-law> kann auf die Ausführungen der Vorinstanz verwiesen werden (vgl. angefochtenen Entscheid S. 3 - 5 E. 2/3).
Wie vor der Vorinstanz bestreitet der Beschwerdeführer auch vor Bundesgericht, den Aufseher als "Arschloch" bezeichnet zu haben. Diese tatsächliche Feststellung könnte nur angefochten werden, wenn sie offensichtlich unrichtig im Sinne von <ref-law> bzw. willkürlich im Sinne von <ref-law> wäre. Die Vorinstanz stützt sich auf einen anwesenden Werkmeister, der die Beschimpfung deutlich wahrgenommen habe (angefochtener Entscheid S. 4). Aus welchem Grund der Werkmeister gelogen haben könnte, sagt der Beschwerdeführer nicht. Auch wenn sonst keine Beweise vorliegen, kann jedenfalls von Willkür nicht die Rede sein.
Der Beschwerdeführer macht geltend, die Disziplinarstrafe sei unverhältnismässig (Beschwerde S. 2 Ziff. 5). Er legt indessen nicht dar, und es ist auch nicht ersichtlich, inwieweit sich die Busse nicht mehr innerhalb des den kantonalen Behörden zustehenden weiten Ermessens bewegen könnte.
Die Beschwerde ist im Verfahren nach <ref-law> abzuweisen, soweit darauf einzutreten ist.
4. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>). Das Gesuch um unentgeltliche Rechtspflege ist in Anwendung von <ref-law> abzuweisen, weil die Rechtsbegehren aussichtslos erschienen. Der finanziellen Lage des Beschwerdeführers ist bei der Bemessung der Gerichtsgebühr Rechnung zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 27. Juni 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Mathys C. Monn