Das Bundesgericht zieht in Erwägung:
1. Als sich X._ im September 2009 zum Vollzug einer Verwahrung in der Strafanstalt Pöschwies aufhielt, besuchte ihn seine Mutter. Anschliessend wurde entdeckt, dass er einen USB-Stick in der Hand hielt. Anlässlich einer Kontrolle seiner Zelle wenige Tages später fand man zwei weitere USB-Sticks. In der Folge wurde X._ disziplinarisch bestraft (in Bezug auf den Besuch der Mutter siehe Urteil 6B_288/2010 vom 22. April 2010). Seit Dezember 2009 hält er sich in der Strafanstalt Bostadel auf.
Am 21 September 2010 forderte X._ die Rückgabe der konfiszierten USB-Sticks, über deren Verbleib er seit der Verlegung nach Bostadel im Unklaren geblieben war. Die Direktion der Strafanstalt Pöschwies wies ihn am 27. Dezember 2010 darauf hin, dass er trotz Aufforderung vom 25. Oktober 2010 den Nachweis des Eigentums an den drei USB-Sticks nicht erbracht habe, weshalb sie entsorgt würden.
Am 26. Januar 2011 legte X._ Rekurs bei der Direktion der Justiz und des Innern des Kantons Zürich ein und verlangte, die drei USB-Sticks seien ihm formatiert zuzusenden. Am 29. März 2011 wies die Direktion den Rekurs ab. Der Einzelrichter des Verwaltungsgerichts des Kantons Zürich wies eine dagegen gerichtete Beschwerde mit Urteil vom 31. Mai 2011 ab.
X._ wendet sich mit Beschwerde ans Bundesgericht und beantragt, das Urteil des Einzelrichters vom 31. Mai 2011 sei aufzuheben. Die drei USB-Sticks seien ihm formatiert zuzusenden. Es sei ihm die unentgeltliche Rechtspflege zu gewähren.
2. In Anwendung von Art. 109 Abs. 3 BGG kann auf die Ausführungen der Vorinstanz verwiesen werden (vgl. angefochtenen Entscheid S. 4- 7 E. 2-4). Entscheidend für den Ausgang der Sache ist die Feststellung, der Beschwerdeführer habe sich nicht dazu geäussert, wie die drei USB-Sticks in seinen Besitz gelangt seien, und er habe nicht nachweisen können, dass er Eigentümer sei (angefochtener Entscheid S. 6/7 E. 4.3).
Diese Feststellung betrifft die Beweiswürdigung und kann vor Bundesgericht nur angefochten werden, wenn sie auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht oder wenn sie offensichtlich unrichtig im Sinne von Art. 97 Abs. 1 BGG bzw. willkürlich im Sinne von Art. 9 BV ist. Willkür liegt vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Dass eine andere Lösung ebenfalls vertretbar erscheint, genügt nicht (<ref-ruling> E. 2.4).
Was der Beschwerdeführer vorbringt, dringt nicht durch. Zunächst verstösst die Auffassung der Vorinstanz, dass es an ihm gewesen wäre, einen Eigentumsnachweis zu erbringen, nicht gegen das schweizerische Recht im Sinne von Art. 95 BGG. Auch der Wortlaut von § 156 der kantonalen Justizvollzugsverordnung steht der erwähnten Beweislastverteilung nicht entgegen.
Der Beschwerdeführer verweist auf andere Gegenstände sowie auf einen vierten USB-Stick, die zu seinen Effekten gelegt worden seien, ohne dass er einen Eigentumsnachweis habe erbringen müssen. Wie die Eigentumsfrage in diesen anderen Fällen zu beurteilen war, ist indessen nicht Gegenstand des vorliegenden Verfahrens. Folglich muss es bei der Feststellung der Vorinstanz, die Strafanstalt habe in den anderen Fällen "anscheinend" im Rahmen des ihr zustehenden Ermessens gehandelt (angefochtener Entscheid S. 7 E. 4.4), sein Bewenden haben.
Der Beschwerdeführer stützt sich auf die Äusserung einer Aufsichtsperson, wonach die USB-Sticks zu seinen Effekten gelegt würden. Er legt indessen nicht dar, inwieweit er hätte davon ausgehen dürfen, die Äusserung der Aufsichtsperson sei verbindlich. Die Vorinstanz stellt denn auch fest, dass trotz einer solchen Äusserung eine nachträgliche Prüfung des Eigentums nicht ausgeschlossen gewesen sei (angefochtener Entscheid S. 7 E. 4.4). Damit befasst sich der Beschwerdeführer vor Bundesgericht nicht. Insoweit genügt die Beschwerde den Voraussetzungen von Art. 42 Abs. 2 bzw. Art. 106 Abs. 2 BGG nicht.
Dass es sich bei der Nichtaushändigung der USB-Sticks um eine "Retourkutsche" auf ein Rechtsmittel des Beschwerdeführers gehandelt habe, stellt eine durch nichts belegte Behauptung dar. Der Beschwerdeführer hält denn auch selber fest, dass er an eine solche Möglichkeit eigentlich nicht glaube.
Schliesslich wendet sich der Beschwerdeführer dagegen, dass die USB-Sticks entsorgt werden sollen. Nachdem es ihm nicht gelungen ist, sein Eigentum nachzuweisen, hat er in Bezug auf das weitere Schicksal der USB-Sticks indessen kein rechtlich geschütztes Interesse.
Die Beschwerde ist im Verfahren nach Art. 109 BGG abzuweisen, soweit darauf einzutreten ist.
3. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Das Gesuch um unentgeltliche Rechtspflege ist in Anwendung von Art. 64 BGG abzuweisen, weil die Rechtsbegehen aussichtslos erschienen. Der finanziellen Lage des Beschwerdeführers ist bei der Bemessung der Gerichtsgebühr Rechnung zu tragen (Art. 65 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 17. August 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Der Gerichtsschreiber: C. Monn