Das Bundesgericht zieht in Erwägung:
1. X._ wurde im Jahr 2008 durch die Behörden des Kantons Zürich mehrfach wegen Übertretungen des Bundesgesetzes über den Transport im öffentlichen Verkehr sowie wegen Ungehorsams im Betreibungsverfahren verurteilt. Anstelle der angeordneten Bussen wurden insgesamt 204 Stunden gemeinnützige Arbeit angeordnet.
Das Amt für Justizvollzug des Kantons Zürich stellte am 14. Juni 2010 die gemeinnützige Arbeit ein und beantragte der urteilenden Behörde, es sei eine Ersatzfreiheitsstrafe anzuordnen.
Dagegen rekurrierte X._ mit der Begründung, er wolle weiterhin gemeinnützige Arbeit leisten. Die Direktion der Justiz und des Innern des Kantons Zürich wies den Rekurs am 5. Oktober 2010 ab. Eine dagegen gerichtete Beschwerde wurde durch das Verwaltungsgericht des Kantons Zürich mit Urteil vom 10. Januar 2011 abgewiesen.
X._ wendet sich mit Beschwerde ans Bundesgericht.
2. Soweit sich der Beschwerdeführer unter Hinweis auf die neuere Rechtsprechung mit seiner Verurteilung wegen Übertretung des Bundesgesetzes über den Transport im öffentlichen Verkehr befasst, ist darauf nicht einzutreten. Die strafrechtliche Verurteilung ist rechtskräftig und kann nicht mehr Gegenstand des vorliegenden Verfahrens sein. In diesem geht es nur um die Einstellung der gemeinnützigen Arbeit.
3. In Anwendung von Art. 109 Abs. 3 BGG kann auf die Erwägungen der Vorinstanz verwiesen werden (vgl. angefochtenen Entscheid S. 7/8 E. 5). Nach den Feststellungen der kantonalen Behörden hielt sich der Beschwerdeführer mehrfach unentschuldigt nicht an die Vereinbarungen. Er erschien mehrfach unentschuldigt nicht zur Arbeit und leistete schliesslich ohne Begründung überhaupt keine mehr, obwohl er sie auf eigenen Wunsch ab Februar 2009 bei einem anderen Arbeitgeber hätte ableisten können. Vor der Vorinstanz machte er weder geltend, dass er zur Verrichtung der zugewiesenen Arbeit nicht fähig gewesen wäre, noch begründete er seine unentschuldigten Abwesenheiten. Vielmehr gab er an, dass er lieber andere als die angebotenen Tätigkeiten ausführen würde. Nach Auffassung der Vorinstanz obliegt es indessen nicht der verurteilten Person, eine ihren Wünschen entsprechende Arbeit auszuwählen.
Was an diesen Erwägungen gegen das Recht im Sinne von Art. 95 BGG verstossen könnte, ergibt sich aus der Beschwerde nicht und ist auch nicht ersichtlich. Der Beschwerdeführer macht vor Bundesgericht nur geltend, er lasse sich nicht vorwerfen, bei der gemeinnützigen Arbeit immer wieder gefehlt zu haben, denn es habe dafür immer klare Gründe gegeben, nämlich einen Klinikaufenthalt sowie psychische und körperliche Beschwerden. Mit diesem Vorbringen widerspricht er sich indessen selber. Vor der Vorinstanz machte er geltend, seine Alkoholsucht und seine depressive Verfassung hätten nicht das Geringste mit seiner Arbeitsfähigkeit zu tun (angefochtener Entscheid S. 8 oben). Wenn sein körperlicher und psychischer Zustand aber nichts mit seiner Arbeitsfähigkeit zu tun haben, dann ist nach wie vor kein Grund dafür ersichtlich, dass er die gemeinnützige Arbeit nicht geleistet hat. Folglich erscheint deren Einstellung als gerechtfertigt.
4. Die Beschwerde ist im Verfahren nach Art. 109 BGG abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 800.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Einzelrichterin, schriftlich mitgeteilt.
Lausanne, 7. April 2011
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Favre C. Monn