Das Bundesgericht zieht in Erwägung:
1. X._ befindet sich seit dem 8. November 2011 in der Justizvollzugsanstalt Pöschwies im Strafvollzug. Wegen Verstosses gegen die Arbeitspflicht ordnete die Anstalt am 15. Dezember 2011 sieben Tage Zelleneinschluss und leichten Gruppenausschluss mit TV-, Computer- und Spielkonsolenentzug und -verbot an. Die Direktion der Justiz und des Innern sowie das Verwaltungsgericht des Kantons Zürich wiesen die Beschwerden des Inhaftierten am 9. Februar bzw. 10. Mai 2012 ab.
X._ wendet sich mit Beschwerde in Strafsachen an das Bundesgericht mit dem Antrag, das verwaltungsgerichtliche Urteil vom 10. Mai 2012 sei aufzuheben. Er macht im Wesentlichen geltend, er habe die Arbeit nicht aus Faulheit abgelehnt, sondern weil er krank gewesen sei.
2. Nach Art. 81 StGB ist der Gefangene zur Arbeit verpflichtet. Die Arbeitspflicht besteht auch für Inhaftierte, welche vor dem Haftantritt Leistungen der Invalidenversicherung bezogen hatten oder bereits das ordentliche Pensionierungsalter gemäss AHV erreicht haben (Benjamin Brägger, Strafrecht I, Basler Kommentar, 2. Aufl., Rz. 8 zu Art. 81). Die Arbeitszuweisung hat im Rahmen der individuellen Vollzugsplanung sowohl unter Berücksichtigung der Neigungen und (körperlichen wie geistigen) Fähigkeiten der Gefangenen als auch der betrieblichen Notwendigkeiten zu erfolgen (Andreas Baechtold, Strafvollzug, 2. Aufl., Bern 2009, S. 149 N. 96).
3. In Anwendung von Art. 109 Abs. 3 BGG kann auf die Ausführungen der Vorinstanz verwiesen werden (vgl. Entscheid S. 4 ff.).
Der Beschwerdeführer hatte vor der Vorinstanz geltend gemacht und bringt dies auch vor Bundesgericht vor, er habe aus gesundheitlichen Gründen am 14. Dezember 2011 nicht arbeiten können (Beschwerde, S. 2 ff.). Nach den Feststellungen der Vorinstanz liegt beim Beschwerdeführer gemäss Arztbericht vom 9. Januar 2012 eine allgemeine muskuloskelettale und kardiopulmonale Dekonditionierung infolge passiven Inhaftierungsverhaltens vor. Er wäre am 14. Dezember 2011 wahrscheinlich zu 50% arbeitsfähig gewesen. Dem Beschwerdeführer sei bewusst keine körperlich anstrengende und somit keine unzumutbare Arbeit zugewiesen worden. Die jeweils 50 A4-Kartons hätte er abwechselnd sitzend oder stehend abwägen können (Entscheid, S. 5). Für eine gänzliche Verweigerung der Arbeit aus gesundheitlichen Gründen habe damit keine Veranlassung bestanden. Es sei davon auszugehen, der Beschwerdeführer sei mit der Art der zugeteilten Arbeit nicht zufrieden gewesen. Er habe ausgeführt, sich nicht Wissen und Qualitäten angeeignet zu haben, um die Unterwäsche der Gefangenen zu sortieren oder Kartons von A nach B zu legen (Entscheid, S. 6). Dass und inwiefern die vorinstanzlichen Feststellungen offensichtlich unrichtig oder rechtswidrig sein könnten, ist nicht ersichtlich. Mit der Vorinstanz ist anzunehmen, dass der Beschwerdeführer generell zwar nicht abgeneigt ist zu arbeiten, jedoch nur Arbeiten ausführen möchte, die ihm genehm sind. Dafür spricht auch sein Vorbringen vor Bundesgericht, er habe kein Interesse daran, Gefangenen die Wäsche zu waschen (Beschwerde, S. 3). Inwiefern die ihm zugewiesene Arbeit dem Recht im Sinne von Art. 81 StGB widersprechen könnte, ist nicht ersichtlich. Die Beschwerde ist im Verfahren nach Art. 109 BGG abzuweisen.
4. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Seinen finanziellen Verhältnissen ist bei der Bemessung der Gerichtsgebühr Rechnung zu tragen (Art. 65 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 5. Juli 2012
Im Namen der Strafrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Mathys
Die Gerichtsschreiberin: Arquint Hill