Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. X._ befindet sich in der Strafanstalt Pöschwies im Vollzug einer längeren Freiheitsstrafe. Dort wird er in der Wäscherei beschäftigt. Am 9. Dezember 2003 erschien er nicht an seinem Arbeitsplatz und berief sich darauf, er habe Schmerzen; der Arzt habe ihm bescheinigt, dass er nur zu 50 % arbeitsfähig sei. Die Anstaltsdirektion bestrafte X._ am 10. Dezember 2003 wegen Arbeitsverweigerung mit Entzug des Fernsehgerätes bis und mit 16. Dezember 2003, unter dem Vorbehalt der Wiederaufnahme der Arbeit, und ordnete seine Rückversetzung in Einzelhaft bis am 17. Dezember 2003 an.
Daraufhin gelangte X._ mit zwei Eingaben vom 14. Dezember 2003 an die Direktion der Justiz und des Innern des Kantons Zürich, welche diese am 3. Mai 2004 als unbegründet abwies.
Hiergegen gelangte X._ mit Eingabe vom 8. Mai (Postaufgabe: 12. Mai) 2004 einerseits an das Bundesgericht, dessen I. öffentlichrechtliche Abteilung die Eingabe als staatsrechtliche Beschwerde behandelte und sie am 1. Juli 2004 abwies, soweit darauf einzutreten war. Zugleich gelangte er an das Verwaltungsgericht des Kantons Zürich, welches jedoch am 24. Juni 2004 auf die Beschwerde nicht eintrat.
Hiergegen gelangte X._ mit Eingabe vom 8. Mai (Postaufgabe: 12. Mai) 2004 einerseits an das Bundesgericht, dessen I. öffentlichrechtliche Abteilung die Eingabe als staatsrechtliche Beschwerde behandelte und sie am 1. Juli 2004 abwies, soweit darauf einzutreten war. Zugleich gelangte er an das Verwaltungsgericht des Kantons Zürich, welches jedoch am 24. Juni 2004 auf die Beschwerde nicht eintrat.
2. Gegen diesen Nichteintretensentscheid des Verwaltungsgerichts erhebt X._ mit Eingabe vom 12. Juli 2004 Verwaltungsgerichtsbeschwerde an das Bundesgericht. Dieses Rechtsmittel ist zulässig gegen letztinstanzliche kantonale Verfügungen, die sich auf öffentliches Recht des Bundes stützen oder richtigerweise stützen sollten. Sie ist auch zulässig, wenn eine kantonale Behörde gestützt auf kantonales Verfahrensrecht auf ein Rechtsmittel nicht eintritt und dies dazu führt, dass die korrekte Anwendung von Bundesrecht nicht überprüft wird und somit die Durchsetzung von Bundesrecht vereitelt werden könnte (<ref-ruling> E. 1a S. 267; <ref-ruling> E. 2c S. 277; <ref-ruling> E. 1b S. 382).
Der angefochtene Nichteintretensentscheid des Verwaltungsgerichts erging gestützt auf kantonales Recht, das für die Eintretensvoraussetzungen allerdings auf Bundesrecht verweist, indem gemäss § 43 Abs. 1 lit. g in Verbindung mit Abs. 2 des Zürcher Verwaltungsrechtspflegegesetzes vom 24. Mai 1959 die Beschwerde an das kantonale Verwaltungsgericht in Straf- und Polizeistrafsachen - einschliesslich Vollzug von Strafen sowie Massnahmen - nur gegeben ist, soweit die Verwaltungsgerichtsbeschwerde an das Bundesgericht offen steht oder wenn es sich um Angelegenheiten gemäss Art. 6 Ziff. 1 EMRK handelt. Ob das kantonale Verwaltungsgericht zu Recht auf das bei ihm eingereichte Rechtsmittel nicht eingetreten ist, fällt insoweit mit der Prüfung zusammen, ob die Verwaltungsgerichtsbeschwerde an das Bundesgericht offen steht.
Das ist jedoch nicht der Fall, weil sich die dem Nichteintretensentscheid des Verwaltungsgerichts zugrunde liegende materielle Verfügung der kantonalen Behörden auf kantonales Recht und nicht auf Bundesrecht stützt. Das Bundesrecht bestimmt zwar in <ref-law>, dass der Gefangene zur Arbeit verpflichtet ist, die ihm zugewiesen wird. <ref-law> ermächtigt ferner den Bundesrat, nach Anhören der Kantone ergänzende Bestimmungen über die Arbeit in den Anstalten aufzustellen. Der Bundesrat hat davon indessen keinen Gebrauch gemacht, sondern in Art. 6 Abs. 1 der Verordnung (1) vom 13. November 1973 zum StGB (SR 311.01) die Regelung der Arbeit in den Anstalten den Kantonen überlassen. Damit bildet aber das kantonale Strafvollzugsrecht, das selbständiger Natur ist, die Verfügungsgrundlage und nicht das öffentliche Recht des Bundes, wovon das Verwaltungsgericht zu Recht ausgegangen ist. Entsprechend ist die Verwaltungsgerichtsbeschwerde an das Bundesgericht nicht zulässig.
Das ist jedoch nicht der Fall, weil sich die dem Nichteintretensentscheid des Verwaltungsgerichts zugrunde liegende materielle Verfügung der kantonalen Behörden auf kantonales Recht und nicht auf Bundesrecht stützt. Das Bundesrecht bestimmt zwar in <ref-law>, dass der Gefangene zur Arbeit verpflichtet ist, die ihm zugewiesen wird. <ref-law> ermächtigt ferner den Bundesrat, nach Anhören der Kantone ergänzende Bestimmungen über die Arbeit in den Anstalten aufzustellen. Der Bundesrat hat davon indessen keinen Gebrauch gemacht, sondern in Art. 6 Abs. 1 der Verordnung (1) vom 13. November 1973 zum StGB (SR 311.01) die Regelung der Arbeit in den Anstalten den Kantonen überlassen. Damit bildet aber das kantonale Strafvollzugsrecht, das selbständiger Natur ist, die Verfügungsgrundlage und nicht das öffentliche Recht des Bundes, wovon das Verwaltungsgericht zu Recht ausgegangen ist. Entsprechend ist die Verwaltungsgerichtsbeschwerde an das Bundesgericht nicht zulässig.
3. Als staatsrechtliche Beschwerde entgegengenommen, erweist sich das Rechtsmittel ohne weiteres als unbegründet, da der Nichteintretensentscheid des Verwaltungsgerichts nach dem Gesagten Verfassungsrecht nicht verletzt.
3. Als staatsrechtliche Beschwerde entgegengenommen, erweist sich das Rechtsmittel ohne weiteres als unbegründet, da der Nichteintretensentscheid des Verwaltungsgerichts nach dem Gesagten Verfassungsrecht nicht verletzt.
4. Angesichts der Aussichtslosigkeit des Beschwerdebegehrens kann auch das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege und Verbeiständung nicht gutgeheissen werden. Indessen ist auf die Erhebung einer Gerichtsgebühr zu verzichten.

Demnach erkennt das Bundesgericht im Verfahren nach Art. 36a OG:
Demnach erkennt das Bundesgericht im Verfahren nach Art. 36a OG:
1. Auf die Beschwerde wird als Verwaltungsgerichtsbeschwerde nicht eingetreten, als staatsrechtliche Beschwerde wird sie abgewiesen.
1. Auf die Beschwerde wird als Verwaltungsgerichtsbeschwerde nicht eingetreten, als staatsrechtliche Beschwerde wird sie abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Es werden keine Kosten erhoben.
3. Es werden keine Kosten erhoben.
4. Dieses Urteil wird dem Beschwerdeführer und dem Verwaltungsgericht des Kantons Zürich, 4. Abteilung, schriftlich mitgeteilt.
Lausanne, 2. August 2004
Im Namen des Kassationshofes
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber: