Sachverhalt:
A.
Die Justizvollzugsanstalt (JVA) Pöschwies bestrafte A._ mit Verfügung vom 27. Mai 2020 wegen verschiedener Disziplinarvergehen zu sechs Tagen Arrest und einer Busse von Fr. 60.--. Zudem stellte sie unter anderem das von ihm am 20. Mai 2020 ausgehändigte Mobiltelefon der Marke "Samsung" und Kopfhörer der Marke "Panasonic" sicher und überliess diese Gegenstände der Abteilung "Sicherheit intern" zur weiteren Veranlassung bzw. zur allfälligen Vernichtung. Für ein ebenfalls gefundenes Erotikmagazin wurde die Entsorgung angeordnet. A._ befand sich zum Zeitpunkt des Erlasses dieser Disziplinarverfügung im vorzeitigen Strafvollzug.
Mit Eingabe vom 3. Juni 2020 rekurrierte A._ bei der Direktion der Justiz und des Innern des Kantons Zürich (im Folgenden: Justizdirektion) und beantragte im Wesentlichen die Aufhebung der Disziplinarverfügung vom 27. Mai 2020. Weiter ersuchte er um Gewährung der unentgeltlichen Prozessführung und Rechtsverbeiständung für das Rekursverfahren sowie um Zusprechung einer Parteientschädigung.
Mit Verfügung vom 17. Juni 2020 änderte die JVA Pöschwies die Disziplinarverfügung vom 27. Mai 2020 unter anderem dahingehend ab, als sie die Kopfhörer der Marke "Panasonic" A._ wieder aushändigte, nachdem er deren Erwerb mittels Hausbriefs hatte belegen können.
Mit Verfügung vom 22. Oktober 2020 wies die Justizdirektion den Rekurs sowie die Gesuche um Gewährung der unentgeltlichen Prozessführung und Rechtsverbeiständung ab und auferlegte A._ die Verfahrenskosten. Eine Parteientschädigung sprach sie ihm nicht zu.
A._ erhob daraufhin mit Eingabe vom 20. November 2020 Beschwerde beim Verwaltungsgericht des Kantons Zürich und beantragte im Wesentlichen die Aufhebung der Verfügung der Justizdirektion vom 22. Oktober 2020. Dabei ersuchte er auch um Gewährung der unentgeltlichen Prozessführung und Rechtsverbeiständung.
Mit Präsidialverfügung vom 23. November 2020 wies das Verwaltungsgericht das Gesuch um Gewährung der unentgeltlichen Rechtsverbeiständung für das Beschwerdeverfahren ab. Gestützt auf die eingereichte Beschwerdeschrift kam es zum Schluss, dass A._ zweifellos in der Lage sei, seine Interessen im verwaltungsgerichtlichen Verfahren selbst zu wahren. Mit Urteil vom 6. Mai 2021 wies es die Beschwerde ab, soweit es darauf eintrat. Zudem wies es das Gesuch um unentgeltliche Prozessführung ab und auferlegte A._ die Gerichtskosten von Fr. 1'345.--.
B.
Mit als "Beschwerde in öffentlich-rechtlichen Angelegenheiten" bezeichneter Eingabe vom 13. Juli 2021 beantragt A._ dem Bundesgericht, die fehlerhafte Sachverhaltsfeststellung im Urteil des Verwaltungsgerichts sei aufzuheben und die Sache sei zur neuen Entscheidung im Sinne der Erwägungen an die Vorinstanz zurückzuweisen. Eventualiter seien die kantonalen und bundesrechtlichen Verletzungen bzw. die unrichtige Feststellung des Sachverhalts festzustellen und zu rügen. Zudem habe die Vorinstanz die Folgen der widerrechtlichen Handlungen zu beseitigen.
Das Verwaltungsgericht beantragt die Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Amt für Justizvollzug und Wiedereingliederung des Kantons Zürich hat sich nicht vernehmen lassen.

Erwägungen:
1.
1.1. Die Voraussetzungen der Beschwerde in Strafsachen gemäss <ref-law> sind grundsätzlich erfüllt. Dass der Beschwerdeführer seine Eingabe fälschlicherweise als Beschwerde in öffentlich-rechtlichen Angelegenheiten bezeichnet, schadet nicht (<ref-ruling> E. 1.6 mit Hinweis).
1.2. Nicht einzutreten ist indessen auf den Antrag, es seien die kantonalen und bundesrechtlichen Verletzungen bzw. die unrichtige Feststellung des Sachverhalts festzustellen und zu rügen. Ein Interesse an einer derartigen Feststellung wird nicht dargetan und ist auch nicht erkennbar (vgl. <ref-ruling> E. 3; <ref-ruling> E. 2a; Urteil 1B_636/2021 vom 21. Dezember 2021 E. 1.2; je mit Hinweisen). Auf das Feststellungsbegehren ist deshalb nicht einzutreten.
1.3. Mit der Beschwerde in Strafsachen kann insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>). Das Bundesgericht wendet das Bundesrecht von Amtes wegen an (<ref-law>). Die Verletzung von Grundrechten, einschliesslich die willkürliche Anwendung von kantonalem und kommunalem Recht, prüft es jedoch nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Dabei gelten qualifizierte Begründungsanforderungen. Soweit diese nicht eingehalten sind, ist auf die Rügen nicht einzutreten (<ref-ruling> E. 1.2 S. 48; <ref-ruling> E. 1.3; je mit Hinweisen).
Der Beschwerdeführer rügt unter dem Titel "Verletzung der Unparteilichkeit und [f]ehlende Kognition", dass die Vorinstanzen die offensichtliche Notwendigkeit seines Rekurses und den ihm daraus entstandenen Mehraufwand geleugnet hätten. Was er mit seinem Vorbringen genau meint, ist nicht ohne Weiteres klar. Soweit er sich auf die Erwägungen im angefochtenen Entscheid zur Notwendigkeit der unentgeltlichen Rechtsvertretung bezieht (die vom Verwaltungsgericht verneint wurde), geht er auf die betreffende Begründung nicht ein. Darauf ist nicht einzutreten (Art. 42 Abs. 2 und <ref-law>).
Ebenfalls nicht einzutreten ist auf die Rüge der "Verletzung des kantonalen und interkantonalen Rechts", die sich auf die vorinstanzlichen Erwägungen zu einem in der Zelle des Beschwerdeführers aufgefundenen Erotikmagazin bezieht. Weshalb er diese Erwägungen als paradox erachtet, ist nicht nachvollziehbar. Ebenfalls nicht einzugehen ist auf den in diesem Zusammenhang erhobenen Vorwurf, das Verwaltungsgericht habe die Akten nicht auf ein Datum untersucht, das die Verjährung der rechtswidrigen Unterstellung offenbart hätte. Im angefochtenen Entscheid wird dazu ausgeführt, dass selbst bei Eintritt der Verjährung ein Disziplinartatbestand erfüllt worden wäre, weshalb es darauf nicht ankomme. Damit setzt sich der Beschwerdeführer nicht auseinander (Art. 42 Abs. 2 und <ref-law>).
1.4. In Bezug auf die Rüge der Verletzung seiner Eigentums- bzw. Besitzrechte in Bezug auf das Mobiltelefon und die Abweisung des Gesuchs um unentgeltliche Prozessführung im Beschwerdeverfahren wegen Aussichtslosigkeit ist die Beschwerde dagegen knapp hinreichend begründet.
2.
2.1. Der Beschwerdeführer machte im vorinstanzlichen Verfahren geltend, das sichergestellte Mobiltelefon hätte zu seinen Effekten gelegt werden müssen und nicht der Abteilung "Sicherheit intern" zur allfälligen Vernichtung übergeben werden dürfen. Aufgrund von <ref-law> sei sein Eigentum am Mobiltelefon zu vermuten. Das Verwaltungsgericht hielt dem entgegen, § 156 Abs. 1 der Justizvollzugsverordnung des Kantons Zürich vom 6. Dezember 2006 (JVV; LS 331.1) verlange, dass das Eigentum festgestellt werden könne. Eine blosse Vermutung reiche in dieser Hinsicht nicht aus. Aufgrund der Tatsache, dass Mobiltelefone im geschlossenen Vollzug der JVA Pöschwies nicht erlaubt seien, könnten die Eigentumsrechte daran mindestens in der Regel nicht zweifelsfrei festgestellt werden. Vorliegend habe der Beschwerdeführer auch nichts zur Feststellung des Eigentums beigetragen, habe er doch insofern im Rahmen der Anhörung vom 22. Mai 2020 die Aussage verweigert. Sei die Feststellung des Eigentums nicht möglich und sei auch keine Verwertung möglich oder eigneten sich die Gegenstände nur zu einem rechtswidrigen Gebrauch, was bei dem betroffenen Mobiltelefon angesichts des grundsätzlichen Verbots der Fall sei, würden die Gegenstände nach § 156 Abs. 2 JVV vernichtet.
2.2. § 156 JVV hat folgenden Wortlaut:
1 Gegenstände, die bei der Begehung von Disziplinarverstössen verwendet wurden, werden sichergestellt. Sie werden zu den Effekten gelegt, wenn das Eigentum festgestellt werden kann.
2 Ist die Feststellung des Eigentums nicht möglich oder gefährden die Gegenstände die Sicherheit und Ordnung der Vollzugseinrichtung, werden sie verwertet oder vernichtet. Der Verwertungserlös fliesst einem Fonds zur Unterstützung von Gefangenen oder Entlassenen zu.
2.3. Die in <ref-law> verankerte Eigentumsgarantie schützt neben dem Eigentum insbesondere auch den Besitz (<ref-ruling> E. 1b; Urteil 1C_160/2011 vom 8. November 2011 E. 3.1; je mit Hinweisen). Der Beschwerdeführer kann sich somit auf die Eigentumsgarantie berufen, selbst wenn man, der Vorinstanz folgend, davon ausginge, dass sein Eigentum trotz der bundesrechtlich vorgesehenen Vermutung in <ref-law> nicht erstellt sei (gemäss dieser Bestimmung wird vom Besitzer einer beweglichen Sache vermutet, dass er ihr Eigentümer ist).
Bei der hier zur Diskussion stehenden Vernichtung des Mobiltelefons handelt es sich um einen schweren Eingriff in die Eigentumsgarantie (vgl. Urteil 2C_325/2018 vom 18. Februar 2019 E. 4.1 mit Hinweis, in: Pra 2019 S. 638). Solche Eingriffe müssen im Gesetz selbst vorgesehen sein (<ref-law>). Ob diese Voraussetzung erfüllt ist (vgl. Urteil 2C_325/2018 vom 18. Februar 2019 E. 4.2.1 mit Hinweisen, in: Pra 2019 S. 638), kann offen bleiben. Denn wie aus den nachfolgenden Erwägungen hervorgeht, ist der Eingriff klarerweise unverhältnismässig.
2.4. Das Verhältnismässigkeitsprinzip verlangt, dass eine Massnahme für das Erreichen des im öffentlichen Interesse liegenden Ziels geeignet und erforderlich ist und sich für die Betroffenen in Anbetracht der Schwere der Grundrechtseinschränkung als zumutbar erweist (<ref-ruling> E. 9.2.2 S. 24 mit Hinweisen).
Die Vernichtung des von einem Häftling versteckten Mobiltelefons erscheint als geeignet, die Ordnung und Sicherheit in den Vollzugseinrichtungen zu gewährleisten (vgl. § 152 JVV). Im Rahmen des vorzeitigen Strafvollzugs kann sie insbesondere auch dazu dienen, Kollusionshandlungen zu verhindern (vgl. <ref-law>, wonach die beschuldigte Person im vorzeitigen Strafvollzug dem Vollzugsregime untersteht, wenn der Zweck der Untersuchungs- oder der Sicherheitshaft dem nicht entgegensteht).
Statt einen Gegenstand zu vernichten, kann dieser jedoch auch zu den Effekten gelegt und damit dem direkten Zugriff des Besitzers entzogen werden. Es handelt sich dabei um einen milderen Eingriff, der ebenso geeignet ist, Ordnung und Sicherheit in den Vollzugseinrichtungen sowie die Zwecke der Untersuchungs- oder der Sicherheitshaft zu gewährleisten. Das in diesem Zusammenhang von der Vorinstanz vorgebrachte Argument, ein Mobiltelefon eigne sich nur zu einem rechtswidrigen Gebrauch, ist unzutreffend. Es handelt sich vielmehr um einen Alltagsgegenstand, der auf verschiedenste Weise rechtmässig verwendet werden kann.
3.
Der angefochtene Entscheid verletzt somit die Eigentumsgarantie und ist aufzuheben. Die Sache ist antragsgemäss ans Verwaltungsgericht zurückzuweisen, damit es neu darüber befindet. Es erübrigt sich damit, auf die Rüge des Beschwerdeführers betreffend die unentgeltliche Rechtspflege einzugehen.
Bei diesem Verfahrensausgang sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Der nicht anwaltlich vertretene Beschwerdeführer hat keinen Anspruch auf eine Parteientschädigung (<ref-law>). Sein Gesuch um unentgeltliche Rechtspflege wird damit gegenstandslos.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen, soweit darauf einzutreten ist, und das Urteil des Verwaltungsgerichts Zürich vom 6. Mai 2021 aufgehoben. Die Sache wird zur neuen Beurteilung an das Verwaltungsgericht zurückgewiesen.
2.
Es werden keine Gerichtskosten erhoben und keine Parteientschädigungen zugesprochen.
3.
Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 10. Januar 2022
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Dold