Erwägungen:
1.
A._ befindet sich im vorzeitigen Strafvollzug in der Justizvollzugsanstalt B._. Mit Eingabe vom 23. Juli 2020 gelangte er an die Direktion der Justiz und des Innern des Kantons Zürich und beantragte die Feststellung einer Rechtsverweigerung seitens der Justizvollzugsanstalt B._. Er habe schon mehrere Male beim Gesundheitsdienst der Justizvollzugsanstalt um Einsicht in seine Krankenakte ersucht. Bislang sei ihm diese aber nicht gewährt worden. Die Direktion der Justiz und des Innern wies mit Verfügung vom 19. Oktober 2020 den Rekurs ab. Dagegen erhob A._ am 4. November 2020 Beschwerde, auf welche das Verwaltungsgericht des Kantons Zürich mit Verfügung vom 16. November 2020 nicht eintrat. Zur Begründung führte es zusammenfassend aus, dass A._ nicht darlege, inwiefern die angefochtene Verfügung an einem Rechtsmangel leide. Die Beschwerde erfülle die Begründungsanforderungen nicht. A._ sei die Rechtslage hinsichtlich der formellen Anforderungen an eine Beschwerdeschrift hinlänglich bekannt, weshalb ihm keine Nachfrist zur Verbesserung der Beschwerde anzusetzen sei.
2.
A._ führt mit Eingabe vom 21. Januar 2021 Beschwerde gegen die Verfügung des Verwaltungsgerichts des Kantons Zürich. Das Verwaltungsgericht stellt den Antrag, die Beschwerde sei abzuweisen, soweit darauf einzutreten ist. Das Amt für Justizvollzug und Wiedereingliederung hat auf eine Stellungnahme verzichtet. A._ liess sich nicht mehr vernehmen.
3.
Nach Art. 42 Abs. 2 BGG ist in der Begründung einer Beschwerde in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt. Die Bestimmungen von Art. 95 ff. BGG nennen die vor Bundesgericht zulässigen Beschwerdegründe. Hinsichtlich der Verletzung von Grundrechten gilt der in Art. 106 Abs. 1 BGG verankerte Grundsatz der Rechtsanwendung von Amtes wegen nicht; insofern besteht eine qualifizierte Rügepflicht (Art. 106 Abs. 2 BGG; BGE 136 I 49 E. 1.4.1 S. 53, 65 E. 1.3.1 S. 68 mit Hinweisen). Es obliegt dem Beschwerdeführer namentlich darzulegen, inwiefern der angefochtene Entscheid gegen Grundrechte verstossen soll.
Die Beschwerde genügt in weiten Teilen den Begründungsanforderungen nicht. Soweit das Verwaltungsgericht ausführte, weshalb die Beschwerdeschrift vom 4. November 2020 den Begründungsanforderungen nicht zu genügen vermag, setzt sich der Beschwerdeführer damit nicht auseinander und vermag mit seinen weitschweifigen Ausführungen nicht aufzuzeigen, inwiefern die entsprechende Begründung rechts- bzw. verfassungswidrig sein soll.
4.
Der Beschwerdeführer beanstandet, dass ihm das Verwaltungsgericht keine Frist im Sinne von § 56 Abs. 1 VRG zur Verbesserung seiner Beschwerde angesetzt habe.
Das Verwaltungsgericht erwog, das Ansetzen einer Nachfrist diene in erster Linie dazu, versehentlich unterlaufene Mängel zu beheben. Gemäss seiner Praxis zu § 56 Abs. 1 VRG sei eine rechtsunkundige Partei nicht zwingend zur Verbesserung ihrer Rechtsschrift aufzufordern, wenn sie trotz Kenntnis der formellen Anforderungen aufgrund von Eingaben in diversen früheren Verfahren abermals eine mit gleichartigen Mängeln behaftete Beschwerdeschrift einreiche. Dem Beschwerdeführer seien die formellen Anforderungen an eine Rechtsschrift aus zahlreichen früheren Verfahren bekannt. Allein seit November 2019 habe er neunmal Beschwerde beim Verwaltungsgericht erhoben. Ausserdem seien die Anforderungen an die Beschwerdeschrift der Dispositivziffer V der angefochtenen Verfügung zu entnehmen. Unter diesen Umständen sei vorliegend keine Nachfrist zur Verbesserung der Beschwerde anzusetzen.
Mit diesen Ausführungen setzt sich der Beschwerdeführer überhaupt nicht auseinander. Er vermag denn auch nicht aufzuzeigen, inwiefern die erwähnte Praxis des Verwaltungsgerichts willkürlich sein soll. Dies ist auch nicht ersichtlich. Die Begründungspflicht als Gültigkeitserfordernis würde wirkungslos, wenn sich eine Partei mit der Einreichung einer mangelhaften Beschwerdeschrift in jedem Fall eine zusätzliche Begründungsfrist erwirken könnte. Das Verwaltungsgericht durfte ohne Willkür annehmen, dass die Ansetzung einer Nachfrist zur Begründung einer Beschwerde die Ausnahme und nicht die Regel sei und dass derjenige Beschwerdeführer, welcher in Kenntnis der Begründungsanforderungen eine mangelhafte Rechtsschrift einreicht, keine Nachfrist beanspruchen könne. Die Rüge erweist sich daher, soweit sie überhaupt den Begründungsanforderungen zu genügen vermag, als unbegründet.
5.
Zusammenfassend ergibt sich, dass die Beschwerde abzuweisen ist, soweit auf sie eingetreten werden kann.
Angesichts der Aussichtslosigkeit des Verfahrens ist dem Gesuch um unentgeltliche Rechtspflege und Verbeiständung nicht zu entsprechen (Art. 64 BGG). Indessen ist davon abzusehen, für das bundesgerichtliche Verfahren Kosten zu erheben (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit auf sie einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Es werden keine Kosten erhoben.
4.
Dieses Urteil wird dem Beschwerdeführer, dem Amt für Justizvollzug und Wiedereingliederung des Kantons Zürich und dem Verwaltungsgericht des Kantons Zürich, 3. Abteilung, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 25. März 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Pfäffli