Sachverhalt:
A.
Am 27. September 2020 fand in der Stadt Zürich die Volksabstimmung über die Vorlage "Privater Gestaltungsplan 'Areal Hardturm-Stadion', Zürich-Escher Wyss, Kreis 5" statt. Die Vorlage wurde mit einem Ja-Stimmenanteil von 59,1 % angenommen.
Im Vorfeld der Abstimmung erhob Peter Wolfgang von Matt mit Eingabe vom 23. August 2020 Stimmrechtsrekurs. Er kritisierte, der Stadtrat habe es in der Abstimmungspublikation unterlassen, sich mit den Sicherheitsaspekten der Vorlage auseinanderzusetzen. Mit Beschluss vom 24. September 2020 wies der Bezirksrat Zürich das Rechtsmittel ab und auferlegte dem Rekurrenten die Verfahrenskosten.
Eine von Peter Wolfgang von Matt dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Zürich mit Urteil vom 3. Dezember 2020 lediglich im Kostenpunkt gut. Es ordnete an, dass die Rekurskosten auf die Staatskasse zu nehmen seien. Im Übrigen wies es die Beschwerde ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten ans Bundesgericht beantragt Peter Wolfgang von Matt primär, die Abstimmung vom 27. September 2020 sei für ungültig zu erklären und der Stadtrat Zürich anzuweisen, im Hinblick auf eine Wiederholung der Abstimmung die Abstimmungspublikation im Sinne der Begründung zu überarbeiten bzw. zu ergänzen.
Das Verwaltungsgericht hat auf eine Vernehmlassung verzichtet. Die Stadt Zürich beantragt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Der Bezirksrat hat sich nicht vernehmen lassen.

Erwägungen:
1.
Auch wenn der Beschwerdeführer nicht förmlich die Aufhebung des Urteils des Verwaltungsgerichts vom 3. Dezember 2020 beantragt, ist offensichtlich, dass sich seine Beschwerde dagegen richtet (vgl. <ref-ruling> E. 1 S. 127, wonach Rechtsbegehren nach Treu und Glauben auszulegen sind). Inhaltlich rügt er eine Verletzung politischer Rechte. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten in der Form der Stimmrechtsbeschwerde gemäss <ref-law> ist deshalb das zutreffende Rechtsmittel. Das angefochtene Urteil ist kantonal letztinstanzlich und entspricht den Anforderungen von <ref-law>. Der Beschwerdeführer ist unbestrittenermassen in der Stadt Zürich stimmberechtigt und damit gemäss <ref-law> zur Beschwerde legitimiert. Die Sachurteilsvoraussetzungen sind im Übrigen erfüllt. Auf die Beschwerde ist grundsätzlich einzutreten.
2.
Der Beschwerdeführer macht geltend, das Verwaltungsgericht hätte bei korrekter Sachverhaltsfeststellung feststellen müssen, dass der Gestaltungsplan "Areal Hardturm-Stadion" mangelhaft sei. Er ist der Auffassung, der Gestaltungsplan sei lückenhaft und statt der Form des privaten Gestaltungsplans hätte diejenige des öffentlichen gewählt werden müssen. Diese erstmals im bundesgerichtlichen Verfahren vorgetragene Kritik, die zudem entgegen der Auffassung des Beschwerdeführers nicht die Sachverhaltsfeststellung, sondern die Rechtsanwendung betrifft, geht über den Prozessgegenstand hinaus. Entsprechend zeigt der Beschwerdeführer denn auch nicht auf, inwiefern der angefochtene Entscheid in dieser Hinsicht schweizerisches Recht im Sinne von <ref-law> verletzt (<ref-law>). Darauf ist nicht einzutreten.
3.
Der Beschwerdeführer beantragt, der Stadtrat sei zu verpflichten, allfällige Amtsberichte über voraussichtliche Sicherheitsrisiken und Einschränkungen der Bewegungsfreiheit von Personen im und um das Hardturm-Areal herauszugeben. Wie aus den nachfolgenden Erwägungen hervorgeht, ist dies zur Beurteilung der Beschwerde jedoch nicht erforderlich. Der Verfahrensantrag ist deshalb abzuweisen.
4.
4.1. Der Beschwerdeführer rügte im Verfahren vor Verwaltungsgericht, dass der Bezirksrat Zürich seinen Beschluss vom 24. September 2020 in Vierer- statt in Fünferbesetzung gefällt hatte. Das Verwaltungsgericht forderte daraufhin den Bezirksrat auf, dazu Stellung zu nehmen. Dieser antwortete, einer der Bezirksräte sei in der betreffenden Woche in den Ferien gewesen. Das Verwaltungsgericht erwog in dieser Hinsicht im angefochtenen Urteil, der Bezirksrat habe nicht als Gericht im materiellen Sinn entschieden, weshalb nicht die gleichen Anforderungen an die Spruchkörperbildung wie bei Gerichten gälten. Zwar treffe zu, dass er gemäss § 9 Abs. 1 lit. a und b des Bezirksverwaltungsgesetzes des Kantons Zürich vom 10. März 1985 (BezVG; LS 173.1) aus fünf (ordentlichen) Mitgliedern bestehe. Bei Kollegialbehörden könnten es die Umstände jedoch rechtfertigen, dass sie nicht mit der vollen Anzahl von (ordentlichen) Mitgliedern beschlössen. Die Behandlung eines Stimmrechtsrekurses sei dringlich, weshalb trotz der Ferienabwesenheit eines Bezirksrats zu entscheiden gewesen sei. Der Beizug eines Ersatzmitglieds sei nicht notwendig gewesen, weil die Beschlussfähigkeit gegeben gewesen sei (§ 4 Abs. 1 BezVG i.V.m. § 39 Abs. 1 des Gemeindegesetzes des Kantons Zürich vom 20. April 2015 [GG; LS 131.1]).
4.2. Der Beschwerdeführer ist der Auffassung, beim Bezirksrat handle es sich um ein Gericht, da er Urteile fälle. Gemäss <ref-ruling> könne er in Zivilsachen als Gericht im materiellen Sinn anerkannt werden. Es könne nicht angehen, dies in öffentlich-rechtlichen Angelegenheiten anders zu sehen. Der Bezirksrat dürfe sich nicht auf die für Gemeindebehörden vorgesehene Regelung berufen, andernfalls könnte eine Minderheit von zwei Stimmen durch den Stichentscheid des Präsidenten einen allenfalls anderslautenden Mehrheitsentscheid unterwandern. Nach Art. 6 Ziff. 1 EMRK und <ref-law> bestehe ein Anspruch auf Beurteilung durch ein Gericht.
4.3. Während Struktur und Organisation einer Verwaltungsbehörde den allgemeinen Verfahrensgarantien von <ref-law> genügen müssen, gelten für Gerichte darüber hinaus die Anforderungen von <ref-law>. Gemäss dem vom Beschwerdeführer erwähnten <ref-ruling> darf der Bezirksrat im zivilrechtlichen Bereich als Gericht im materiellen Sinn anerkannt und vom kantonalen Recht als Beschwerdeinstanz gegenüber Entscheiden der Kindes- und Erwachsenenschutzbehörde bezeichnet werden (a.a.O., E. 3 und 4 S. 99 ff. mit Hinweisen). Im gleichen Urteil bezeichnete es das Bundesgericht in Anbetracht der Verflechtung von Aufgaben und Funktionen im Gesetzesvollzug, in der Aufsicht und in der Rechtsprechung als nachvollziehbar, den Bezirksrat im öffentlich-rechtlichen Bereich als in die Verwaltung eingebunden und deshalb nicht als gerichtliche Instanz anzusehen (a.a.O., E. 4.4.2 S. 108 mit Hinweisen). Der öffentlich-rechtliche Bereich bildete allerdings nicht Prozessgegenstand und die Frage brauchte deshalb nicht abschliessend entschieden zu werden. Ob Struktur und Organisation des Bezirksrats den Anforderungen von <ref-law> genügen bzw. genügen müssen, kann auch hier offenbleiben, da sie aus den nachfolgenden Erwägungen bereits einer Prüfung unter dem Gesichtspunkt von <ref-law> nicht standhalten (vgl. auch Urteil 1C_263/2018 vom 4. Dezember 2018 E. 4.3 mit Hinweis). Art. 6 EMRK ist nicht anwendbar, denn es handelt sich um eine Stimmrechtssache, die als solche dem Anwendungsbereich dieser Konventionsgarantie entzogen ist (Urteil des EGMR Pierre-Bloch gegen Frankreich vom 21. Oktober 1997, Nr. 24194/94, Ziff. 50).
4.4. Nach <ref-law> hat jede Person in Verfahren vor Gerichts- und Verwaltungsinstanzen Anspruch auf gleiche und gerechte Behandlung sowie auf Beurteilung innert angemessener Frist. Daraus ergibt sich ein Anspruch auf richtige Zusammensetzung der Verwaltungsbehörde gemäss dem anwendbaren Verfahrensrecht (<ref-ruling> E. 3c S. 130; Urteil 2C_387/2018 vom 18. Dezember 2018 E. 3.2; je mit Hinweisen). Ein gewisses Ermessen bei der Besetzung des Spruchkörpers und beim Entscheid über den Beizug von Ersatzmitgliedern wird dadurch nicht ausgeschlossen. Die Besetzung muss sich jedoch mit sachlichen Gründen rechtfertigen lassen (zum Ganzen: <ref-ruling> E. 3.2 S. 173; <ref-ruling> E. 2.2.1 S. 342 f.; je mit Hinweisen).
Sieht das Gesetz für ein Gericht im Sinne von <ref-law> ein Mindestquorum vor, so muss geregelt sein, in welchen Fällen die Normalbesetzung unterschritten werden darf (Urteil 1C_85/2014 vom 9. April 2015 E. 2.5 mit Hinweisen). Die Besetzung mit einer geraden Anzahl Mitgliedern ist ungewöhnlich (Urteil 2C_381/2010 vom 17. November 2011 E. 2.3.2, in: ZBl 113/2012 S. 268). Die Anforderungen von <ref-law> sind weniger streng. Allerdings verlangt die Rechtsprechung immerhin, dass einzelne Mitglieder, die in den Ausstand treten oder an der Mitwirkung verhindert sind, nach Möglichkeit zu ersetzen sind (<ref-ruling> E. 3.2 S. 174 mit Hinweisen).
Ob eine kantonale Behörde in ordnungsgemässer Zusammensetzung entschieden hat, beurteilt sich im Rahmen dieser bundesverfassungsrechtlichen Vorgaben nach dem kantonalen Organisations- und Verfahrensrecht. Während das Bundesgericht die Einhaltung der Ersteren frei prüft, erschöpft sich seine Kontrolle der Letzteren ausserhalb des Anwendungsbereichs von kantonalen verfassungsmässigen Rechten auf Willkür (<ref-law>).
4.5. Gemäss § 4 BezVG konstituieren sich die Bezirksbehörden selbst und gelten für die Konstituierung und die Geschäftsordnung die §§ 6, 38-44, 46 und 52 des Gemeindegesetzes sinngemäss. Aufgrund des Verweises auf § 39 Abs. 1 GG ist der Bezirksrat beschlussfähig, wenn die Mehrheit seiner Mitglieder anwesend ist. Zudem sieht die ebenfalls primär für Gemeindebehörden geltende und auf den Bezirksrat sinngemäss anwendbare Bestimmung von § 40 Abs. 1 Satz 3 GG vor, dass bei Stimmengleichheit die Stimme der oder des Vorsitzenden den Ausschlag gibt. Pattsituationen sind somit auch bei einer Besetzung mit einer geraden Anzahl Mitgliedern ausgeschlossen.
Dies ändert nach dem Ausgeführten jedoch im Anwendungsbereich von <ref-law> nichts daran, dass ausfallende Mitglieder nach Möglichkeit zu ersetzen sind. Ein Ersatz des im vorliegenden Verfahren abwesenden Mitglieds des Bezirksrats Zürich wäre möglich, weil gesetzlich vorgesehen gewesen. Denn laut § 9 Abs. 1 BezVG setzt sich der Bezirksrat nicht nur aus dem Präsidenten (lit. a) und vier weiteren Mitgliedern (in den Bezirken Zürich und Winterthur) bzw. zwei weiteren Mitgliedern (in den übrigen Bezirken) (lit. b) zusammen. Vielmehr verfügt er auch über zwei Ersatzmitglieder (lit. c). Die Funktion solcher Ersatzmitglieder besteht gerade darin, ausgefallene ordentliche Mitglieder zu ersetzen und somit die Normalbesetzung mit drei bzw. fünf Mitgliedern zu gewährleisten. Weshalb der Bezirksrat dennoch kein Ersatzmitglied beizog, geht aus seinen Stellungnahmen im vorinstanzlichen und im bundesgerichtlichen Verfahren nicht hervor. Ein sachlicher Grund für die Abweichung von der Normalbesetzung ist deshalb nicht erkennbar. Somit verletzte der Bezirksrat <ref-law>, indem er das abwesende ordentliche Mitglied ohne sachlichen Grund nicht ersetzte, sondern in Viererbesetzung entschied. Die Rüge des Beschwerdeführers ist begründet und das Urteil des Verwaltungsgerichts, welches das Vorgehen des Bezirksrats schützte, aufzuheben.
Ergänzend bleibt festzuhalten, dass dieser Schluss die sinngemässe Anwendung von § 39 Abs. 1 GG (Quorum) und § 40 Abs. 1 Satz 3 GG (Ausschlag der Stimme der oder des Vorsitzenden bei Stimmengleichheit) auf den Bezirksrat nicht generell ausschliesst. Denn die Frage nach dem Quorum und dem Vorgehen bei Stimmengleichheit kann sich auch beim Beizug von Ersatzmitgliedern stellen, etwa wenn mehr als zwei Mitglieder des Bezirksrats in den Ausstand treten oder an der Mitwirkung verhindert sind. Wie in derartigen Situationen zu verfahren ist, braucht hier allerdings nicht vertieft zu werden.
5.
Die Beschwerde ist aus diesen Erwägungen gutzuheissen, soweit darauf einzutreten ist. Das angefochtene Urteil ist aufzuheben, soweit das Verwaltungsgericht die Beschwerde abwies, und die Sache zur neuen Beurteilung in verfassungskonformer Besetzung an den Bezirksrat Zürich zurückzuweisen. Die Prüfung der weiteren Rügen des Beschwerdeführers erübrigt sich damit.
Im bundesgerichtlichen Verfahren gilt eine Rückweisung zu neuem Entscheid mit offenem Ausgang in der Hauptsache praxisgemäss als Obsiegen (<ref-ruling> E. 11.1 S. 312 mit Hinweis). Es sind deshalb keine Gerichtskosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Da der Beschwerdeführer nicht anwaltlich vertreten ist, hat er indessen keinen Anspruch auf eine Parteientschädigung (<ref-law> und Art. 1 des Reglements vom 31. März 2006 über die Parteientschädigung und die Entschädigung für die amtliche Vertretung im Verfahren vor Bundesgericht [SR 173.110.210.3]).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen, soweit darauf einzutreten ist. Das Urteil des Verwaltungsgerichts vom 3. Dezember 2020 wird insoweit aufgehoben, als damit die Beschwerde im vorinstanzlichen Verfahren abgewiesen wurde. Die Sache wird zur neuen Beurteilung an den Bezirksrat Zürich zurückgewiesen.
2.
Es werden keine Gerichtskosten erhoben.
3.
Es wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird dem Beschwerdeführer, der Stadt Zürich, dem Bezirksrat Zürich und dem Verwaltungsgericht des Kantons Zürich, 4. Abteilung, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 26. März 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Dold