Sachverhalt: A. A.a. Auf dem Grundstück Kat.-Nr. UN4756 in Zürich 6-Unterstrass befindet sich an der Wasserwegstrasse (bei Nrn. 87 und 89) unter der Kornhausbrücke eine Skateranlage. Diese steht auf einem asphaltierten Quartierplatz, der am 9. Mai 1995 zusammen mit zwei Beachvolleyballfeldern und einer Liegewiese baurechtlich bewilligt worden war, und wurde sukzessive ab dem Jahr 2008 erstellt. A._ ist Inhaber einer Stockwerkeigentumseinheit der Liegenschaft Kat.-Nr. WP3056 an der X._strasse xxx in Zürich, die der Empfindlichkeitsstufe II zugewiesen ist und sich etwas mehr als 100 m von der Skateranlage entfernt befindet. Am 29. Mai 2018 wies die Bausektion der Stadt Zürich ein Gesuch von A._ um ein vorsorgliches Nutzungsverbot ab. Dagegen erhobene Rechtsmittel beim Baurekursgericht und beim Verwaltungsgericht des Kantons Zürich blieben erfolglos. Das Baurekursgericht führte dabei am 16. August 2018 einen Augenschein durch. A.b. Im Jahre 2018 plante die Stadt Zürich eine neue Skateranlage als Ersatz für die bestehende. Im Rahmen des Projekts wurde ein Lärmgutachten der bakus Bauphysik & Akustik GmbH vom 4. April 2018 erstellt. Mit Beschluss vom 10. Juli 2018 erteilte die Bausektion der ersuchenden Verwaltungseinheit Grün Stadt Zürich die baurechtliche Bewilligung mit festgelegten Betriebszeiten für die neue Skateranlage. Dagegen rekurrierte A._ am 20. August 2018 beim Baurekursgericht des Kantons Zürich, das den Rekurs am 8. Februar 2019 teilweise guthiess und die Betriebszeiten der Skateranlage weiter einschränkte (insbesondere abends in den Sommermonaten bis maximal 21 Uhr, in den Wintermonaten bis maximal 20 Uhr). B. A._ erhob hiergegen Beschwerde beim Verwaltungsgericht des Kantons Zürich. Er beantragte die Aufhebung des Rekursentscheides des Baurekursgerichts, die Verweigerung der Baubewilligung für die neue Skateranlage und eventuell eine weitere Einschränkung der Betriebszeiten sowie die Anordnung von Schutz- und Durchsetzungsmassnahmen. Mit Beschluss vom 12. September 2019 verneinte das Verwaltungsgericht die Beschwerdelegitimation von A._ und trat dementsprechend auf die Beschwerde nicht ein. Zur Begründung führte es im Wesentlichen aus, die neue Skateranlage verursache keine massgeblichen wahrnehmbaren Lärmimmissionen für A._ und allfälliger Lärm werde durch den deutlich wahrnehmbaren Verkehrslärm der Kornhausbrücke überlagert. C. Mit Beschwerde an das Bundesgericht beantragt A._, den Beschluss des Verwaltungsgerichts aufzuheben und die Sache an dieses zurückzuweisen mit der Anweisung, die Beschwerde anhand zu nehmen und materiell zu prüfen. Er macht geltend, das Verwaltungsgericht habe den Sachverhalt aktenwidrig festgestellt sowie gegen Art. 9, 29 Abs. 2, Art. 29a BV sowie gegen das Raumplanungs- und Lärmschutzrecht des Bundes und das Bundesgerichtsgesetz verstossen. Das Tiefbau- und Entsorgungsdepartement der Stadt Zürich für Grün Stadt Zürich sowie die Bausektion schliessen auf Abweisung der Beschwerde. Das Bundesamt für Umwelt BAFU äussert, ohne Antrag zu stellen, gewisse Zweifel an der Beurteilung der Lärmsituation durch das Verwaltungsgericht. Dieses selbst beantragt ohne weitere Ausführungen die Abweisung der Beschwerde, soweit darauf einzutreten sei. Im zweiten Schriftenwechsel halten A._ einerseits sowie das Tiefbau- und Entsorgungsdepartement und die Bausektion andererseits im Wesentlichen an ihren Standpunkten fest.