Sachverhalt:
A.
A.a. Auf dem Grundstück Kat.-Nr. UN4756 in Zürich 6-Unterstrass befindet sich an der Wasserwegstrasse (bei Nrn. 87 und 89) unter der Kornhausbrücke eine Skateranlage. Diese steht auf einem asphaltierten Quartierplatz, der am 9. Mai 1995 zusammen mit zwei Beachvolleyballfeldern und einer Liegewiese baurechtlich bewilligt worden war, und wurde sukzessive ab dem Jahr 2008 erstellt. A._ ist Inhaber einer Stockwerkeigentumseinheit der Liegenschaft Kat.-Nr. WP3056 an der X._strasse xxx in Zürich, die der Empfindlichkeitsstufe II zugewiesen ist und sich etwas mehr als 100 m von der Skateranlage entfernt befindet. Am 29. Mai 2018 wies die Bausektion der Stadt Zürich ein Gesuch von A._ um ein vorsorgliches Nutzungsverbot ab. Dagegen erhobene Rechtsmittel beim Baurekursgericht und beim Verwaltungsgericht des Kantons Zürich blieben erfolglos. Das Baurekursgericht führte dabei am 16. August 2018 einen Augenschein durch.
A.b. Im Jahre 2018 plante die Stadt Zürich eine neue Skateranlage als Ersatz für die bestehende. Im Rahmen des Projekts wurde ein Lärmgutachten der bakus Bauphysik & Akustik GmbH vom 4. April 2018 erstellt. Mit Beschluss vom 10. Juli 2018 erteilte die Bausektion der ersuchenden Verwaltungseinheit Grün Stadt Zürich die baurechtliche Bewilligung mit festgelegten Betriebszeiten für die neue Skateranlage. Dagegen rekurrierte A._ am 20. August 2018 beim Baurekursgericht des Kantons Zürich, das den Rekurs am 8. Februar 2019 teilweise guthiess und die Betriebszeiten der Skateranlage weiter einschränkte (insbesondere abends in den Sommermonaten bis maximal 21 Uhr, in den Wintermonaten bis maximal 20 Uhr).
B.
A._ erhob hiergegen Beschwerde beim Verwaltungsgericht des Kantons Zürich. Er beantragte die Aufhebung des Rekursentscheides des Baurekursgerichts, die Verweigerung der Baubewilligung für die neue Skateranlage und eventuell eine weitere Einschränkung der Betriebszeiten sowie die Anordnung von Schutz- und Durchsetzungsmassnahmen. Mit Beschluss vom 12. September 2019 verneinte das Verwaltungsgericht die Beschwerdelegitimation von A._ und trat dementsprechend auf die Beschwerde nicht ein. Zur Begründung führte es im Wesentlichen aus, die neue Skateranlage verursache keine massgeblichen wahrnehmbaren Lärmimmissionen für A._ und allfälliger Lärm werde durch den deutlich wahrnehmbaren Verkehrslärm der Kornhausbrücke überlagert.
C.
Mit Beschwerde an das Bundesgericht beantragt A._, den Beschluss des Verwaltungsgerichts aufzuheben und die Sache an dieses zurückzuweisen mit der Anweisung, die Beschwerde anhand zu nehmen und materiell zu prüfen. Er macht geltend, das Verwaltungsgericht habe den Sachverhalt aktenwidrig festgestellt sowie gegen Art. 9, 29 Abs. 2, <ref-law> sowie gegen das Raumplanungs- und Lärmschutzrecht des Bundes und das Bundesgerichtsgesetz verstossen.
Das Tiefbau- und Entsorgungsdepartement der Stadt Zürich für Grün Stadt Zürich sowie die Bausektion schliessen auf Abweisung der Beschwerde. Das Bundesamt für Umwelt BAFU äussert, ohne Antrag zu stellen, gewisse Zweifel an der Beurteilung der Lärmsituation durch das Verwaltungsgericht. Dieses selbst beantragt ohne weitere Ausführungen die Abweisung der Beschwerde, soweit darauf einzutreten sei.
Im zweiten Schriftenwechsel halten A._ einerseits sowie das Tiefbau- und Entsorgungsdepartement und die Bausektion andererseits im Wesentlichen an ihren Standpunkten fest.

Erwägungen:
1.
1.1. Beim angefochtenen Beschluss handelt es sich um einen kantonal letztinstanzlichen Nichteintretensentscheid in einer Streitsache des öffentlichen Rechts, gegen den die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht nach <ref-law> offensteht.
1.2. Streitgegenstand ist einzig, ob das Verwaltungsgericht dem Beschwerdeführer im vorinstanzlichen Verfahren zu Recht die Beschwerdeberechtigung abgesprochen hat. Unabhängig vom materiellen Entscheid sowie von der Legitimation in der Sache selbst kann eine Verfahrenspartei jedenfalls die Verletzung von Verfahrensrechten geltend machen, deren Missachtung eine formelle Rechtsverweigerung darstellt. Das erforderliche rechtlich geschützte Interesse ergibt sich diesfalls nicht aus einer Berechtigung in der Sache selbst, sondern aus der Berechtigung, am Verfahren teilzunehmen (<ref-ruling> E. 1.3 S. 80; <ref-ruling> E. 2 S. 308; <ref-ruling> E. 6.2 S. 198 f.; je mit Hinweisen). Der Beschwerdeführer ist daher in diesem Umfang zur Beschwerde berechtigt (vgl. Art. 89 Abs. 1 und Art. 94 BGG).
1.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann, von hier nicht interessierenden weiteren Möglichkeiten abgesehen, insbesondere die Verletzung von Bundesrecht sowie die offensichtlich unrichtige Feststellung des Sachverhalts gerügt werden (Art. 95 lit. a und Art. 97 Abs. 1 BGG).
2.
2.1. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), prüft die bei ihm angefochtenen Entscheide aber grundsätzlich nur auf Rechtsverletzungen hin, die von den Beschwerdeführern geltend gemacht und begründet werden (vgl. <ref-law>). Erhöhte Anforderungen an die Begründung gelten, soweit die Verletzung von Grundrechten unter Einschluss des Willkürverbots sowie die offensichtlich unrichtige Feststellung des Sachverhalts gerügt wird (<ref-law>; <ref-ruling> E. 1.4.2 S. 254 mit Hinweisen).
2.2. Der Beschwerdeführer rügt zureichend die Verletzung verschiedener Bestimmungen der Bundesverfassung, namentlich von <ref-law> (Anspruch auf rechtliches Gehör) und <ref-law> (Justizgewährleistungsgarantie) sowie von Art. 33 RPG und <ref-law>. Darauf ist einzutreten. Der Beschwerdeführer macht weiter geltend, der angefochtene Entscheid verstosse gegen Art. 11 und 15 USG sowie Art. 7 und 36 LSV und sei willkürlich im Sinne von <ref-law>. Er legt aber nicht ausreichend dar, inwiefern ihn diese Bestimmungen im Hinblick auf die Beschwerdelegitimation schützen bzw. insoweit einen weitergehenden Schutz böten als die geltend gemachten Verfahrensnormen. Das gilt auch für die angeblich willkürliche Handhabung von § 338a des Planungs- und Baugesetzes des Kantons Zürich vom 7. September 1975 (PBG; LS 700.1; dazu auch hinten E. 4.1).
3.
3.1. Der Beschwerdeführer rügt verschiedentlich eine offensichtlich unrichtige Tatsachenfeststellung. Insbesondere macht er eine solche sowie einen Verstoss gegen seinen Anspruch auf rechtliches Gehör nach <ref-law> geltend, weil das Verwaltungsgericht seinen Entscheid einzig auf das Augenscheinprotokoll des Baurekursgerichts und nicht auch auf das eingeholte Lärmgutachten abgestellt habe bzw. dieses mit keinem Wort erwähne.
3.2. Das Bundesgericht legt seinem Urteil die Sachverhaltsfeststellungen der Vorinstanz zugrunde (<ref-law>), es sei denn, diese seien offensichtlich unrichtig oder beruhten auf einer Rechtsverletzung im Sinne von <ref-law> (vgl. Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG; <ref-ruling> E. 1.1 S. 155 f.; <ref-ruling> E. 2.2 S. 313; je mit Hinweis). Offensichtlich unrichtig ist die Sachverhaltsfeststellung, wenn die Behörde in ihrem Entscheid von Tatsachen ausgeht, die mit der tatsächlichen Situation in klarem Widerspruch stehen, aktenwidrig sind oder auf einem offenkundigen Fehler beruhen (<ref-ruling> E. 2.3.1 S. 244; <ref-ruling> E. 4.1.2 S. 62; je mit Hinweisen).
3.3. Das rechtliche Gehör dient einerseits der Klärung des Sachverhaltes und stellt anderseits ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheides dar, welcher in die Rechtsstellung des Einzelnen eingreift. Dazu gehört insbesondere das Recht der Betroffenen, sich vor Erlass eines solchen Entscheides zur Sache zu äussern und an der Erhebung wesentlicher Beweise mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Ausgang des Verfahrens zu beeinflussen (<ref-ruling> E. 3.4 S. 102; <ref-ruling> E. 5.1 S. 293; je mit Hinweisen). Dem Gehörsanspruch entspricht die Pflicht der Behörden, die Vorbringen tatsächlich zu hören, ernsthaft zu prüfen und in ihrer Entscheidfindung angemessen zu berücksichtigen. Die Begründung muss so abgefasst sein, dass die betroffene Person den Entscheid sachgerecht anfechten kann. Sie muss die wesentlichen Überlegungen enthalten, von denen sich die Behörde hat leiten lassen und auf die sie ihren Entscheid stützt. Nicht erforderlich ist, dass sich die Vorinstanz in ihrer Begründung mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt (<ref-ruling> E. 9.2 S. 65; <ref-ruling> E. 3.2 S. 270 mit Hinweisen).
3.4. Im vorliegenden Zusammenhang fallen die Rügen der ungenügenden Sachverhaltsabklärung und der Gehörsverweigerung zusammen. Beides soll nach Auffassung des Beschwerdeführers darin begründet sein, dass das Verwaltungsgericht das fragliche Lärmgutachten nicht berücksichtigt bzw. sich nicht dazu geäussert habe. Zwar trifft es zu, dass das Verwaltungsgericht dieses nicht ausdrücklich nennt. Es verweist aber in E. 3.2 seiner Begründung explizit auf "act. 7/12.6..." und damit auf das Gutachten. Das belegt nicht nur, dass es dieses bei seinem Entscheid beachtet, sondern auch, dass die Expertise in die Entscheidbegründung Eingang gefunden hat, was für den Beschwerdeführer erkennbar war. Überdies war das Gutachten bereits im Urteil des Verwaltungsgerichts vom 7. Februar 2019 zu dem vom Beschwerdeführer damals angestrebten vorsorglichen Nutzungsverbot thematisiert worden; insbesondere in E. 4.3 des damaligen Entscheids wurde es ausdrücklich genannt. Da die Parteien des damaligen Verfahrens die gleichen waren wie im vorliegenden Zusammenhang und aufgrund des engen inhaltlichen Konnexes der beiden Verfahren durfte es das Verwaltungsgericht nunmehr bei einem kurzen Verweis bewenden lassen. Der Beschwerdeführer vermochte denn auch den vorinstanzlichen Entscheid durchaus sachgerecht anzufechten. Damit verstösst der angefochtene Beschluss insofern weder gegen den Anspruch auf rechtliches Gehör noch stellte das Verwaltungsgericht den massgeblichen Sachverhalt offensichtlich unrichtig fest.
3.5. Auch soweit der Beschwerdeführer die tatsächlichen Feststellungen des Verwaltungsgerichts sonst noch in Frage stellt, vermag er nicht darzutun, dass diese an einem massgeblichen Mangel litten bzw. insbesondere offensichtlich unrichtig wären. Es ist daher auf die vorinstanzlichen Sachverhaltsfeststellungen abzustellen.
4.
4.1. Für die Bestimmung der Beschwerdeberechtigung von Nachbarn in Baustreitigkeiten stützt sich das Bundesgericht auf Art. 33 Abs. 3 lit. a RPG, wonach die Legitimation in kantonalen Verfahren betreffend Nutzungspläne und raumplanerische Verfügungen, insbesondere Baubewilligungen, mindestens im gleichen Umfang gewährleistet ist wie für die Beschwerde in öffentlich-rechtlichen Angelegenheiten. Gleiches ergibt sich aus Art. 89 Abs. 1 in Verbindung mit <ref-law> (Grundsatz der Einheit des Verfahrens; vgl. dazu <ref-ruling> E. 2.1 S. 283 f.; Urteil des Bundesgerichts 1C_547/2019 vom 16. April 2020 E. 3.1). Danach sind Nachbarn zur Beschwerdeführung gegen ein Bauvorhaben legitimiert, wenn sie mit Sicherheit oder zumindest grosser Wahrscheinlichkeit durch Immissionen wie Lärm, Staub, Erschütterungen, Licht oder andere Einwirkungen betroffen werden, die der Bau oder Betrieb der fraglichen Anlage hervorruft. Als wichtiges Kriterium zur Beurteilung der Betroffenheit dient in der Praxis die räumliche Distanz zum Bauvorhaben. Die Rechtsprechung bejaht in der Regel die Legitimation von Nachbarn, deren Liegenschaften sich in einem Umkreis von bis zu rund 100 m befinden. Bei grösseren Entfernungen muss eine Beeinträchtigung glaubhaft gemacht und gestützt auf eine Gesamtwürdigung der konkreten Verhältnisse beurteilt werden (<ref-ruling> E. 2.3 S. 219 f. mit Hinweisen). Der Beeinträchtigung muss ein gewisses Gewicht zukommen, um eine Betroffenheit zu begründen, die grösser ist als diejenige der Allgemeinheit (Urteil des Bundesgerichts 1C_547/2019 vom 16. April 2020 E. 3.2 mit Hinweisen). Bei Lärm, der durch eine Anlage oder deren Zubringerverkehr verursacht wird, ist die Legitimation zu bejahen, wenn die Zunahme deutlich wahrnehmbar ist, was anhand von qualitativen Kriterien wie namentlich die Art des Geräuschs und quantitativen Anhaltspunkten wie die Erhöhung des vorbestandenen Lärmpegels beurteilt wird (vgl. <ref-ruling> E. 2.3 S. 220; <ref-ruling> E. 2.3.2 S. 285 f.; je mit weiteren Hinweisen). Diese bundesrechtliche Definition der Legitimation ist auch für das kantonale Verfahren als Mindeststandard verbindlich. Dass sich aus dem kantonalen Recht für den Beschwerdeführer eine erweiterte Beschwerdeberechtigung beim Verwaltungsgericht ergäbe, welche die Vorinstanz bundesrechtswidrig missachtet hätte, macht der Beschwerdeführer wie bereits erwähnt nicht ausreichend geltend (vgl. vorne E. 2.2).
4.2. Nach den verbindlichen Feststellungen des Verwaltungsgerichts (vgl. vorne E. 3.5) befindet sich die beschwerdeführerische Liegenschaft rund 106 m von der Mitte der Kornhausbrücke entfernt. In ungefähr gleicher Distanz ist das nächstgelegene neue Skate-Element, die sog. Pyramide, geplant. Die Miniramp Basic als lärmträchtigstes Element liegt bereits rund 125 m vom Grundstück des Beschwerdeführers entfernt. Es ist damit nicht zu beanstanden, dass die Vorinstanz davon ausging, es bedürfe aufgrund der Entfernung von mehr als 100 m einer näheren Begründung des Nachweises der Betroffenheit des Beschwerdeführers, die seine Beeinträchtigung wegen der konkreten Umstände glaubhaft erscheinen lasse.
4.3. Das Verwaltungsgericht stellte bei seiner Beurteilung unter anderem auf den vom Baurekursgericht durchgeführten Augenschein ab. Dieser fand tagsüber im Sommer bei offenbar gutem Wetter und hoher Auslastung der Skateranlage statt. Wenn der Beschwerdeführer dagegen einwendet, die Lärmbelastung sei an jenem Tag gering und nicht repräsentativ gewesen, handelt es sich um eine unsubstanziierte Behauptung, die nicht geeignet ist, die offensichtliche Unrichtigkeit der daraus abgeleiteten Tatsachenfeststellungen zu belegen. Die Ortsschau ergab, dass die Geräusche der bestehenden Anlage auf dem Balkon des Beschwerdeführers nur niederschwellig und im Inneren der Wohnung überhaupt nicht wahrnehmbar waren. Gestützt darauf wurde die Beschwerdelegitimation immerhin im früheren Verfahren um ein vorsorgliches Nutzungsverbot bejaht. Das Baurekursgericht trat ebenfalls auf den Rekurs gegen das hier strittige Projekt ein und hiess diesen denn auch teilweise in der Sache gut. Das bindet das Verwaltungsgericht für die Beurteilung der Beschwerdelegitimation in dessen Verfahren freilich nicht, und der Beschwerdeführer legt auch nicht zureichend dar, dass die Verengung der Legitimation von der unteren zur oberen Instanz bundesrechtswidrig wäre.
4.4. Gemäss dem Verwaltungsgericht unterscheidet sich die Ausgangslage für das neue Projekt im Vergleich zur bestehenden alten Anlage in massgeblicher Weise. Die neuen Elemente, insbesondere die lärmintensive Miniramp, wurden weiter von der beschwerdeführerischen Liegenschaft entfernt versetzt. Zusätzlich soll die Platzierung schalltechnisch optimiert werden. Zwar ist umstritten und wird auch vom Bundesamt für Umwelt in Frage gestellt, wieweit die Verwendung von Beton statt Holz für die neuen Elemente tatsächlich zu einer Lärmminderung führt, wie das Verwaltungsgericht angenommen hat. Das kann aber offenbleiben, da deswegen jedenfalls nicht eine Erhöhung des Lärmpegels zu erwarten ist. Insgesamt ist es daher nicht zu beanstanden, wenn das Verwaltungsgericht davon ausging, dass mit der neuen Anlage insgesamt mit einer Verringerung der Lärmbeeinträchtigung für den Beschwerdeführer zu rechnen ist.
4.5. Wie bereits erwähnt (vgl. vorne E. 3.4), verwies das Verwaltungsgericht auch auf das Lärmgutachten. Dieses weist am Wohnort des Beschwerdeführers eine durch die geplante Anlage verursachte Lärmbelastung von 51,6 dB (A) am Tag und von 49,5 dB (A) am Abend aus. Für die Wohnung des Beschwerdeführers im 2. Obergeschoss verringert sich die Lärmbelastung auf 49,3 dB (A) am Tag und auf 47,3 dB (A) am Abend. In den Nachtstunden ist aufgrund der eingeschränkten Betriebszeiten kein Lärm zu erwarten. Wenn der Beschwerdeführer solchen wegen unerlaubter Aktivitäten erwartet, ist er auf die entsprechenden Rechtsvorkehren zu verweisen und kann daraus im vorliegenden Verfahren nichts zu seinen Gunsten ableiten. Das Bundesamt für Umwelt erachtet das Lärmgutachten grundsätzlich als plausibel und die Berechnungen als nachvollziehbar. Nach seiner Einschätzung überschätzt die Prognose sogar die Lärmbelastung aufgrund der verwendeten Berechnungsmethode, die von derjenigen des Bundes abweicht, um 3-5 dB (A), und wäre damit um mindestens 3 dB (A) tiefer anzusetzen. Wie es sich damit verhält, kann offenbleiben. Eine inhaltliche Prüfung der Rechtslage ist im vorliegenden Verfahren nicht vorzunehmen, sondern es ist nur zu prüfen, ob eine massgebliche Beeinträchtigung mit Blick auf die Frage der Beschwerdelegitimation glaubhaft ist. Insofern erscheint von Belang, dass selbst gemäss den Berechnungen der Expertise bei der Wohnung des Beschwerdeführers die massgebenden Planungsrichtwerte von 55 dB (A) am Tag um mehr als 5 dB (A) und am Abend von 50 dB (A) um mehr als 2 dB (A) unterschritten werden.
4.6. Wenn das Bundesamt die Frage aufwirft, ob nicht dennoch gewisse Lärmimmissionen wahrnehmbar sein könnten, geht es dabei davon aus, dass die konkrete Belastung durch die neue Anlage noch nicht feststehe und das geplante Vorhaben gegenüber der Nutzung des Platzes ohne Skateranlage zu einer Lärmzunahme führe. Das erste Argument trifft bei prognostischen Gutachten jedoch immer zu und würde solchen jeglichen Sinn nehmen. Das zweite Argument stützt sich darauf, dass die bestehende Skateranlage möglicherweise nie korrekt bewilligt wurde, was aus den vorliegenden Akten aber nicht klar hervorgeht und worauf sich im Übrigen auch der Beschwerdeführer nicht ausreichend beruft. Auf die Rechtmässigkeit der bestehenden Anlage kommt es überdies nur bedingt an, und das vom Beschwerdeführer angestrebte Nutzungsverbot ist gescheitert. Die zu entscheidende Frage ist einzig, ob der Beschwerdeführer durch das neue Projekt massgeblich betroffen ist. Eine Lärmzunahme kann insofern zwar an sich massgeblich sein. Von einer solchen kann hier jedoch gerade nicht ausgegangen werden. Soweit im vorliegenden Verfahren ein Vergleich mit der alten Anlage stattgefunden hat, beruht dies darauf, dass am vom Baurekursgericht durchgeführten Augenschein zwangsläufig die von der bestehenden Einrichtung ausgehende Lärmsituation geprüft und in der Folge gestützt darauf erwogen wurde, wie sie sich bei der neuen Anlage darstellen dürfte. Dieses Vorgehen ist nicht zu beanstanden, da die Lärmbelastung durch die vorgesehene und noch nicht erstellte Einrichtung bei einem Augenschein ja nicht tatsächlich wahrgenommen, sondern nur prospektiv auf der Grundlage der bestehenden Anlage und der Planung für das neue Projekt eingeschätzt werden kann.
4.7. Schliesslich erscheint die Annahme des Verwaltungsgerichts, die von der Skateranlage ausgehenden Geräusche würden vom Verkehrslärm der Kornhausbrücke überlagert, grundsätzlich nachvollziehbar. Allerdings kann nicht ganz ausgeschlossen werden, dass vereinzelt Skatinggeräusche trotzdem durchdringen. Darauf kommt es aber nicht mehr an, da diese ohnehin nicht für eine massgebliche Lärmbelastung des Beschwerdeführers ausreichen.
4.8. Insgesamt ergibt sich aufgrund der einschlägigen Verhältnisse, dass der mit der geplanten Skateranlage verbundene Lärm für den Beschwerdeführer nicht deutlich wahrnehmbar sein wird, wie das die Bejahung seiner Beschwerdelegitimation voraussetzen würde. Es ist mit Bundesrecht vereinbar, dass das Verwaltungsgericht dem Beschwerdeführer die Beschwerdeberechtigung abgesprochen hat. Der angefochtene Entscheid verstösst demnach nicht gegen die gerügten Verfassungs- und Gesetzesbestimmungen.
5.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Verfahrensausgang wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, Grün Stadt Zürich, der Bausektion der Stadt Zürich, dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, und dem Bundesamt für Umwelt BAFU schriftlich mitgeteilt.
Lausanne, 7. Dezember 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Uebersax