Sachverhalt:
A.
Am 12. Mai 2018 beschwerte sich A._ beim Amt für Baubewilligungen der Stadt Zürich über den Lärm des Restaurants Ziegel oh Lac in der Roten Fabrik in Zürich-Wollishofen und verlangte, die Anzahl der Sitzplätze des Aussenrestaurants auf das bewilligte Mass zu reduzieren und die Öffnungszeiten der Aussenwirtschaft bis längstens 22.00 Uhr festzulegen. Mit Brief vom 12. Juni 2018 gab das Amt diesem Anliegen nicht statt.
Dagegen erhob A._ am 12. Juli 2018 Rekurs beim Baurekursgericht des Kantons Zürich mit den Anträgen, den baurechtlich bewilligten Zustand bei der Aussenwirtschaft der Roten Fabrik wiederherzustellen und die Betriebszeiten bis längstens 22.00 Uhr einzuschränken. Am 29. März 2019 wies das Baurekursgericht den Rekurs ab, soweit es darauf eintrat.
B.
Mit Beschluss vom 23. Oktober 2019 trat das Verwaltungsgericht des Kantons Zürich auf eine dagegen von A._ eingereichte Beschwerde nicht ein. Zur Begründung führte es im Wesentlichen aus, Streitgegenstand bilde einzig die Aussenwirtschaft des Restaurants Ziegel oh Lac. Insofern sei A._ nicht beschwerdeberechtigt. Soweit er sich auf andere Betriebe und Veranstaltungen der Roten Fabrik berufe, erweitere er in unzulässiger Weise den Streitgegenstand, weshalb er daraus auch keine Beschwerdelegitimation ableiten könne.
C.
Dagegen erhob A._ am 6. Januar 2020 beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, den Beschluss des Verwaltungsgerichts aufzuheben. Zur Begründung macht er im Wesentlichen eine Rechtsverweigerung sowie eine offensichtlich unrichtige Sachverhaltsfeststellung verbunden mit einer Gehörsverweigerung geltend.
Das Amt für Baubewilligungen schliesst auf Abweisung der Beschwerde. Das Verwaltungsgericht beantragt ohne weitere Ausführungen die Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Genossenschaft Ziegel oh Lac reichte keine Vernehmlassung ein.
A._ verzichtete darauf, sich nochmals zur Sache zu äussern.

Erwägungen:
1.
1.1. Beim angefochtenen Beschluss handelt es sich um einen kantonal letztinstanzlichen Nichteintretensentscheid in einer Streitsache des öffentlichen Rechts, gegen den die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht nach <ref-law> offensteht.
1.2. Unabhängig vom materiellen Entscheid sowie von der Legitimation in der Sache selbst kann eine Verfahrenspartei jedenfalls die Verletzung von Verfahrensrechten geltend machen, deren Missachtung eine formelle Rechtsverweigerung darstellt. Das erforderliche rechtlich geschützte Interesse ergibt sich diesfalls nicht aus einer Berechtigung in der Sache selbst, sondern aus der Berechtigung, am Verfahren teilzunehmen (<ref-ruling> E. 1.3 S. 80; <ref-ruling> E. 2 S. 308; <ref-ruling> E. 6.2 S. 198 f.; je mit Hinweisen). Der Beschwerdeführer, dem das Verwaltungsgericht die Beschwerdelegitimation im vorinstanzlichen Verfahren abgesprochen hat, ist daher in diesem Umfang zur Beschwerde berechtigt (vgl. Art. 89 Abs. 1 und Art. 94 BGG).
1.3. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann, von hier nicht interessierenden weiteren Möglichkeiten abgesehen, insbesondere die Verletzung von Bundesrecht gerügt werden (<ref-law>).
1.4. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>), prüft die bei ihm angefochtenen Entscheide aber grundsätzlich nur auf Rechtsverletzungen hin, die von den Beschwerdeführern geltend gemacht und begründet werden (vgl. <ref-law>). Erhöhte Anforderungen an die Begründung gelten, soweit die Verletzung von Grundrechten gerügt wird (<ref-law>; <ref-ruling> E. 1.4.2 S. 254 mit Hinweisen).
1.5. Das Bundesgericht legt seinem Urteil die Sachverhaltsfeststellungen der Vorinstanz zugrunde (<ref-law>), es sei denn, diese seien offensichtlich unrichtig oder beruhten auf einer Rechtsverletzung im Sinne von <ref-law> (vgl. Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG; <ref-ruling> E. 1.1 S. 155 f.; <ref-ruling> E. 2.2 S. 313; je mit Hinweis). Offensichtlich unrichtig ist die Sachverhaltsfeststellung, wenn die vorinstanzliche Beweiswürdigung schlechterdings unhaltbar ist, d.h. wenn die Behörde in ihrem Entscheid von Tatsachen ausgeht, die mit der tatsächlichen Situation in klarem Widerspruch stehen, aktenwidrig sind oder auf einem offenkundigen Fehler beruhen (<ref-ruling> E. 2.3.1 S. 244; <ref-ruling> E. 4.1.2 S. 62; je mit Hinweisen).
2.
2.1. Eine formelle Rechtsverweigerung gemäss <ref-law> liegt vor, wenn eine Behörde auf eine ihr frist- und formgerecht unterbreitete Sache nicht eintritt bzw. diese nicht behandelt, obschon sie darüber befinden müsste (<ref-ruling> E. 2.1 S. 9; <ref-ruling> E. 2.3 S. 232; vgl. auch <ref-ruling> E. 2.1 S. 181). Eine Behörde begeht ebenfalls eine formelle Rechtsverweigerung, wenn sie die ihr zustehende Kognition nicht ausschöpft oder sich mit den ihr vorgebrachten Rügen nicht auseinandersetzt, wobei sich diesfalls eine Überschneidung mit dem Anspruch auf rechtliches Gehör nach <ref-law> ergeben kann (vgl. das Urteil des Bundesgerichts 2C_608/2017 vom 24. August 2018 E. 5.2).
2.2. Das Verwaltungsgericht stellte nicht in Frage, dass es grundsätzlich zuständig war, die bei ihm erhobene Beschwerde zu behandeln. Es verneinte jedoch die Beschwerdelegitimation des Beschwerdeführers und berief sich dazu auf das kantonale Verfahrensrecht sowie die bundesgerichtliche Rechtsprechung zur Legitimation vor dem Bundesgericht. Der Beschwerdeführer rügt keine willkürliche Anwendung des kantonalen Verfahrensrechts. Er sieht die Bundesrechtswidrigkeit in einem angeblichen Widerspruch des angefochtenen Entscheids zur bundesgerichtlichen Rechtsprechung der Beschwerdelegitimation von Nachbarn gegen ein Bauvorhaben.
3.
3.1. Das Verwaltungsgericht ging davon aus, Streitgegenstand bilde nur die Lärmbelästigung durch die Sitzplätze des Aussenrestaurants der Roten Fabrik, nicht aber eine solche, die durch andere Aussenveranstaltungen in der Roten Fabrik und in deren Umfeld verursacht würden. Der Beschwerdeführer erachtet diese Einschränkung als zu eng und sieht darin die Grundlage der gerügten Rechtsverweigerung. Er habe sich nämlich schon vor der ersten Instanz auf weitere Lärmbelästigungen berufen. In diesem Zusammenhang will er auch eine Verletzung seines Anspruchs auf rechtliches Gehör nach <ref-law> sowie eine offensichtlich unrichtige Sachverhaltsfeststellung durch die Vorinstanz erkennen.
3.2. In der öffentlichen Rechtspflege kann Streitgegenstand nur sein, was bereits Gegenstand des erstinstanzlichen Verfahrens war oder allenfalls hätte sein sollen und was gemäss der Dispositionsmaxime zwischen den Parteien noch strittig ist. Dies ergibt sich wiederum aus den Parteibegehren, insbesondere den Beschwerdeanträgen. Im Laufe des Rechtsmittelverfahrens kann sich der Streitgegenstand vor einer höheren Instanz grundsätzlich nur verengen, jedoch nicht erweitern oder verändern (<ref-ruling> E. 4.2 S. 462 f., mit Hinweisen). Davon ging im vorliegenden Fall auch das Verwaltungsgericht für das vorinstanzliche Verfahren aus. Dass dies an sich Bundesrecht verletzen würde, macht der Beschwerdeführer nicht geltend.
3.3. Das Verwaltungsgericht hielt weiter fest, die Legitimation sei zwar grundsätzlich von Amtes wegen zu prüfen, dies entbinde den Rechtssuchenden aber nicht davon, die Beschwerdeberechtigung zu substanziieren. Der Beschwerdeführer rügt, die Vorinstanz habe damit gegen den Untersuchungsgrundsatz verstossen bzw. ihm die Beweisführung in unzulässiger Weise auferlegt. Insofern legt er aber nicht nachvollziehbar dar und bringt daher nicht rechtsgenüglich vor, weshalb dadurch Bundesrecht verletzt bzw. das kantonale Verfahrensrecht willkürlich angewendet worden sein sollte. Zwar beruft er sich auf die Lärmschutzverordnung des Bundes, führt aber nicht ausreichend aus, weshalb gestützt darauf die entsprechenden Erwägungen im angefochtenen Entscheid bundesrechtswidrig sein sollten. Darauf ist daher nicht weiter einzugehen (vgl. vorne E. 1.4).
3.4. Die vom Beschwerdeführer vor dem Amt für Baubewilligungen der Stadt Zürich und in der Folge vor dem Baurekursgericht gestellten Rechtsbegehren bezogen sich einzig auf die "Aussenwirtschaft der Roten Fabrik" und damit auf den Restaurationsbetrieb der Beschwerdegegnerin. Zwar nannte er in seiner Begründung nebenbei auch den von ihm so bezeichneten "Sekundärlärm" und damit sinngemäss eine von der Roten Fabrik ausgehende Gesamtlärmbelastung. Im Wesentlichen äusserte er sich aber zum vom "Gastrobetrieb" ausgehenden Lärm, was damit im Einklang steht, dass sich seine Anträge ausschliesslich gegen den Restaurationsbetrieb, dessen Sommerbuffet im Aussenbereich und den davon ausgehenden "Primärlärm" richteten. Indem das Verwaltungsgericht solches festgehalten hat, stellte es den Sachverhalt nicht offensichtlich unrichtig fest und beging keine Gehörsverweigerung. In seinen Anträgen an das Verwaltungsgericht und erst recht in seiner damaligen Beschwerdebegründung bezog sich der Beschwerdeführer, wie nunmehr auch wieder vor Bundesgericht, zusätzlich auf die Aussenräume der Roten Fabrik und die darin und im näheren Umfeld organisierten Veranstaltungen und versuchte daraus, seine Beschwerdeberechtigung abzuleiten. Das Verwaltungsgericht durfte aufgrund dieser Sachlage ohne Verletzung von Bundesrecht davon ausgehen, der Beschwerdeführer habe den Streitgegenstand vor den beiden unteren Instanzen auf den Restaurationsbetrieb der Beschwerdegegnerin beschränkt und vor dem Verwaltungsgericht in unzulässiger Weise erweitert. Die entsprechende Einschätzung durch die Vorinstanz ist daher nicht zu beanstanden.
4.
4.1. Zu prüfen bleibt mithin einzig, ob das Verwaltungsgericht insoweit gegen Bundesrecht verstiess, als es dem Beschwerdeführer die Beschwerdeberechtigung mit Blick auf den Restaurationsbetrieb der Beschwerdegegnerin absprach.
4.2. Für die Bestimmung der Beschwerdeberechtigung von Nachbarn in Baustreitigkeiten stützt sich das Bundesgericht auf Art. 33 Abs. 3 lit. a RPG, wonach die Legitimation in kantonalen Verfahren betreffend Nutzungspläne und raumplanerische Verfügungen, insbesondere Baubewilligungen, mindestens im gleichen Umfang gewährleistet ist wie für die Beschwerde in öffentlich-rechtlichen Angelegenheiten. Gleiches ergibt sich aus <ref-law> (Grundsatz der Einheit des Verfahrens; vgl. dazu <ref-ruling> E. 2.1 S. 283 f.; Urteil des Bundesgerichts 1C_547/2019 vom 16. April 2020 E. 3.1). Danach sind Nachbarn zur Beschwerdeführung gegen ein Bauvorhaben legitimiert, wenn sie mit Sicherheit oder zumindest grosser Wahrscheinlichkeit durch Immissionen wie Lärm, Staub, Erschütterungen, Licht oder andere Einwirkungen betroffen werden, die der Bau oder Betrieb der fraglichen Anlage hervorruft. Als wichtiges Kriterium zur Beurteilung der Betroffenheit dient in der Praxis die räumliche Distanz zum Bauvorhaben. Die Rechtsprechung bejaht in der Regel die Legitimation von Nachbarn, deren Liegenschaften sich in einem Umkreis von bis zu rund 100 m befinden. Bei grösseren Entfernungen muss eine Beeinträchtigung glaubhaft gemacht und gestützt auf eine Gesamtwürdigung der konkreten Verhältnisse beurteilt werden (<ref-ruling> E. 2.3 S. 220 f. mit Hinweisen). Der Beeinträchtigung muss ein gewisses Gewicht zukommen, um eine Betroffenheit zu begründen, die grösser ist als diejenige der Allgemeinheit (Urteil des Bundesgerichts 1C_547/2019 vom 16. April 2020 E. 3.2 mit Hinweisen). Diese bundesrechtliche Definition der Legitimation ist auch für das kantonale Verfahren als Mindeststandard verbindlich. Dass sich aus dem kantonalen Recht für den Beschwerdeführer eine erweiterte Beschwerdeberechtigung ergäbe, was die Vorinstanz bundesrechtswidrig missachtet hätte, macht der Beschwerdeführer nicht geltend (dazu auch vorne E. 2.2).
4.3. Das Verwaltungsgericht hielt fest, das Aussenrestaurant der Beschwerdegegnerin sei rund 230 m von der Liegenschaft des Beschwerdeführers entfernt und diese sei davon durch den östlichen Gebäudeteil der Roten Fabrik baulich abgeschirmt. Sein Grundstück sei überdies in die Gegenrichtung ausgerichtet und es bestehe von dort aus kein Sichtkontakt zum fraglichen Gastronomiebetrieb. Der Beschwerdeführer will auch hierin eine offensichtlich unrichtige Sachverhaltsfeststellung erkennen. Zur südlichen Seemauer der Roten Fabrik sowie bis zu den Sitzgelegenheiten des damit verbundenen Cassiopeiastegs betrage der Abstand lediglich zwischen 110 und 150 m. Durfte die Vorinstanz jedoch davon ausgehen, dass es einzig auf den Restaurationsbetrieb der Beschwerdegegnerin ankommt, ist die Annahme einer Distanz von 230 m nicht offensichtlich unrichtig. Abgesehen davon beträgt der Abstand auch nach der Argumentation des Beschwerdeführers mehr als 100 m, weshalb für die Annahme einer Beschwerdeberechtigung die Lärmbeeinträchtigung so oder so glaubhaft gemacht und gestützt auf eine Gesamtwürdigung der konkreten Verhältnisse beurteilt werden muss und die eventuell etwas niedrigere Distanz kaum entscheidend, sondern höchstens graduell ins Gewicht fiele. Der Beschwerdeführer vermag die Einschätzung des Verwaltungsgerichts nicht zu widerlegen, wonach die konkreten Umstände wie insbesondere die Distanz, die bauliche Abschirmung und das Fehlen eines Sichtkontakts gegen eine besondere Betroffenheit sprechen, weshalb eine massgebliche Lärmbeeinträchtigung durch den Betrieb des Aussenrestaurants nicht genügend begründet bzw. glaubhaft gemacht ist.
4.4. Indem das Verwaltungsgericht die besondere Betroffenheit und damit die Beschwerdelegitimation des Beschwerdeführers im vorinstanzlichen Verfahren verneinte, verletzte es Bundesrecht demnach nicht.
5.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Verfahrensausgang wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG). Da sich die Beschwerdegegnerin nicht am bundesgerichtlichen Verfahren beteiligt hat und der Stadt Zürich als obsiegende Gemeinde praxisgemäss kein Anspruch auf Parteientschädigung zusteht, ist eine solche nicht zuzusprechen (vgl. <ref-law> sowie <ref-ruling> E. 7 S. 118 f.).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Amt für Baubewilligungen der Stadt Zürich, der Genossenschaft Ziegel Oh Lac und dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 7. September 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Uebersax