Sachverhalt:
A.
A.a. Bei der sog. Roten Fabrik handelt es sich um ein Fabrikareal, das in Zürich-Wollishofen am Zürichsee liegt. Es gehört der Stadt Zürich. Darauf befindet sich ein aus den 1890er-Jahren stammendes denkmalgeschütztes Gebäudeensemble. Der ehemalige Fabrikationsteil (Trakt B) liegt auf dem Grundstück Kat.-Nr. W04772 und besteht aus zwei zusammengebauten Gebäuden an der Seestrasse 407 und 409.
Das ursprünglich zweigeschossige Gebäude an der Seestrasse 407 ist 57 m lang und 21 m breit, wobei die längere Westseite parallel zur Seestrasse verläuft. Im Gebäude sind Künstlerateliers und die sog. Aktionshalle für Konzerte untergebracht. Darin werden durch verschiedene Interessengemeinschaften rund 300 Veranstaltungen pro Jahr durchgeführt. Feuerpolizeilich wurde im Jahre 1986 eine zulässige Belegung der Aktionshalle mit 850 und im Jahre 1995 auf neuer rechtlicher Grundlage mit 1'300 Personen festgelegt. Das Gebäude enthält auch einen Gastronomiebetrieb (Ziegel oh Lac). Die Westfassade erfuhr in der ersten Hälfte des 20. Jahrhunderts eine bauliche Umgestaltung. Im März 2012 wurde ein in den 1950er-Jahren angebrachter Dachaufbau bei einem Brand teilweise zerstört. In der Folge wurde die maximale Belegung feuerpolizeilich auf 800 Personen, mit zusätzlichem Notausgang auf 900 Personen, reduziert. Mit einem neuen Bauprojekt soll im Wesentlichen der Dachaufbau in abgeänderter Form schmäler, d.h. mit einer Breite von nur noch 10 m, statt 16 m, ausfallen, im Gegenzug dazu jedoch um ein Geschoss aufgestockt werden. Gleichzeitig sollen die in den ursprünglichen Blendfenstern des ersten Obergeschosses der Westfassade nachträglich eingebauten Fensteröffnungen wieder verschlossen und die Fassade mit einem Lochmuster aus nicht risalierten Backsteinen versehen werden. In der Aktionshalle im Erdgeschoss sollen nach dem Umbau, abgesehen von kleineren Veranstaltungen, 24 Konzerte pro Jahr stattfinden und maximal 1'320 Personen Einlass finden.
A.b. Am 6. Januar 2015 erteilte die Bausektion der Stadt Zürich dem Hochbaudepartement (Immobilien-Bewirtschaftung) der Stadt Zürich die entsprechende baurechtliche Bewilligung unter gleichzeitiger Eröffnung der koordinierten weiteren (heimatschutz-, konzessions- und umweltschutzrechtlichen) Bewilligungen vom 8. Oktober 2014. Ein Rekurs vor dem Baurekursgericht des Kantons Zürich führte zu einer teilweisen Anpassung des Projekts, wurde im Übrigen aber abgewiesen. Mit Urteil VB.2015.00557 vom 17. Dezember 2015 hiess das Verwaltungsgericht des Kantons Zürich eine Beschwerde von A._, B.B._ und A.B._ Brönner sowie C._ teilweise gut, hob den Baurekursentscheid vom 10. Juli 2015 auf und wies die Sache im Sinne der Erwägungen insbesondere zwecks Einholung eines Gutachtens an das Baurekursgericht zurück. Dieses hiess am 16. Dezember 2016 den Rekurs teilweise gut, ergänzte den Bausektionsbeschluss vom 6. Januar 2015 in verschiedenen Punkten und wies ihn im Übrigen ab, soweit es darauf eintrat. Dagegen erhoben die gleichen vier Personen am 1. Februar 2017 erneut Beschwerde beim Verwaltungsgericht. Dessen Verfahren VB.2017.00074 wurde in der Folge sistiert und am 12. November 2018 wieder aufgenommen.
A.c. Am 1. November 2017 bewilligte die Bausektion unter koordinierter Eröffnung der Gesamtverfügung der Baudirektion vom 2. Oktober 2017 das angepasste Bauvorhaben (Projektänderung). Am 13. Juli 2018 wies das Baurekursgericht einen dagegen erhobenen Rekurs ab, soweit es darauf eintrat. Auch dagegen reichten A._, B.B._ und A.B._ Brönner sowie C._ Beschwerde beim Verwaltungsgericht ein. Dieses eröffnete dazu das Verfahren VB 2018.00583.
B.
Mit Urteil vom 18. Dezember 2019 vereinigte das Verwaltungsgericht die beiden Verfahren VB.2017.00074 und VB 2018.00583. Es hiess diese in dem Sinne gut, dass die Gutachterkosten nicht den privaten Beschwerdeführenden, sondern der Stadt Zürich und der Baudirektion des Kantons Zürich je zur Hälfte auferlegt wurden. Im Übrigen wies es die Beschwerden ab, soweit darauf einzutreten war.
Zur Begründung führte das Verwaltungsgericht im Wesentlichen aus, es habe sich bereits in seinem Urteil VB.2015.00557 vom 17. Dezember 2015 ausreichend dazu geäussert, weshalb kein Mitglied der Bausektion beim Bewilligungsentscheid in den Ausstand habe treten müssen. Im Übrigen erweise sich das Bauvorhaben denkmalschutz- und umweltschutzrechtlich als rechtmässig.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 10. Februar 2020 an das Bundesgericht beantragen A._, B.B._ und A.B._ Brönner sowie C._, das Urteil des Verwaltungsgerichts aufzuheben. Im Wesentlichen machen sie geltend, das Stadtratsmitglied, das dem kommunalen Hochbaudepartement vorstehe, dürfe nicht als Mitglied der Bausektion über kommunale Bauprojekte mitentscheiden und hätte in den Ausstand treten müssen. Überdies verstosse das Bauprojekt gegen die Lärmschutzvorschriften; das Verwaltungsgericht habe insbesondere nicht die für die wesentliche Änderung einer Baute geltenden strengeren Voraussetzungen angewendet und die Sekundärimmissionen zu Unrecht nicht berücksichtigt. Das Bauvorhaben verletze ferner auch die Bestimmungen über den Denkmalschutz.
Die Bausektion sowie das Hochbaudepartement (Immobilien-Bewirtschaftung) der Stadt Zürich schliessen übereinstimmend auf Abweisung der Beschwerde. Das Verwaltungsgericht stellt Antrag auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Baudirektion des Kantons Zürich verzichtete auf eine Stellungnahme. Das Bundesamt für Umwelt BAFU geht, ohne förmliches Rechtsbegehren, von einer umweltschutzrechtlich massgeblichen wesentlichen Änderung der betroffenen Baute aus, beurteilt die entsprechenden Voraussetzungen jedoch sinngemäss als erfüllt.
A._, B.B._ und A.B._ Brönner sowie C._ äusserten sich mit Eingabe vom 31. August 2020 nochmals zur Sache.

Erwägungen:
1.
1.1. Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Endentscheid in einer Streitsache des öffentlichen Rechts, gegen den grundsätzlich die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht nach <ref-law> offensteht.
1.2. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann insbesondere die Verletzung von Bundesrecht unter Einschluss des Bundesverfassungsrechts, von Völkerrecht und von kantonalen verfassungsmässigen Rechten sowie die offensichtlich unrichtige Feststellung des Sachverhalts gerügt werden (Art. 95 lit. a-c und <ref-law>).
1.3. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es prüft grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-law>; <ref-ruling> E. 2; <ref-ruling> E. 1.4.1). Dabei ist es weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 3). Die Beschwerdeschrift muss sich wenigstens kurz mit den Erwägungen des angefochtenen Entscheids auseinandersetzen und darlegen, welche massgeblichen Rechtsnormen oder -grundsätze verletzt worden sein sollen. Erhöhte Anforderungen an die Begründung gelten, soweit die Verletzung von Grundrechten gerügt wird (<ref-law>; BGE <ref-ruling> E. 1.4.2, mit Hinweisen). Das Bundesgericht prüft solche Rügen nur soweit, als sie in der Beschwerde vorgebracht und begründet worden sind (<ref-ruling> E. 2.5).
1.4. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 i.V.m. Art. 105 Abs. 1 und 2 BGG). Offensichtlich unrichtig ist die Sachverhaltsfeststellung, wenn die vorinstanzliche Beweiswürdigung schlechterdings unhaltbar ist, d.h. wenn die Behörde in ihrem Entscheid von Tatsachen ausgeht, die mit der tatsächlichen Situation in klarem Widerspruch stehen, aktenwidrig sind oder auf einem offenkundigen Fehler beruhen. Dass eine andere Lösung ebenfalls möglich erscheint, genügt nicht (<ref-ruling> E. 2.3.1; <ref-ruling> E. 4.1.2; je mit Hinweisen). Auch die unvollständige Feststellung des massgeblichen Sachverhalts ist offensichtlich unrichtig (vgl. <ref-ruling> E. 3.1; <ref-ruling> E. 3.4.2).
2.
2.1. Gemäss <ref-law> ist zur Beschwerde legitimiert, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit dazu erhalten hat (lit. a), durch den angefochtenen Entscheid besonders berührt ist (lit. b) und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung hat (lit. c).
2.2. Nach der bundesgerichtlichen Rechtsprechung sind Nachbarn zur Beschwerdeführung gegen ein Bauvorhaben legitimiert, wenn sie mit Sicherheit oder zumindest grosser Wahrscheinlichkeit durch Immissionen wie Lärm, Staub, Erschütterungen, Licht oder andere Einwirkungen betroffen werden, die der Bau oder Betrieb der fraglichen Anlage hervorruft. Als wichtiges Kriterium zur Beurteilung der Betroffenheit dient in der Praxis die räumliche Distanz zum Bauvorhaben. Die Rechtsprechung bejaht in der Regel die Legitimation von Nachbarn, deren Liegenschaften sich in einem Umkreis von bis zu rund 100 m befinden. Bei grösseren Entfernungen muss eine Beeinträchtigung glaubhaft gemacht und gestützt auf eine Gesamtwürdigung der konkreten Verhältnisse beurteilt werden (<ref-ruling> E. 2.3 S. 220 f. mit Hinweisen). Der Beeinträchtigung muss ein gewisses Gewicht zukommen, um eine Betroffenheit zu begründen, die grösser ist als diejenige der Allgemeinheit (Urteil des Bundesgerichts 1C_3/2020 vom 7. September 2020 E. 4.2 mit Hinweisen).
2.3. Das Grundstück der Beschwerdeführerin 1 befindet sich in einem Abstand von 35 m zum Streitobjekt auf der gegenüberliegenden Strassenseite. Die Beschwerdeführenden 2 haben ein dauerndes und selbstständiges Recht an einer Liegenschaft am See in einer südlichen Distanz von 77 m zum Streitobjekt mit Sichtkontakt vom dazu gehörigen Badehaus zumindest in den Wintermonaten. Diese drei Beschwerdeführenden sind zur Beschwerde ans Bundesgericht berechtigt. Fraglich erscheint dies jedoch für den Beschwerdeführer 3. Sein Grundstück befindet sich 170 m vom Streitobjekt entfernt. Zwar besteht auch von seinem Badehaus aus Sichtkontakt. Allein deswegen ist er aber durch das strittige Bauprojekt noch nicht stärker betroffen als die Allgemeinheit. Die Vorinstanz bejahte allerdings seine Legitimation im vorliegenden Fall. Im Unterschied dazu verneinte dasselbe Verwaltungsgericht die Beschwerdeberechtigung des gleichen Beschwerdeführers im Zusammenhang mit den vom Gastronomiebetrieb in der Roten Fabrik ausgehenden Immissionen (Urteil VB.2019.00310 vom 23. Oktober 2019), was das Bundesgericht mit Entscheid 1C_3/2020 vom 7. September 2020 schützte. Ob es sich im Vergleich dazu hier anders verhält, kann jedoch offenbleiben, da die Beschwerde bereits wegen der Legitimation der übrigen Beschwerdeführenden zulässig ist.
3.
3.1. Die Beschwerdeführenden rügen, der dem kommunalen Hochbaudepartement vorstehende Stadtrat hätte nicht als Mitglied der Bausektion über das Baubewilligungsgesuch seines eigenen Departements mitentscheiden dürfen, sondern hätte in den Ausstand treten müssen. Sie berufen sich dazu im Wesentlichen auf Art. 29 Abs. 1 und <ref-law> sowie auf Art. 6 EMRK.
3.2. <ref-law> und Art. 6 EMRK gelten nur für gerichtliche und nicht für administrative Verfahren. Immerhin leitet das Bundesgericht aus <ref-law> ähnliche, wenn auch weniger weit gehende Ausstandsregeln für Verwaltungsbehörden ab (vgl. etwa <ref-ruling> E. 5.2; <ref-ruling> E. 4.2; <ref-ruling> E. 2b). Das gilt insbesondere für den Gesichtspunkt der Vorbefassung, wie er hier von den Beschwerdeführenden angerufen wird.
3.3. In E. 6 des angefochtenen Entscheids verweist die Vorinstanz zur Ausstandsrüge vollumfänglich auf ihre Begründung im Urteil VB.2015.00557 vom 17. Dezember 2015 in gleicher Sache. Darin hatte das Verwaltungsgericht insbesondere (in E. 3 des damaligen Urteils) ausgeführt, dass nach seiner ständigen Rechtsprechung die kommunale Baubewilligungsbehörde nicht nur berechtigt, sondern auch verpflichtet sei, über Bewilligungsgesuche der eigenen Gemeinde zu entscheiden. Ein Mitglied müsse nur dann in den Ausstand treten, wenn es ein erkennbares persönliches Interesse am Ausgang des Bewilligungsverfahrens habe. Ein solcher Zusammenhang sei beim hier fraglichen Bewilligungsgesuch nicht ersichtlich. Die Beschwerdeführenden wiederholen vor Bundesgericht nur ihr im Wesentlichen stereotypisches Argument, es könne nicht sein, dass der Vorsteher des Hochbaudepartements über Gesuche der ihm unterstellten Behörde entscheide. Mit der Begründung des Verwaltungsgerichts setzen sie sich nicht auseinander. Die Beschwerde erweist sich insofern als nicht ausreichend substanziiert, weshalb darauf in diesem Umfang nicht einzutreten ist (vgl. vorne E. 1.3). Im Übrigen belegen die Beschwerdeführenden auch nicht, dass der fragliche Stadtrat tatsächlich in der Sache des strittigen Bauvorhabens vorbefasst gewesen wäre oder ein eigenes Interesse an der Sache gehabt hätte.
4.
4.1. Auch soweit die Beschwerdeführenden eine Verletzung des Denkmalschutzrechts geltend machen, ist ihre Beschwerdebegründung in der Sache ungenügend. Sie nennen dazu ausschliesslich vereinzelte Bestimmungen des kantonalen Gesetzesrechts und verweisen wiederholt auf Entscheide kantonaler Instanzen. Inwiefern Bundesrecht verletzt worden sein sollte, legen sie nicht dar. Zulässige Beschwerdegründe bringen die Beschwerdeführenden insofern nicht vor (vgl. vorne E. 1.2).
4.2. Allerdings nennen die Beschwerdeführenden im Zusammenhang mit den angeblich ungenügenden Abklärungen der vom Baurekursgericht beauftragten Kantonalen Denkmalpflegekommission (KDK) einzelne Bestimmungen des Bundesrechts. Sie sehen in der Anwendung des kantonalen Verfahrensrechts durch das Verwaltungsgericht eine Rechtsverweigerung, weil dieses zu Unrecht davon ausgegangen sei, die Beschwerdeführenden hätten bereits die Zwischenverfügung des Baurekursgerichts über den Gutachterauftrag anfechten müssen und damit nicht bis zur Beschwerde ans Verwaltungsgericht zuwarten dürfen. Diese Rüge erweist sich jedoch ebenfalls als unzureichend. Die Beschwerdeführenden machen im Wesentlichen einzig geltend, § 41 Abs. 3 in Verbindung mit § 19a des Verwaltungsrechtspflegegesetzes vom 24. Mai 1959 des Kantons Zürich (VRG; LS 175.2) verweise für die Anfechtbarkeit von Zwischenentscheiden auf Art. 91-93 BGG. Durch diesen Verweis werden jedoch die Art. 91-93 BGG im fraglichen Zusammenhang zu kantonalem Verfahrensrecht. Weshalb die Auslegung der solchermassen kantonalen Bestimmungen durch das Verwaltungsgericht bundesrechtswidrig sein sollte, legen die Beschwerdeführenden nicht dar. Sie behaupten lediglich, die Auslegung der Vorinstanz sei offensichtlich falsch. Inwiefern das zutreffen sollte, ist nicht nachvollziehbar. So erscheint es nicht ausgeschlossen und damit von vornherein bundesrechtswidrig, dass das Verwaltungsgericht Art. 91-93 BGG als kantonales Recht möglicherweise anders auslegt als das Bundesgericht, wenn es dieselben Bestimmungen als Bundesrecht anwendet. Überdies ist der Verweis lediglich sinngemäss und damit nicht zwingend deckungsgleich. Im Übrigen ist es ein auch vom Bundesgericht getragener Grundsatz, dass angebliche formelle Mängel unverzüglich zu rügen sind (vgl. <ref-ruling> E. 2.2 S. 336, mit Hinweisen). Insgesamt hätte es daher näherer Ausführungen bedurft, um die angebliche Bundesrechtswidrigkeit der Interpretation des kantonalen Verfahrensrechts durch das Verwaltungsgericht zu begründen.
4.3. Die weitere Rüge, der Sachverhalt sei in denkmalschützerischem Zusammenhang unvollständig abgeklärt, ist inhaltlich eng an die materiellrechtliche Beurteilung geknüpft. Ohne nähere Angaben, inwiefern der abzuklärende Sachverhalt bundesrechtlich vorgegeben ist, lässt sich auch die Vollständigkeit der tatsächlichen Feststellungen nicht prüfen. Auch wenn es hier überwiegend um die Beurteilung einer Verfahrensfrage geht, ist die Sachfrage ohne Kenntnis des einschlägigen materiellen Rechts, dessen behauptete Verletzung wie erwähnt nicht ausreichend gerügt wird, nicht einzuschätzen. Auch insoweit erweist sich daher die Beschwerde als unzulässig.
4.4. Auf die im Zusammenhang mit dem Denkmalschutzrecht erhobenen Rügen ist demnach nicht einzutreten.
5.
5.1. Weiter beanstanden die Beschwerdeführenden einen Verstoss gegen das Umweltschutzrecht des Bundes. Diese Rüge ist ausreichend substanziiert und zu behandeln.
5.2. Das Umweltschutzrecht des Bundes bezweckt insbesondere den Schutz der Menschen, Tiere und Pflanzen gegen schädliche oder lästige Einwirkungen (Art. 1 Abs. 1 des Bundesgesetzes vom 7. Oktober 1983 über den Umweltschutz (Umweltschutzgesetz, USG; SR 814.01). Dazu gehören unter anderem Lärmimmissionen, die durch den Bau und Betrieb von Anlagen erzeugt werden (<ref-law>). Zu solchen Anlagen zählen namentlich Bauten, Verkehrswege und andere ortsfeste Einrichtungen sowie Terrainveränderungen (<ref-law>). Unabhängig von der bestehenden Umweltbelastung sind Emissionen im Rahmen der Vorsorge so weit zu begrenzen, als dies technisch und betrieblich möglich und wirtschaftlich tragbar ist (<ref-law>). Strengere Emissionsbegrenzungen gelten, wenn feststeht oder zu erwarten ist, dass die Einwirkungen unter Berücksichtigung der bestehenden Umweltbelastung schädlich oder lästig werden (<ref-law>). Als emissionsbegrenzende Massnahmen kommen unter anderem Bau- und Ausrüstungsvorschriften sowie Verkehrs- und Betriebsvorschriften in Frage (Art. 12 Abs. 1 lit. b und c USG).
5.3. Anlagen, die den gesetzlichen Umweltvorschriften nicht genügen, müssen saniert werden (<ref-law>). Eine sanierungsbedürftige Anlage darf nur umgebaut oder erweitert werden, wenn sie gleichzeitig saniert wird (<ref-law>). Wird eine bestehende ortsfeste Anlage geändert, müssen die Lärmimmissionen der neuen oder geänderten Anlageteile nach Anordnung der Vollzugsbehörde so weit begrenzt werden, als dies technisch und betrieblich möglich sowie wirtschaftlich tragbar ist (Art. 8 Abs. 1 der Lärmschutz-Verordnung vom 15. Dezember 1986; LSV; SR 814.41). Wird eine solche Anlage wesentlich geändert, sind mindestens die Immissionsgrenzwerte einzuhalten (<ref-law>). Diese richten sich nach <ref-law>, die Lärmschutzverordnung und die entsprechenden Vollzugshilfen. Als wesentliche Änderung ortsfester Anlagen gelten Umbauten, Erweiterungen und vom Inhaber der Anlage verursachte Änderungen des Betriebs, wenn zu erwarten ist, dass die Anlage selbst oder die Mehrbeanspruchung bestehender Verkehrsanlagen wahrnehmbar stärkere Lärmimmissionen erzeugen (<ref-law>). Dafür sind nicht einzig die Lärmauswirkungen des Ausführungsobjekts entscheidend, sondern es muss aufgrund einer gesamthaften Betrachtung entschieden werden, ob die Änderung gewichtig genug ist, um als wesentlich beurteilt und den entsprechenden Rechtsfolgen unterstellt zu werden (<ref-ruling> E. 4.3-4.6).
6.
6.1. Umstritten ist, ob das vorliegende Bauvorhaben eine umweltschutzrechtlich wesentliche Änderung der Baute mit den diesbezüglichen Rechtsfolgen gemäss Art. 8 Abs. 2 und 3 LSV mit sich bringt. Das Verwaltungsgericht ging von einer nicht neubauähnlichen und nicht sanierungspflichtigen Situation aus und auch die kommunalen Behörden bezeichnen das Projekt als nicht wesentlich im Rechtssinne. Demgegenüber vertreten die Beschwerdeführenden in Übereinstimmung mit dem Bundesamt für Umwelt aufgrund des Gesamtzusammenhangs den gegenteiligen Standpunkt.
6.2. Unter den Verfahrensbeteiligten ist in diesem Zusammenhang insbesondere strittig, ob eine bau- und umweltschutzrechtlich ausreichende Bewilligung für die Zulassung von etwas mehr als 1'300 Personen in der Aktionshalle vorliegt. Die Beschwerdeführenden verneinen dies mit der Begründung, die Verfügung des Feuerpolizeiinspektorats der Stadt Zürich, auf welcher der vorliegenden Baubewilligungsentscheid beruhe, sei nie förmlich publiziert worden. Aktenkundig ist, dass die Aktionshalle am 3. September 1982 für eine Belegung von 850 Personen bewilligt worden war. Am 28. März 1995 weitete das Feuerpolizeiinspektorat diese Kapazität auf 1'300 aus, ohne offenbar diesen Entscheid formell zu veröffentlichen. Wann die Beschwerdeführenden Kenntnis davon erhielten, ist nicht bekannt. Sie beriefen sich erstmals in ihrer Beschwerde vom 10. Juli 2015 an das Bauinspektorat darauf, dass "eine im Jahre 1995 in aller Heimlichkeit von der Feuerpolizei erteilte Bewilligung mit einer formell korrekten Baubewilligung gleichgesetzt" werde. Dabei trifft es zu, dass die feuerpolizeiliche Bewilligung ohne lärmrechtliche Beurteilung erteilt wurde und daher eine umweltschutzrechtliche Bewilligung nicht zu ersetzen vermag. Das gilt allerdings auch für die feuerpolizeiliche Verfügung vom 24. März 2014, mit der die maximale Belegung nach dem Dachstockbrand im Jahre 2012 aufgrund der brandbedingt eingeschränkten Nutzungsmöglichkeiten auf 800 Personen, mit zusätzlichem Notausgang auf 900 Personen, reduziert wurde. Die Beschwerdeführenden können sich daher nicht darauf berufen, diese geringere Zahl sei massgeblich. Hingegen bringen sie mit Grund vor, dass die altrechtliche Bewilligung einer Belegung der Aktionshalle mit bis zu 1'300 Personen im Jahre 1995 lediglich feuerpolizeirechtlich und ohne Prüfung der umweltschutzrechtlichen Voraussetzungen erteilt worden ist. Im vorliegenden Verfahren muss daher geprüft werden, ob die Lärmbelastung bei einer Maximalbelegung mit 1'320 Personen mit dem Umweltschutzrecht des Bundes vereinbar ist.
6.3. Zu beachten ist sodann, dass die vorgesehenen baulichen Änderungen zwar nicht auf einen völligen Umbau der Roten Fabrik hinauslaufen, aber doch mit nicht unerheblichen baulichen Anpassungen verbunden sind. So werden namentlich der Dachaufbau um einen Stock erhöht, die Fassade neu gestaltet und zusätzliche Notausgänge eingebaut. Ob es sich deswegen insgesamt im Ergebnis um eine umweltschutzrechtlich wesentliche Änderung der Baute im Sinne von Art. 8 Abs. 2 und 3 LSV handelt, braucht aber nicht abschliessend entschieden zu werden, denn selbst wenn davon auszugehen wäre, erwiesen sich die entsprechenden strengeren gesetzlichen Voraussetzungen an den Lärmschutz als erfüllt. Entgegen der Ansicht der Beschwerdeführenden wäre der Sachverhalt auch nicht deshalb unvollständig bzw. offensichtlich unrichtig abgeklärt, weil die Vorinstanzen nicht von einer wesentlichen Änderung der Baute ausgegangen sind. Entscheidend ist einzig, ob die erforderlichen tatsächlichen Feststellungen getroffen wurden und aktenkundig sind. Dabei kommt es nicht darauf an, unter welchem umweltschutzrechtlichen Titel sie erfolgten. Im angefochtenen Entscheid bzw. in den Akten finden sich alle massgeblichen Sachverhaltsfeststellungen. Diese genügen daher selbst dann, wenn von einer umweltschutzrechtlich wesentlichen Änderung der Baute durch das strittige Projekt ausgegangen wird.
7.
7.1. Bei der Beurteilung der Lärmimmissionen machen die Beschwerdeführenden geltend, das Verwaltungsgericht habe zu Unrecht die Sekundärimmissionen, insbesondere den durch die Besucherinnen und Besucher während und nach den Veranstaltungen in der Roten Fabrik in der Umgebung verursachten Lärm, nicht berücksichtigt. Das Verwaltungsgericht ging dazu davon aus, die Besucherinnen und Besucher würden die Aktionshalle durch die Zugänge an der Nordseite des Gebäudes betreten und verlassen, wohingegen die betroffenen Liegenschaften der Beschwerdeführenden am südlichen Arealende lägen. Zwar fragt es sich allenfalls, ob insofern eine objektiviertere Sichtweise gelten müsste. Selbst wenn dies zuträfe, wäre der von den Beschwerdeführenden beanstandete Lärm aber nicht eindeutig der Aktionshalle zuzuordnen. Die südlich an die Rote Fabrik angrenzenden Platz- und Stegbereiche sind öffentlich zugänglich und nicht den Veranstaltungsbesuchenden vorbehalten. Sie stehen auch nicht in unmittelbarer Verbindung mit dem Gastronomiebetrieb. Zwar können sich die Gäste von Veranstaltungen oder des Restaurants vor oder nach dem Besuch der Roten Fabrik mit anderen Nutzern des öffentlichen Raums mischen. Das genügt aber nicht, um den Umgebungslärm, der zu einem Grossteil anderen Ursprungs ist, dem Bauprojekt zuzuordnen. Die entsprechende Beurteilung des Verwaltungsgerichts ist daher nicht bundesrechtswidrig.
7.2. Im vorliegenden Zusammenhang wurde die vom Umbauprojekt der Roten Fabrik ausgehende Lärmbelastung in einem Gutachten vom 4. Juli 2017 untersucht. Dieses stützt sich auf die anerkannten und verbreitet angewandten Vollzugshilfen der Vereinigung kantonaler Lärmschutzfachleute Cercle Bruit, konkret auf die Vollzugshilfe "Ermittlung und Beurteilung der Lärmbelastung durch den Betrieb öffentlicher Lokale" vom 10. März 1999 in der Fassung vom 30. März 2007. Die darin vorgesehenen Immissionsrichtwerte der hier wesentlichen Empfindlichkeitsstufe III betragen für bestehende Anlagen 50 dB (A) am Abend (19.00 bis 22.00 Uhr) und 45 dB (A) in der Nacht (22.00 bis 7.00 Uhr). Das Lärmgutachten stellt am kritischsten Einwirkungspunkt eine Belastung von 42 dB (A) fest, womit die Immissionsgrenzwerte eingehalten sind. Davon geht ausdrücklich auch das Bundesamt für Umwelt aus, das überdies festhält, dass nach seinen Berechnungen Gleiches auch unter Berücksichtigung der aktuellen Fassung der einschlägigen Vollzugshilfe des Cercle Bruit vom 1. Februar 2019 gelte, worin basshaltige Geräusche strenger beurteilt würden. Dass die neue Version der Vollzugshilfe massgeblich sei, wird jedoch nicht gerügt. Damit kann offenbleiben, ob es auf diese neue Fassung im vorliegenden Fall überhaupt ankommt oder ob nicht übergangsrechtlich die frühere Version beachtlich bleibt. Die Beschwerdeführenden stellen diese Berechnungen in ihrer Replik vom 31. August 2020 im Übrigen auch nicht in Frage, sondern bitten lediglich um deren Offenlegung. Sie sind dazu an das Bundesamt für Umwelt zu verweisen.
7.3. Schliesslich verlangen die Beschwerdeführenden zusätzliche Sanierungsmassnahmen. Solche erweisen sich, wie auch das Bundesamt für Umwelt ausführt, schon angesichts der eingehaltenen Lärmgrenzwerte als nicht erforderlich. Im Übrigen sind beim Bauvorhaben verschiedene emmissionsmindernde Massnahmen an der Gebäudehülle vorgesehen, so namentlich in den Bereichen der Fassade, des Dachs, der Fenster, des Oberlichtbandes sowie der Fluchttüren und der Nachströmöffnung. Weiter wird auf die drei Notausgänge an der Westfassade verzichtet. Als zusätzliche Massnahme wäre einzig die Erstellung eines akustischen Sarkophags denkbar. Mit den Vorinstanzen und dem Bundesamt für Umwelt ist ein solcher jedoch als unverhältnismässig zu beurteilen, zumal ohnehin fraglich erscheint, wie dies unter Beachtung der denkmalschutzrechtlichen Vorgaben überhaupt umgesetzt werden könnte. Mit Blick auf die eingehaltenen Richtwerte erübrigen sich mithin ein solcher zusätzlicher akustischer Schutz sowie allfällige betriebliche Massnahmen wie die Reduktion des maximalen Innenschallpegels oder der Anzahl der Konzerte. Andere erforderliche und geeignete Massnahmen sind nicht ersichtlich und werden von den Beschwerdeführenden auch nicht genannt.
7.4. Der angefochtene Entscheid ist demnach mit dem Umweltschutzrecht des Bundes vereinbar.
8.
Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
Bei diesem Verfahrensausgang werden die unterliegenden Beschwerdeführenden unter Solidarhaft kostenpflichtig (Art. 66 Abs. 1 und 5, <ref-law>). Eine Parteientschädigung ist der obsiegenden Gemeinde praxisgemäss nicht zuzusprechen (vgl. <ref-law> sowie <ref-ruling> E. 7 S. 118 f.).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 6'000.-- werden den Beschwerdeführenden unter Solidarhaft auferlegt.
3.
Dieses Urteil wird den Beschwerdeführenden, der Stadt Zürich, Immobilien-Bewirtschaftung, der Bausektion der Stadt Zürich, der Baudirektion des Kantons Zürich, dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, und dem Bundesamt für Umwelt schriftlich mitgeteilt.
Lausanne, 16. Juli 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Chaix
Der Gerichtsschreiber: Uebersax