Sachverhalt:
A.
Die Bausektion der Stadt Zürich bewilligte der D._ AG mit Beschluss vom 17. August 2016 für den Gastronomiebetrieb im Erd- und 1. Obergeschoss an der Fraumünsterstrasse 25 die Verlängerung der Öffnungszeiten am Donnerstag, Freitag und Samstag um eine Stunde bis 1 Uhr. Mit einer Auflage verpflichtete sie sie, mindestens sechs Wochen vor Baubeginn mittels Projektkontrolle den Nachweis für den Schallschutz gegen Innenlärm zwischen dem Gastronomielokal und dem Büro im 2. Obergeschoss desselben Gebäudes für den Lärmstörungsgrad "sehr stark" gemäss dem Anhang zur Norm 181 des Schweizerischen Ingenieur- und Architektenvereins (SIA) zu erbringen. Das Gebäude gehört zur Kernzone City mit der Lärm-Empfindlichkeitsstufe III und bildet Teil der Blockrandbebauung um den rund 1'600 m2 grossen, quadratischen Zentralhof, der über vier Passagen zugänglich ist. Der Eingang des Restaurants befindet sich in der Passage durch die östliche Zeile des Gebäudekomplexes, zwischen Zentralhof und Fraumünsterstrasse.
Gegen den Entscheid der Bausektion rekurrierten A. und B. C._ beim Baurekursgericht des Kantons Zürich. Die beiden sind Stockwerkeigentümer von vier Geschossen im unmittelbar angrenzenden Gebäude an der Fraumünsterstrasse 23. Das Baurekursgericht hiess das Rechtsmittel teilweise gut, indem es den Beschluss der Bausektion mit der Verpflichtung ergänzte, den Nachweis für Schallschutz gegen Innenlärm mittels Projektkontrolle auch zwischen dem Gastronomielokal und den Wohnräumen im 3. Obergeschoss des Gebäudes an der Fraumünsterstrasse 23 zu erbringen.
Eine von A. und B. C._ dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich mit Urteil vom 31. August 2017 ab.
B.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 16. Oktober 2017 beantragen A. und B. C._, das Urteil des Verwaltungsgerichts und die Bewilligung der Bausektion vom 17. August 2016 seien aufzuheben.
Das Verwaltungsgericht, die Bausektion und die Beschwerdegegnerin beantragen, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Das ebenfalls zur Vernehmlassung eingeladene Bundesamt für Umwelt (BAFU) kommt zum Ergebnis, dass der angefochtene Entscheid in Einklang mit der Umweltschutzgesetzgebung des Bundes stehe. Die Beschwerdeführer halten in ihrer Stellungnahme dazu an ihren Anträgen und Rechtsauffassungen fest.
Mit Präsidialverfügung vom 17. November 2017 hat das Bundesgericht das Gesuch der Beschwerdeführerin um aufschiebende Wirkung abgewiesen.

Erwägungen:
1.
1.1. Dem angefochtenen Entscheid liegt ein Beschwerdeverfahren über eine baurechtliche Bewilligung zugrunde. Dagegen steht die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach <ref-law> zur Verfügung. Die Beschwerdeführer haben am vorinstanzlichen Verfahren teilgenommen, sind als Eigentümer der benachbarten Liegenschaft durch den angefochtenen Entscheid besonders berührt und haben ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (<ref-law>). Auf ihre Beschwerde ist grundsätzlich einzutreten.
1.2. Unzulässig ist der Antrag, auch den Beschluss der Bausektion vom 17. August 2016 aufzuheben. Dieser ist durch das Urteil des Verwaltungsgerichts ersetzt worden (Devolutiveffekt) und gilt als inhaltlich mitangefochten (<ref-ruling> E. 1.4 S. 144 mit Hinweis).
2.
2.1. Nach Art. 7 Abs. 1 der Lärmschutz-Verordnung vom 15. Dezember 1986 (LSV; SR 814.41) müssen die Lärmemissionen einer neuen ortsfesten Anlage nach den Anordnungen der Vollzugsbehörde so weit begrenzt werden, als dies technisch und betrieblich möglich sowie wirtschaftlich tragbar ist (lit. a), und dass die von der Anlage allein erzeugten Lärmimmissionen die Planungswerte nicht überschreiten (lit. b). Das Vorsorgeprinzip und die Planungswerte gelten somit kumulativ. Erleichterungen können unter den Voraussetzungen von Abs. 2 gewährt werden. Als neu im Sinne von <ref-law> gelten ortsfeste Anlagen, die nach dem Inkrafttreten des Umweltschutzgesetzes (SR 814.01) am 1. Januar 1985 rechtskräftig bewilligt worden sind (<ref-law>). Art. 7 gilt auch für neue ortsfeste Anlagen, die geändert werden (<ref-law>).
Für Alltags- und Gaststättenlärm sieht die Lärmschutzverordnung keine Belastungsgrenzwerte vor. Die durch sie verursachten Immissionen sind daher von der Vollzugsbehörde unmittelbar gestützt auf das Gesetz, in Anwendung von Art. 15 in Verbindung mit Art. 19 und <ref-law>, zu beurteilen (<ref-law>). Immissionsgrenzwerte für Lärm sind nach <ref-law> so festzulegen, dass nach dem Stand der Wissenschaft oder der Erfahrung Immissionen unterhalb dieser Werte die Bevölkerung in ihrem Wohlbefinden nicht erheblich stören. Gemäss <ref-law> müssen die Planungswerte für neue lärmige ortsfeste Anlagen unter den Immissionsgrenzwerten liegen, was bedeutet, dass der von der Anlage ausgehende Lärm höchstens geringfügige Störungen verursachen darf (<ref-ruling> E. 3.4 S. 36 mit Hinweis).
Nach der bundesgerichtlichen Rechtsprechung ist eine Einzelfallbeurteilung vorzunehmen, wobei der Charakter des Lärms, Zeitpunkt und Häufigkeit seines Auftretens sowie die Lärmempfindlichkeit bzw. Lärmvorbelastung zu berücksichtigen sind. Dabei ist nicht auf das subjektive Lärmempfinden einzelner Personen abzustellen, sondern eine objektivierte Betrachtung unter Berücksichtigung von Personen mit erhöhter Empfindlichkeit (<ref-law>) vorzunehmen (<ref-ruling> E. 3.3 S. 296 f.; vgl. dazu sowie zur Berücksichtigung fachlich abgestützter privater Richtlinien 1C_293/2017 vom 9. März 2018 E. 3.1.2, in: URP 2018 S. 323; je mit Hinweisen). Der Anlage zuzurechnen sind alle Geräusche, die durch ihre bestimmungsgemässe Benutzung verursacht werden, und zwar unabhängig davon, ob sie innerhalb oder ausserhalb des Gebäudes erzeugt werden (<ref-ruling> E. 3.1 S. 295 f. mit Hinweisen).
2.2. Das Verwaltungsgericht führte aus, der vorliegend zu beurteilende Betrieb liege in der Kernzone City, einem Gebiet mit Lärmempfindlichkeitsstufe III. Ein Mindestwohnanteil sei nicht vorgeschrieben, womit überall mässig störende Betriebe zugelassen seien (<ref-law>). Dennoch sei diese belebte städtische Umgebung nicht ausschliesslich von Gewerbe geprägt, sondern mit Wohn- und Geschäftsräumen durchmischt. Es dominierten zwar Ladengeschäfte, welche nachts geschlossen seien, und die Bauparzelle liege nicht in einem Ausgehviertel. In der weiteren Umgebung befänden sich allerdings vereinzelt Hotelbetriebe und Restaurants. Ein solches finde sich mit der Y._ Bar auch in der betroffenen Blockrandbebauung, welche, ausser sonntags, abends bis 24 Uhr geöffnet sei. Zudem sei in derselben Strasse auch die X._ Bar gelegen, welche von Mittwoch bis Samstag bis um 2 Uhr geöffnet sei. Dies gehe mit einer erhöhten Lärmvorbelastung einher, die von den Anwohnern bis zu einem gewissen Grad hinzunehmen sei. Es sei daher von einer relativ lärmtoleranten Zone auszugehen, in welcher der Erhaltung der Wohnqualität kein besonders grosses Gewicht beizumessen sei.
Das Restaurant biete im Inneren Platz für 66 Gäste. Während morgens und mittags auch ein Take-Away-Angebot bestehe, richte sich der Betrieb abends an die After-Work-Kundschaft, welche einen Drink oder Speisen zu sich nehme. Es handle sich um ein urbanes Restaurant mit gediegenem Ambiente. Die angebotenen Speisen und Getränke bewegten sich im mittleren Preissegment. Eine wesentliche Veränderung in dieser Hinsicht sei mit Blick auf die eingereichten Gastronomiekonzepte nicht ersichtlich. Das Angebot bleibe grundsätzlich genauso wie die anzusprechende Kundschaft identisch. Das Lokal sei auf einen ganztägigen Betrieb ausgerichtet und eine Veränderung zu einem Ausgehlokal mit einem entsprechenden (Event-) Angebot nicht auszumachen. So sei insbesondere keine über Hintergrundmusik hinausgehende Beschallung vorgesehen. Ausgebaut werden solle die Vermietung des Lokals für grössere Anlässe, weshalb mit der beantragten Verlängerung bezweckt werde, insbesondere bei solchen Anlässen den Gästen die Möglichkeit bieten zu können, bis nach Mitternacht sitzen zu bleiben. Zielpublikum seien nach wie vor auch Personen, welche nach 22 Uhr ein Bedürfnis nach warmer Restaurant-Küche hätten. Daher sei aufgrund der Verlängerung der Öffnungszeiten von 24 Uhr auf 1 Uhr nicht mit einem regen Kommen und Gehen von (alkoholisierten, grölenden) Gästen zu rechnen.
Soweit die Beschwerdeführer eventualiter verlangten, die Beschwerdegegnerin sei auflageweise zu verpflichten, das Verlassen des Lokals nach 24 Uhr über den Innenhof zu verhindern, erweise sich diese Massnahme als nicht erforderlich. Es dürfe davon ausgegangen werden, dass sich die Gäste beim Verlassen des Lokals anständig verhalten werden. Zudem erscheine die Massnahme auch nicht als geeignet, da anzunehmen sei, dass die Mehrheit der Gäste zum Paradeplatz gehe und daher auch beim Verlassen des Lokals über die Fraumünsterstrasse den Innenhof via die öffentlichen Passagen durchqueren werde.
2.3. Die Beschwerdeführer rügen, das Verwaltungsgericht habe die Lärmempfindlichkeit bzw. Lärmvorbelastung des Quartiers falsch eingeschätzt und den Sachverhalt in diesem Zusammenhang offensichtlich falsch festgestellt. Es sei willkürlich, wegen eines anderen Lokals in unmittelbarer Nähe davon auszugehen, es bestehe kein Bedürfnis nach Nachtruhe. Dasselbe gelte für das zweite erwähnte Lokal, das an derselben Strasse in grösserer Distanz liege und längere Öffnungszeiten habe. Das Verwaltungsgericht lasse den Umstand unberücksichtigt, dass die Lärmausbreitung innerhalb des Hofs anders sei als an einer Strasse. Der Standort sei zudem frei von jeglichem Durchgangsverkehr. Von den in der weiteren Umgebung angesiedelten Hotels und Restaurants drängen keine Geräusche in den Zentralhof; dieser sei absolut ruhig gelegen.
2.4. Entgegen der Darstellung der Beschwerdeführer ist das Verwaltungsgericht nicht davon ausgegangen, es bestehe kein Bedürfnis nach Nachtruhe. Vielmehr hat es ausdrücklich festgehalten, dass es sich nicht um ein Ausgehviertel handle und eine Durchmischung von Wohn- und Geschäftsräumen bestehe. Allerdings ist es aufgrund der Situierung in einer belebten städtischen Umgebung, der Hotelbetriebe und Restaurants in der weiteren Umgebung sowie zwei nahegelegenen Bars von einer erhöhten Lärmvorbelastung ausgegangen. Was die Beschwerdeführer dagegen vorbringen, ist nicht geeignet, diese Feststellungen als willkürlich erscheinen zu lassen (<ref-law>). Die Einschätzung der Lärmempfindlichkeit entspricht zudem der Zuordnung des Quartiers zur Empfindlichkeitsstufe III, die gemäss <ref-law> mässig störende Betriebe zulässt.
2.5. Weiter unterstellen die Beschwerdeführer dem Verwaltungsgericht, dass es in etwas weltfremder Weise davon ausgehe, die Gäste des betreffenden Restaurants verhielten sich auch nach mehrstündigem Alkoholkonsum noch tadellos. Weshalb dies so sein solle, werde mit keinem Wort begründet. Zudem habe das Verwaltungsgericht den Sachverhalt im Zusammenhang mit der vorsorglichen Emissionsbegrenzung gemäss <ref-law> offensichtlich falsch festgestellt. Es sei gänzlich weltfremd anzunehmen, dass Gäste, die das Lokal über die Fraumünsterstrasse verlassen würden, anschliessend denselben Weg zurück über den Zentralhof in Richtung Paradeplatz gehen würden.
2.6. Das Verwaltungsgericht hat sich nach dem Ausgeführten mit dem Teil des Bewilligungsgesuchs bildenden Gastronomiekonzept befasst und festgehalten, das Angebot bleibe grundsätzlich genauso wie die anzusprechende Kundschaft identisch. Dass es daraus ableitete, es dürfe davon ausgegangen werden, dass sich die Gäste beim Verlassen des Lokals anständig verhielten, erscheint nicht als willkürlich. Die Kritik der Beschwerdeführer ist in dieser Hinsicht unbegründet, womit sich eine Auseinandersetzung mit der Frage, ob sich die Gäste beim Verlassen des Restaurants Richtung Paradeplatz davon abhalten lassen würden, den Zentralhof zu überqueren, erübrigt. Hinzuweisen ist in diesem Zusammenhang auch auf den ausdrücklichen Hinweis im angefochtenen Entscheid, dass eine Mehrnutzung hinsichtlich der Bewirtschaftung des Aussenbereichs nicht bewilligt worden sei. Schliesslich ist auch die beiläufig vorgetragene Rüge, das Verwaltungsgericht habe seine Feststellung nicht begründet (<ref-law>), angesichts der oben wiedergegebenen Ausführungen im angefochtenen Entscheid offensichtlich unzutreffend.
3.
Die Beschwerde ist aus den genannten Gründen abzuweisen, soweit darauf einzutreten ist.
Bei diesem Verfahrensausgang sind die Gerichtskosten den Beschwerdeführern aufzuerlegen (<ref-law>). Die Beschwerdeführer haben der Beschwerdegegnerin eine angemessene Parteientschädigung auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben die Beschwerdegegnerin mit Fr. 3'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, der Bausektion der Stadt Zürich, dem Verwaltungsgericht des Kantons Zürich, 1. Abteilung, 1. Kammer, und dem Bundesamt für Umwelt schriftlich mitgeteilt.
Lausanne, 17. Dezember 2018
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Merkli
Der Gerichtsschreiber: Dold