Sachverhalt:
A. X._ erwarb am 14. Dezember 2004 das Grundstück Grundbuch Wollerau KTN 57, auf dem sich das Gasthaus "Hinterhof" (Assekuranz Nr. 55) befindet. Zur Liegenschaft gehört ein im Innenhof gelegenes Gartenrestaurant. An das Grundstück grenzen zwei weitere Grundstücke, nämlich die Parzelle Grundbuch Wollerau KTN 55, Kirchplatz 6 mit dem Restaurant "Metzg" von Y._ sowie das Wohnhaus der Familie A._.
Gemäss allgemeiner Betriebsbewilligung war es X._ zunächst erlaubt, das Gartenrestaurant grundsätzlich bis 24.00 Uhr offen zu halten. Um gelegentliche Belästigungen der Nachbarn inskünftig zu vermeiden, wollte X._ den Teil des Gartenrestaurants unter dem Dach entlang der Schallschutzwand zur Hauptstrasse hofseitig verglasen, um am späteren Abend durch Schliessen der Glaswand Lärmimmissionen vom Gartenrestaurant auf die Nachbarschaft zu reduzieren.
B. Nachdem X._ im Gartenrestaurant auf der genannten Liegenschaft ohne Baubewilligung bauliche Massnahmen getroffen hatte, wurde er von der Gemeinde Wollerau mit Schreiben vom 21. Oktober 2005 aufgefordert, nachträglich ein Baugesuch einzureichen. Dieser Aufforderung kam er am 9. Dezember 2005 nach. Das Baugesuch umfasste die Erweiterung der Überdachung des Innenhofs und den Einbau von Glastrennwänden. Zudem war der Einbau von Fenstern in eine Schallschutzwand Bestandteil dieses Gesuchs. Während der öffentlichen Auflage des Baugesuchs erhoben die Grundeigentümer des benachbarten Grundstücks Grundbuch Wollerau KTN 55, die Erben von B._, Einsprache. In der Folge schlossen die Einsprecher und X._ eine Vereinbarung, wonach u.a. die in der Schallschutzwand vorgesehenen Fenster so zu erstellen seien, dass diese nicht geöffnet werden könnten. Zudem wurde vereinbart, eine entsprechende Auflage in die Baubewilligung aufzunehmen. Am 16. Oktober 2006 (Beschluss Nr. 409) bewilligte der Gemeinde Wollerau das Bauvorhaben und schrieb die Einsprache der Erben von B._ vom Protokoll ab. Der Gemeinderat versah die Baubewilligung unter anderem mit den folgenden Auflagen:
"3. Der durch die hofseitige Schallschutzverglasung neu geschaffene Raum darf lediglich in der warmen Jahreszeit als Gartenrestaurant genutzt werden.
4. Die strassenseitigen Fenster sind so zu gestalten, dass sie nicht geöffnet werden können."
In der Folge liess X._ drei Kippfenster einbauen. Mit Beschluss Nr. 704 vom 17. Dezember 2007 verlangte der Gemeinderat Wollerau, die Kippfenster seien bis Ende Januar 2008 durch festverglaste Fenster zu ersetzen. Ferner definierte er als "warme Jahreszeit" den Zeitraum zwischen der Zeitumstellung im Frühling bis zur Zeitumstellung im Herbst. Ausserhalb dieses Zeitraums untersagte er X._ grundsätzlich den Betrieb des Gartenrestaurants. Gleichzeitig verfügte der Gemeinderat Wollerau eine zeitliche Einschränkung für den Betrieb des Gartenrestaurants in dem Sinne, dass dieses während der warmen Jahreszeit nur noch bis 22.00 Uhr betrieben werden darf (Beschluss Nr. 725 vom 17. Dezember 2007).
Eine von X._ gegen die Beschlüsse vom 17. Dezember 2007 erhobene Verwaltungsbeschwerde an den Regierungsrat des Kantons Schwyz blieb erfolglos (Regierungsratsentscheid vom 12. Februar 2008). In Übereinstimmung mit dem Gemeinderat Wollerau untersagte der Regierungsrat in Ziff. 3 des genannten Entscheides X._ und allfälligen Drittpersonen "ab sofort bis zur Zeitumstellung am 30. März 2008 sowie ab dem 30. März 2008 über 22.00 Uhr hinaus die Gartenwirtschaft zu benutzen". Gegen den Regierungsratsentscheid vom 12. Februar 2008 reichte X._ eine Beschwerde beim kantonalen Verwaltungsgericht ein. Dieses hiess die Beschwerde mit Entscheid vom 20. August 2008 insoweit teilweise gut, als der Regierungsrat auf die Verwaltungsbeschwerde in einem Punkt nicht eingetreten war und die Sache von Amtes wegen an das Verwaltungsgericht weitergeleitet hatte. Es sah aber von einer Rückweisung an den Regierungsrat ab und beurteilte diesen Punkt selbst materiell. Im Übrigen wies es die Beschwerde ab und setzte die Frist für die vom Gemeinderat angeordneten Wiederherstellungsmassnahme neu fest.
C. Mit Eingabe vom 26. September 2008 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht. Er beantragt, der am 20. August 2008 ergangene Entscheid des Verwaltungsgerichts und der regierungsrätliche Beschluss vom 12. Februar 2008 seien aufzuheben. Die Sache sei zur Behandlung der Beschwerde gegen den Beschluss des Gemeinderates Wollerau Nr. 704 vom 17. Dezember 2007 an den Regierungsrat zurückzuweisen. Eventualiter sei Ziff. 1 des Beschlusses Nr. 704 des Gemeinderates Wollerau vom 17. Dezember 2007 aufzuheben soweit dem Beschwerdeführer befohlen werde, die in die Schallschutzwand eingebauten Fenster durch festverglaste Fenster zu ersetzen. Ferner seien Ziff. 2 des Beschlusses des Gemeinderates Wollerau Nr. 704 vom 17. Dezember 2007, Ziff. 4 des Beschlusses des Gemeinderates Wollerau Nr. 725 vom 17. Dezember 2007 und Ziff. 2 des Beschlusses Nr. 33 des Gemeinderates Wollerau vom 21. Januar 2008 aufzuheben. Die Sache sei zur Durchführung des gesetzmässigen Verfahrens an das Verwaltungsgericht, eventuell an den Gemeinderat Wollerau zurückzuweisen. Eventualiter sei das Verbot der Benützung des Gartenrestaurants von der Zeitumstellung im Herbst an aufzuheben, subeventuell zu beschränken auf die im Beschluss des Gemeinderates Wollerau Nr. 409 vom 16. Januar 2006 bewilligte Restauranterweiterung. Ferner sei eine Reduktion der Öffnungszeit von 24.00 Uhr auf 22.00 Uhr für das Gartenrestaurant nicht vorzunehmen. Die Kosten des Verfahrens vor Verwaltungsgericht seien den Gegenparteien aufzuerlegen, und dem Beschwerdeführer sei eine angemessene Parteientschädigung für dieses Verfahren zuzusprechen. Die bundesgerichtlichen Kosten seien der Gegenpartei und dem Kanton Schwyz aufzuerlegen. Gleich sei zu verfahren mit der ihm für das Verfahren vor Bundesgericht auszurichtenden Parteientschädigung.
D. Y._ beantragt, die Beschwerde sei unter Kosten- und Entschädigungsfolge zulasten des Beschwerdeführers abzuweisen. Die Gemeinde Wollerau beantragt Abweisung der Beschwerde. Der Regierungsrat des Kantons Schwyz stellt den Antrag, die Beschwerde sei unter Kostenfolge zulasten des Beschwerdeführers abzuweisen, soweit darauf eingetreten werde. Das Verwaltungsgericht beantragt ebenfalls Abweisung der Beschwerde, soweit darauf einzutreten sei.
E. Mit Präsidialverfügung vom 4. November 2008 wurde der Beschwerde mit Bezug auf die Vornahme von Wiederherstellungsmassnahmen die aufschiebende Wirkung zuerkannt. Im Übrigen wurde das Gesuch des Beschwerdeführers um aufschiebende Wirkung abgewiesen.
Erwägungen:
1. 1.1 Das angefochtene Urteil des Verwaltungsgerichts ist ein Entscheid einer letzten kantonalen Instanz (Art. 82 lit. a i.V.m. 86 Abs. 1 lit. d BGG). Ihm liegt ein Beschwerdeverfahren über ein Baubegehren und damit eine öffentlich-rechtliche Angelegenheit zu Grunde. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 82 lit. a BGG steht auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung (BGE 133 II 249 E. 1.2 S. 251, 400 E. 2.1 S. 404).
1.2 Zur Beschwerde in öffentlich-rechtlichen Angelegenheiten ist berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat, durch den angefochtenen Entscheid besonders berührt ist und ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung besitzt (Art. 89 Abs. 1 BGG). Verlangt ist somit neben der formellen Beschwer (Art. 89 Abs. 1 lit. a BGG), dass der Beschwerdeführer über eine spezifische Beziehungsnähe zur Streitsache verfügt (Art. 89 Abs. 1 lit. b BGG) und einen praktischen Nutzen aus der Aufhebung oder Änderung des angefochtenen Entscheids zieht (Art. 89 Abs. 1 lit. c BGG; BGE 133 II 353 E. 3 S. 356 f., 400 E. 2.2 S. 404 f.). Diese Voraussetzungen sind beim Beschwerdeführer gegeben. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist unter Vorbehalt der Ausführungen in E. 1.3 hiernach grundsätzlich auf die Beschwerde einzutreten.
1.3 Unzulässig ist der Antrag des Beschwerdeführers, auch unterinstanzliche Entscheide des Regierungsrats und der Gemeinde Wollerau ganz oder teilweise aufzuheben. Diese sind durch das Urteil des Verwaltungsgerichts ersetzt worden (Devolutiveffekt) und gelten als inhaltlich mitangefochten (BGE 134 II 142 E. 1.4 S. 144; 129 II 438 E. 1 S. 441 mit Hinweisen).
2. 2.1 Der Gemeinderat Wollerau verfügte in Ziff. 1 des Dispositivs seines Beschlusses Nr. 704 vom 17. Dezember 2007, die vom Beschwerdeführer eingebauten Kippfenster seien durch "festverglaste Fenster" zu ersetzen. Auf eine gegen diese Anordnung erhobene Verwaltungsbeschwerde ist der Regierungsrat mit RRB Nr. 145/2008 vom 12. Februar 2008 nicht eingetreten, weil er sie als reine Vollzugsanordnung qualifizierte. Das Verwaltungsgericht ging demgegenüber davon aus, in der umstrittenen Ziff. 1 des Dispositivs des Gemeinderatsbeschlusses Nr. 704 sei nicht nur die Abweichung von der erteilten Baubewilligung festgestellt worden. Vielmehr habe der Gemeinderat darin auch entschieden, wie der rechtmässige Zustand wieder herzustellen sei, nämlich durch den Einbau festverglaster Fenster. Er habe damit Ziff. 4 der Baubewilligung vom 16. Oktober 2006 mit einer Konkretisierung materiell ergänzt und die dort vorgesehenen Vollzugsmöglichkeiten auf den Einbau festverglaster Fenster eingeschränkt. Ziff. 1 des Dispositivs des Gemeinderatsbeschlusses Nr. 704 sei deshalb keine selbstständige Vollstreckungsverfügung, weshalb sie grundsätzlich mit Verwaltungsbeschwerde beim Regierungsrat anfechtbar sei. Der Regierungsrat sei daher zu Unrecht nicht auf die gegen die genannte Ziff. 1 des Dispositivs des Gemeinderatsbeschlusses Nr. 704 eingetreten. In E. 3.3 des Entscheids des Verwaltungsgerichts vom 20. August 2008 sah dieses trotz dieser Sachlage davon ab, die Beschwerde in diesem Punkt an den Regierungsrat zurückzuweisen und nahm die materielle Prüfung des an den Regierungsrat gerichteten Beschwerdepunktes unter Wahrung des rechtlichen Gehörs der Parteien an der von ihm durchgeführten mündlichen Augenscheinsverhandlung selbst vor. Dabei hielt es fest, der Regierungsrat habe für den Fall, dass sich ergebe, er sei zu Unrecht auf einen Teil der Verwaltungsbeschwerde nicht eingetreten, beantragt, dass er von der Sprungbeschwerdekompetenz nach § 52 der Verordnung vom 6. Juni 1974 über die Verwaltungsrechtspflege (VRP, SRSZ 234.110) Gebrauch mache. Diese Erklärung sei den Parteien anlässlich der mündlichen Augenscheinsverhandlung vor Verwaltungsgericht vom 17. Juni 2008 zur Kenntnis gebracht worden, ohne dass Einwände dagegen erhoben worden seien.
2.2 Der Beschwerdeführer erblickt in diesem Vorgehen des Verwaltungsgerichts eine willkürliche Anwendung kantonalen Prozessrechts. Die Vorinstanz hätte nach seiner Meinung den Nichteintretensentscheid des Regierungsrats aufheben und die Sache an diesen zurückweisen müssen. Das trifft nicht zu. Bei der Frage, ob zur Erreichung des notwendigen Lärmschutzes festverglaste Fenster einzubauen sind, handelt es sich um eine Rechtsfrage. Es geht darum zu beurteilen, ob sich diese Anordnung auf die Art. 11 ff. USG (SR 814.01) in Verbindung mit den einschlägigen Vorschriften des kantonalen Rechts stützen lässt. Diese Frage wird vom Verwaltungsgericht frei geprüft (vgl. § 55 Abs. 1 lit. b VRP). Im Übrigen steht dem Verwaltungsgericht in Fällen der Sprungbeschwerde nach § 55 Abs. 2 lit. a VRP freie Kognition zu.
3. 3.1 Der Beschwerdeführer wirft dem Verwaltungsgericht sodann eine Verletzung des rechtlichen Gehörs im Sinne von Art. 29 Abs. 2 BV vor. Er macht geltend, in der Baubewilligung vom 16. Oktober 2006 (Ziff. 4) sei angeordnet worden, der durch die hofseitige Schallschutzverglasung neu geschaffene, geschlossene Raum dürfe lediglich in der warmen Jahreszeit als Gartenrestaurant genutzt werden. 14 Monate später habe der Gemeinderat mit Beschluss Nr. 704 vom 17. Dezember 2007 den Begriff der warmen Jahreszeit auf die Sommerzeit beschränkt und als Zeitraum definiert, der zwischen der Zeitumstellung im Frühling und der Zeitumstellung im Herbst liegt. Mit Beschluss Nr. 725 vom 17. Dezember 2007 habe der Gemeinderat die zusätzliche Anordnung getroffen, wonach der Betrieb des Gartenrestaurants jeweils nur bis 22 Uhr erlaubt sei. Früher habe die Betriebszeit bis 24.00 Uhr gedauert. Zu diesen Verschärfungen der Baubewilligung habe sich der Beschwerdeführer vor deren Festsetzung dem Gemeinderat Wollerau gegenüber nie äussern können.
3.2 Nach der Rechtsprechung kann eine - nicht besonders schwerwiegende - Verletzung des rechtlichen Gehörs ausnahmsweise als geheilt gelten, wenn die betroffene Person die Möglichkeit erhält, sich vor einer Beschwerdeinstanz zu äussern, die sowohl den Sachverhalt wie die Rechtslage frei überprüfen kann (BGE 127 V 431 E. 3d/aa S. 437 f.). Von einer Rückweisung der Sache an die Verwaltung ist selbst bei einer schwerwiegenden Verletzung des rechtlichen Gehörs dann abzusehen, wenn und soweit die Rückweisung zu einem formalistischen Leerlauf und damit zu unnötigen Verzögerungen führen würde, die mit dem (der Anhörung gleichgestellten) Interesse der betroffenen Partei an einer beförderlichen Beurteilung der Sache nicht zu vereinbaren wären (BGE 132 V 387 E. 5.1 S. 390 mit Hinweis).
3.3 Diese Voraussetzungen für eine Heilung der bereits vor dem Verwaltungsgericht gerügten Gehörsverletzung waren im vorliegenden Fall erfüllt. Das Verwaltungsgericht und grösstenteils auch der Regierungsrat haben den Sachverhalt und die sich stellenden Rechtsfragen frei geprüft und der Beschwerdeführer konnte sich jedenfalls an der verwaltungsgerichtlichen Augenscheinsverhandlung vom 17. Juni 2008 zu allen ihn interessierenden Fragen äussern. Eine Rückweisung an den Regierungs- oder Gemeinderat hätte zu einem formalistischen Leerauf und damit zu unnötigen Verzögerungen geführt.
4. Der Beschwerdeführer bringt vor, die Beschränkung der Betriebszeit der Gartenwirtschaft auf 22.00 Uhr verletze die Eigentumsgarantie (Art. 26 BV). Eine Eigentumsbeschränkung ist nur zulässig, wenn sie auf einer gesetzlichen Grundlage beruht, im öffentlichen Interesse liegt und verhältnismässig ist (Art. 36 BV; BGE 125 II 129 E. 8 S. 141 mit Hinweis). Der Beschwerdeführer bestreitet inbesondere die Verhältnismässigkeit der umstrittenen Anordnungen. Das Vorliegen eines öffentlichen Interesses und die Verhältnismässigkeit prüft das Bundesgericht bei der Beschränkung von Grundrechten frei (BGE 132 II 408 E. 4.3 S. 415 f.; 121 I 117 E. 3c S. 121; 119 Ia 362 E. 3a S. 366; s. auch BGE 134 I 153 E. 4.2 S. 157 f.). Es auferlegt sich aber Zurückhaltung, soweit die Beurteilung von einer Würdigung der örtlichen Verhältnisse abhängt, welche die kantonalen Behörden besser überblicken (BGE 132 II 408 E. 4.3 S. 415 f.; 126 I 219 E. 2c S. 222; 119 Ia 362 E. 3a S. 366; 117 Ia 434 E. 3c S. 437).
4.1 Der Beschwerdeführer räumt ein, dass sich die genannte Massnahme auf eine gesetzliche Grundlage stützt und erwähnt dabei wie die Vorinstanz § 11 des Gesetzes des Kantons Schwyz vom 10. September 1997 über das Gastgewerbe und den Handel mit alkoholischen Getränken (Gastgewerbegesetz, GGG, SRSZ 333.100). Dem ist beizufügen, dass diese Massnahme in erster Linie auf den Art. 11 ff. USG beruht (BGE 130 II 32 E. 2.2 S. 35 = Pra 2005 Nr. 16).
4.2 Der Beschwerdeführer bestreitet das öffentliche Interesse an der angefochtenen Massnahme. Dieses Interesse ist jedoch offensichtlich gegeben. Es liegt in erster Linie im Lärmschutz der Nachbarn (Urteil des Bundesgerichts 1C_47/2008 vom 8. August 2008). Die vorgesehene um 22.00 Uhr endende Betriebszeit ist angesichts der Lage der umstrittenen Gastwirtschaft in einem Hinterhof inmitten des bewohnten Ortszentrums der Gemeinde Wollerau mit Blick auf die bundesgerichtliche Rechtsprechung sogar eher als grosszügig einzustufen. So wurden bei einer Gartenwirtschaft Betriebszeiten bis 19.00 Uhr als rechtmässig bezeichnet (Urteile des Bundesgerichts 1A.139/2002 vom 5. März 2003; 1A.282/2000 vom 15. Mai 2001). Von einer Verletzung der Eigentumsgarantie und der Wirtschaftsfreiheit (Art. 27 BV) kann somit nicht die Rede sein. Dass bei der Gartenwirtschaft des Beschwerdeführers früher Betriebszeiten bis 24.00 Uhr geduldet wurden, vermag an dieser Beurteilung der Sache nichts zu ändern.
5. Schliesslich erblickt der Beschwerdeführer in der Anordnung, die drei Fenster in der Schallschutzwand seien fest zu verglasen, eine Verletzung des Verhältnismässigkeitsprinzips. In Ziff. 4 der Baubewilligung vom 16. Oktober 2006 verlangte der Gemeinderat, die strassenseitigen Fenster seien aus Gründen des Lärmschutzes so zu gestalten, dass sie nicht geöffnet werden könnten. Der Beschwerdeführer baute in der Folge drei Kippfenster ein, welche diesen Anforderungen offensichtlich nicht entsprachen. Mit Beschluss Nr. 704 vom 17. Dezember 2007 verlangte der Gemeinderat, die Kippfenster seien durch festverglaste Fenster zu ersetzen. Diese Massnahme wurde vom Verwaltungsgericht geschützt. Eine feste Verschraubung der Kippfenster hält es namentlich mit Blick auf den damit verbundenen hohen Kontrollaufwand der kommunalen Baubewilligungsbehörde für unzureichend. Entscheidend sei, dass die betreffenden Fensterflächen nicht mit wenig Aufwand geöffnet werden könnten. Diese Darlegungen des Verwaltungsgerichts sind nicht zu beanstanden und lassen die umstrittene Anordnung, festverglaste Fenster anzubringen, nicht als unverhältnismässig erscheinen. Damit erweist sich auch diese Rüge als unbegründet.
6. Aus den vorstehenden Erwägungen ergibt sich, dass die Beschwerde abzuweisen ist, soweit darauf eingetreten werden kann. Das hat zur Folge, dass die in Dispositiv-Ziff. 1 des Gemeinderatsbeschlusses Nr. 704 vom 17. Dezember 2007 festgesetzte Frist für die dort angeordnete Wiederherstellungsmassnahme (Ersetzen der Kippfenster durch festverglaste Fenster) neu festzusetzen ist. Unter den hier gegebenen Umständen erfolgt dies im vorliegenden bundesgerichtlichen Urteil. Es ist angezeigt, eine neue Wiederherstellungsfrist bis zum 31. Oktober 2009 festzulegen.
Bei diesem Ausgang des bundesgerichtlichen Verfahrens trägt der unterliegende Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG). Er hat der privaten Beschwerdegegnerin für das bundesgerichtliche Verfahren eine angemessene Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2. Dem Beschwerdeführer wird für die im Beschluss der Gemeinde Wollerau Nr. 704 vom 17. Dezember 2007 angeordnete Wiederherstellungsmassnahme eine Frist bis zum 31. Oktober 2009 angesetzt.
3. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
4. Der Beschwerdeführer hat der privaten Beschwerdegegnerin für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 3'000.-- zu bezahlen.
5. Dieses Urteil wird den Parteien, dem Gemeinderat Wollerau sowie dem Regierungsrat und dem Verwaltungsgericht des Kantons Schwyz, Kammer lll, schriftlich mitgeteilt.
Lausanne, 14. Mai 2009
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Haag