Sachverhalt:
A. X._ ist Eigentümer des mit einem Einfamilienhaus überbauten Grundstücks KTN 1384 in der Gemeinde Wollerau. Im Rahmen der Prüfung eines Umbaugesuchs vom April 2010 stellte die kommunale Hochbaukommission fest, dass die in den Plänen dargestellte Dachaufbaute an der Ostfassade nicht mit dem bewilligten Zustand übereinstimmte. Am 19. Oktober 2010 erliess der Gemeindepräsident Wollerau einen Baustopp, weil die Grösse eines Fassadenfensters nicht der massgebenden Baubewilligung entspreche. Er setzte X._ Frist zur Einreichung eines nachträglichen Baugesuchs.
Gegen das nachträgliche Baugesuch erhob Y._ Einsprache beim Gemeinderat. Dieser bewilligte das Vorhaben am 14. März 2011 teilweise und verpflichtete X._ zur Einhaltung der genehmigten Projektpläne. Das eingebaute grossflächige Fassadenfenster im Dachgeschoss an der Ostfassade bewilligte der Gemeinderat nicht. Er verpflichtete die Bauherrschaft zur Einreichung bewilligungsfähiger Planunterlagen über die beabsichtigte Gestaltung der Ostfassade.
Gegen diese Verpflichtung gelangte X._ mit Beschwerde an den Regierungsrat des Kantons Schwyz mit dem Begehren, das Fassadenfenster im Dachgeschoss an der Ostfassade sei in der bereits ausgeführten Gestaltung zu bewilligen. Der Regierungsrat wies die Beschwerde am 2. November 2011 ab und verpflichtete den Beschwerdeführer, innert zwei Monaten ab Rechtskraft seines Beschlusses entweder die Dachaufbaute entsprechend der Bewilligung vom 17. Januar 2005 anzupassen oder einen Vorschlag einzureichen, wie der rechtmässige Zustand auf andere Weise wiederhergestellt werden könne.
In seiner Beschwerde an das Verwaltungsgericht des Kantons Schwyz vom 29. November 2011 stellte X._ den Antrag, das umstrittene Fassadenfenster sei in der bereits ausgeführten Gestaltung zu bewilligen. Das Verwaltungsgericht hiess die Beschwerde mit Entscheid vom 8. Februar 2012 teilweise gut und wies die Sache im Sinne der Erwägungen zur Neubeurteilung an den Gemeinderat Wollerau zurück. Aus den Erwägungen ergibt sich, dass die Umgestaltung bzw. teilweise Beseitigung der ausgeführten Fensterfläche einer einlässlichen Prüfung bedürfe. Auch sei noch genauer zu beurteilen, bei welcher Grösse und mit welcher konkreten Platzierung das Fenster oberhalb des Vordachs bewilligt werden könne und ob allenfalls auch eine Fensterfläche (und dies in welchem Ausmass und mit welcher Platzierung) unterhalb des Vordachs zugestanden werden könne. Weiter seien die ästhetischen und technischen Mindestanforderungen an das noch anzubringende Vordach zu definieren. Die so gewonnenen Erkenntnisse seien in der Folge und unter Vorbehalt der Verhältnismässigkeitsprüfung für die Anordnung der Wiederherstellungsmassnahmen heranzuziehen.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht vom 20. März 2012 beantragt X._, der Entscheid des Verwaltungsgerichts sei aufzuheben und das Fassadenfenster im Dachgeschoss an der Ostfassade sei in der bereits ausgeführten Gestaltung zu bewilligen. Er rügt insbesondere die Verletzung seines Anspruchs auf rechtliches Gehör (Art. 29 Abs. 2 BV) sowie des Willkürverbots und des Grundsatzes von Treu und Glauben (Art. 9 BV).
Das Bundesgericht hat keinen Schriftenwechsel durchgeführt.
Erwägungen:
1. Der angefochtene Entscheid betrifft eine Baubewilligung und damit eine öffentlich-rechtliche Angelegenheit im Sinne von Art. 82 lit. a BGG. Es liegen keine Ausschlussgründe nach Art. 83 ff. BGG vor.
2. Mit dem angefochtenen Entscheid wird der Entscheid des Regierungsrats aufgehoben und die Sache im Sinne der Erwägungen zur Neubeurteilung an den Gemeinderat Wollerau zurückgewiesen. Der Gemeinderat hat zu prüfen, inwiefern die vom Beschwerdeführer vorgenommene Umgestaltung bewilligt werden kann und inwiefern Wiederherstellungsmassnahmen angeordnet werden müssen. Das Baubewilligungsverfahren wird somit mit dem Entscheid des Verwaltungsgerichts offensichtlich nicht abgeschlossen. Es liegt somit kein Endentscheid im Sinne von Art. 90 BGG, sondern ein Zwischenentscheid vor (Art. 93 BGG). Entgegen der Auffassung des Beschwerdeführers handelt es sich nicht um einen Teilentscheid im Sinne von Art. 91 BGG. Die Vorinstanz hat weder über die Baubewilligung noch über die erforderlichen Wiederherstellungsmassnahmen abschliessend entschieden (vgl. Urteile des Bundesgerichts 1C_54/2011 vom 19. April 2011 E. 1.2.2; 1C_506/2010 vom 11. Januar 2011 E. 1; 1C_407/2008 vom 25. Mai 2009 E. 1.2.2; je mit Hinweisen).
2.1 Gegen selbstständig eröffnete Zwischenentscheide, die weder die Zuständigkeit noch den Ausstand betreffen, ist die Beschwerde nur zulässig, wenn der Zwischenentscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (Art. 93 Abs. 1 lit. a BGG) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Art. 93 Abs. 1 lit. b BGG). Die selbstständige Anfechtbarkeit von Zwischenentscheiden bildet aus prozessökonomischen Gründen eine Ausnahme vom Grundsatz, dass sich das Bundesgericht mit jeder Angelegenheit nur einmal befassen soll (BGE 135 I 261 E. 1.2; 134 III 188 E. 2.2; 133 III 629 E. 2.1). Die Ausnahme ist restriktiv zu handhaben, zumal die Parteien keine Rechte verlieren, wenn sie einen Zwischenentscheid im Sinne von Art. 93 BGG nicht selbstständig anfechten, können sie ihn doch mit dem Endentscheid anfechten, soweit er sich auf dessen Inhalt auswirkt (Art. 93 Abs. 3 BGG; BGE 133 IV 288 E. 3.2). Dementsprechend obliegt es dem Beschwerdeführer, detailliert darzutun, dass die Eintretensvoraussetzungen von Art. 93 BGG erfüllt sind, soweit deren Vorliegen nicht offensichtlich ist (vgl. dazu BGE 134 III 426 E. 1.2 in fine; 133 III 629 E. 2.3.1 und 2.4.2).
2.2 Nach dem angefochtenen Entscheid wird die kommunale Baubehörde die Umgestaltung bzw. teilweise Beseitigung der ausgeführten Fensterfläche einer einlässlichen Prüfung unterziehen und zu beurteilen haben, bei welcher Grösse und mit welcher konkreten Platzierung das Fenster oberhalb des Vordachs bewilligt werden kann und ob allenfalls auch eine Fensterfläche (und dies in welchem Ausmass und mit welcher Platzierung) unterhalb des Vordachs zugestanden werden kann. Weiter sind die ästhetischen und technischen Mindestanforderungen an das noch anzubringende Vordach zu definieren.
Es ist nicht ersichtlich, dass die vom Verwaltungsgericht verlangte Neubeurteilung für den Beschwerdeführer mit nicht wieder gutzumachenden Nachteilen im Sinne von Art. 93 Abs. 1 lit. a BGG verbunden sein könnte. Kein nicht wieder gutzumachender Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG liegt vor, wenn es einer Partei bloss darum geht, eine Verlängerung oder Verteuerung des Verfahrens zu verhindern (BGE 135 II 30 E. 1.3.4 S. 36). Der Gemeinderat Wollerau wird die Sache neu prüfen und präzise festlegen müssen, welche Bauteile bewilligt werden können. Diesen Entscheid kann der Beschwerdeführer wiederum anfechten. Ein nicht wieder gutzumachender Nachteil im Sinne von Art. 93 Abs. 1 lit. a BGG ist somit zu verneinen.
2.3 Auch liegt keine Situation vor, in welcher die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Art. 93 Abs. 1 lit. b BGG). Jedenfalls könnte eine Gutheissung der Beschwerde nicht zur beantragten Bewilligung des bestehenden Zustands führen. Es wird Sache der kommunalen Behörden sein, eine der Angelegenheit angemessene Lösung festzulegen.
3. Auf die Beschwerde kann somit nicht eingetreten werden. Damit wird das Gesuch des Beschwerdeführers um aufschiebende Wirkung gegenstandslos.
Die Gerichtskosten sind dem unterliegenden Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Der Beschwerdegegnerin und den beteiligten Behörden sind im bundesgerichtlichen Verfahren keine Kosten entstanden. Es sind somit keine Parteientschädigungen zuzusprechen (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Gemeinderat Wollerau, dem Regierungsrat und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, schriftlich mitgeteilt.
Lausanne, 27. April 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Haag