Sachverhalt:
A. Der Steinbruch Zingel befindet sich in der Gemeinde Schwyz an der Nordflanke des Urmiberges, südlich des Lauerzersees. Die X._ AG plant südwestlich des bestehenden Steinbruchs, im Bereich des Sitiwalds, eine Erweiterung des Abbaugebiets. Dafür reichte sie am 16. Juli 2008 ein Baugesuch ein. Gegen das Gesuch erhoben Y._ und weitere Personen Einsprache.
Das kantonale Amt für Raumentwicklung traf in der Angelegenheit am 13. November 2008 folgenden Entscheid:
"1. Die kantonale Baubewilligung für das Baugesuch B2008-1004, Vorhaben der X._ AG, wird unter folgenden Auflagen erteilt:
a) Diese Bewilligung beschränkt sich auf die Etappen AA1, AA2 und AZ gemäss dem Projekt vom 9. Juli 2008; die tiefste Abbaukote von 520 Meter über Meer ist einzuhalten (wobei diese nicht für die notwendigen Erschliessungsanlagen wie Abwurfschächte, Basisstollen, etc. gilt). Für die folgenden Abbauetappen (AE) ist rechtzeitig ein Baugesuch via Gemeinde einzureichen.
[...]
2. Vorbehalten bleibt die Baubewilligung der Gemeinde Schwyz."
Der Gemeinderat Schwyz entschied mit Beschluss vom 28. November 2008 über das Baugesuch und die dagegen erhobenen Einsprachen wie folgt:
"1. Auf die Einsprachen Ziffer 1-2 und 4-6 wird nicht eingetreten.
2. Die Einsprache Ziffer 3 wird abgewiesen.
3. Die Bewilligung für die Weiterführung des Steinbruchs Zingel auf Grundstück BG 1725 und 1726, Zingel, Seewen, wird gemäss den mit Datum vom 16. Juli 2008 eingereichten Plänen und Gesuchsunterlagen erteilt.
4. Der Gesamtentscheid des Amtes für Raumentwicklung vom 13. November 2008 wird mit dieser Bewilligung eröffnet. Die im Beschluss unter Ziffer 1 aufgeführten Auflagen bilden einen integrierenden Bestandteil dieser Baubewilligung und sind einzuhalten.
[...]"
Gegen den Gemeinderatsbeschluss vom 28. November 2008 und die damit eröffnete Verfügung des kantonalen Amts für Raumentwicklung erhob die X._ AG beim Regierungsrat des Kantons Schwyz Beschwerde. Mit Beschluss vom 31. März 2009 wies dieser das Rechtsmittel ab. Eine dagegen erhobene Beschwerde wurde vom Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 27. Oktober 2009 ebenfalls abgewiesen.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten bzw. subsidiärer Verfassungsbeschwerde vom 17. Dezember 2009 beantragt die X._ AG im Wesentlichen, der Entscheid des Verwaltungsgerichts sei aufzuheben. Zudem sei die Rechtswidrigkeit der Verweigerung der Baubewilligung für die Abbauphase AE gemäss Ziff. 1 lit. a des Entscheids vom 13. November 2008 des Amts für Raumentwicklung festzustellen und die Angelegenheit zur neuen Beurteilung an die Vorinstanz zurückzuweisen.
Der Regierungsrat und das Verwaltungsgericht des Kantons Schwyz beantragen in ihrer jeweiligen Vernehmlassung die Abweisung der Beschwerde. Das kantonale Amt für Raumentwicklung leitete dem Bundesgericht eine Stellungnahme des kantonalen Amts für Umweltschutz weiter, das indessen keinen förmlichen Antrag enthält. Die Gemeinde Schwyz, Y._, das Bundesamt für Umwelt (BAFU) und das Bundesamt für Raumentwicklung (ARE) haben auf eine Vernehmlassung verzichtet.
Erwägungen:
1. 1.1 Dem angefochtenen Entscheid liegt ein Beschwerdeverfahren über eine baurechtliche Bewilligung zu Grunde. Nach Art. 34 Abs. 1 RPG (SR 700) gelten für die Rechtsmittel an die Bundesbehörden die allgemeinen Bestimmungen über die Bundesrechtspflege. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 82 lit. a BGG steht auf dem Gebiet des Raumplanungs- und Baurechts zur Verfügung. Das Bundesgerichtsgesetz enthält keinen Ausschlussgrund (Art. 83 BGG). Angefochten ist ein Entscheid einer letzten kantonalen Instanz, welcher in Bezug auf das vorliegend umstrittene Baugesuch das Verfahren abschliesst (Art. 86 Abs. 1 lit. d, Art. 90 BGG). Die Beschwerdeführerin hat am vorinstanzlichen Verfahren teilgenommen. Sie ist als Baugesuchstellerin durch den angefochtenen Entscheid besonders berührt und hat ein schutzwürdiges Interesse an dessen Aufhebung oder Änderung (Art. 89 Abs. 1 BGG). Auf die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist unter Vorbehalt der nachfolgenden Erwägung einzutreten. Die ebenfalls erhobene subsidiäre Verfassungsbeschwerde erweist sich damit als unzulässig (Art. 113 BGG).
1.2 Die Beschwerdeführerin beantragt, es sei die Rechtswidrigkeit der Verweigerung der Baubewilligung für die Abbauphase AE festzustellen. Ein Interesse an einer derartigen Feststellung, welches über das Interesse an der Gutheissung der übrigen Rechtsbegehren hinausgeht, wird nicht dargetan und ist auch nicht erkennbar. Auf das Feststellungsbegehren ist nicht einzutreten (BGE 118 Ia 488 E. 1c S. 491 mit Hinweis; Urteil 1C_62/2009 vom 25. Mai 2009 E. 1.1).
2. 2.1 Die Beschwerdeführerin bringt vor, das Baugesuch umfasse auch die Abbauphase AE. Sie habe Anspruch auf Erlass einer begründeten Verfügung durch die zuständige Instanz. Das kantonale Amt für Raumentwicklung habe in seinem Entscheid vom 13. November 2008 unter dem Titel der "Auflage" verfügt, für die Abbauetappe AE sei rechtzeitig ein Baugesuch einzureichen. Das Verwaltungsgericht habe erwogen, es handle sich bei dieser Anordnung jedoch nicht um eine Auflage im Rechtssinn. Vielmehr gehe daraus hervor, dass die ersten drei von vier beantragten Abbauphasen bewilligt worden seien, ohne dass aber die Bewilligung für die vierte Phase verweigert worden sei. Die Beschwerdeführerin erblickt hierin eine Rechtsverweigerung, denn über die Abbauphase AE sei damit nicht entschieden worden.
2.2 Das Verwaltungsgericht führte dazu aus, der Grundsatz der Einheit des baurechtlichen Entscheids gelte nicht uneingeschränkt. So sei es zulässig, über gewisse baurechtliche Fragen Vorentscheide zu fällen (§ 84 des Planungs- und Baugesetzes des Kantons Schwyz vom 14. Mai 1987 [SRSZ 400.100; im Folgenden: PBG]) und technische Bewilligungen könnten in der Baubewilligung vorbehalten werden (§ 81 Abs. 3 PBG). Gestützt auf die vorhandenen geologischen Berichte könnten Risiken für Mensch und Umwelt durch den Abbau nicht vollumfänglich ausgeschlossen werden. Wenn das Amt für Umweltschutz als kantonale Fachbehörde daher verlange, die Beurteilung des Gesuchs für die vierte Etappe erst gestützt auf die Erfahrungen während den vorangehenden drei Etappen vorzunehmen, sei dies in Berücksichtigung der Unwägbarkeiten, welche derartige Grossprojekte mit weitgehenden Eingriffen in den Untergrund mit sich brächten, nicht zu beanstanden. Insbesondere stelle die instabile Böschungskante eine Gefahr dar, die schwerwiegende Folgen für die Sicherheit der Kantonsstrasse und auch den Landschafts- und Gewässerschutz haben könne. Zudem würden die Investitionen der Beschwerdeführerin kaum mehr gefährdet als sie es aufgrund der Möglichkeit des Widerrufs und der Änderung der Nutzungspläne bei erheblicher Veränderung der Verhältnisse ohnehin seien. Es sei schliesslich nicht zu beanstanden, dass die Vorinstanzen nicht wie beantragt eine Etappenfreigabe vorgesehen, sondern stattdessen ein neues Baugesuch verlangt hätten.
2.3 Art. 29 Abs. 1 BV räumt einen Anspruch auf Behandlung von formgerecht eingereichten Eingaben ein und verbietet die formelle Rechtsverweigerung. Eine solche liegt vor, wenn eine Behörde fälschlicherweise auf eine Eingabe nicht eintritt und sie nicht regelgemäss prüft. Dies beurteilt sich unter Beachtung verfassungsrechtlicher Vorgaben nach dem anwendbaren Verfahrensrecht (BGE 117 Ia 116 E. 3a S. 117 f. mit Hinweisen; Urteil 1P.338/2006 vom 12. Februar 2007 E. 3.2, in: ZBl 108/2007 S. 313). Die Rechtsmittelbehörde ist verpflichtet, ihre Überprüfungsbefugnis voll auszuschöpfen (BGE 131 II 271 E. 11.7.1 S. 303 f. mit Hinweisen). Sie darf die für den Entscheid wesentlichen Fragen nicht auf ein nachfolgendes Verfahren verweisen (BGE 114 Ia 114 E. 4c/ca S. 119 mit Hinweis).
2.4 Die Vorinstanz setzte sich in verschiedener Hinsicht inhaltlich mit dem Baugesuch der Beschwerdeführerin auseinander. Dabei kam sie zum Schluss, dass Risiken für Mensch und Umwelt durch den Materialabbau nicht vollumfänglich ausgeschlossen werden könnten. Im Ergebnis traf sie indessen keinen Entscheid über die Bewilligungsfähigkeit des Baugesuchs in Bezug auf die Abbauphase AE, obwohl sie das Gesuch nicht als unvollständig bezeichnete. Stattdessen verwies sie die Beschwerdeführerin unter Hinweis auf die bestehenden Unwägbarkeiten auf die Möglichkeit, später nochmals ein Baugesuch einzureichen.
Art. 27 RPG ermöglicht die Sicherung künftiger Planungen durch die Ausscheidung von Planungszonen. Die Bestimmung ist nicht abschliessend und lässt grundsätzlich Raum für kantonale Regelungen, welche erlauben, ein Baugesuch zurückzustellen. Dass vorliegend eine bundesrechtskonforme kantonale Bestimmung existiert, welche eine Sistierung des Baugesuchsverfahrens erlauben würde, ist indessen nicht ersichtlich und wird im angefochtenen Entscheid auch nicht geltend gemacht. Die Nichtbehandlung eines Gesuchs ohne entsprechende gesetzliche Grundlage stellt indessen eine Rechtsverweigerung dar (BGE 111 Ib 85 E. 2 S. 87).
Indem das Verwaltungsgericht das Rechtsmittel der Beschwerdeführerin abwies, ohne über die Baubewilligungsfähigkeit des ganzen Projekts bzw. über die Abbauphase AE zu entscheiden, verletzte es deshalb das Verbot der formellen Rechtsverweigerung (Art. 29 Abs. 1 BV). Der angefochtene Entscheid ist somit aufzuheben und die Angelegenheit zur vollständigen materiellen Beurteilung an die Vorinstanz zurückzuweisen. Diese wird zu entscheiden haben, ob die Baubewilligung im heutigen Zeitpunkt, allenfalls unter Auflagen oder Bedingungen, erteilt werden kann oder ob die Baubewilligung hinsichtlich der Etappe AE zu verweigern ist.
3. Die Beschwerde ist gutzuheissen, soweit darauf einzutreten ist. Die Angelegenheit ist zur materiellen Beurteilung an die Vorinstanz zurückzuweisen. Es erübrigt sich damit, auf die weiteren Rügen der Beschwerdeführerin einzugehen.
Diesem Ausgang entsprechend sind im bundesgerichtlichen Verfahren keine Kosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Der Kanton Schwyz hat der obsiegenden, anwaltlich vertretenen Beschwerdeführerin eine dem Aufwand entsprechende Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, soweit darauf eingetreten wird. Der Entscheid vom 27. Oktober 2009 des Verwaltungsgerichts des Kantons Schwyz wird aufgehoben.
Die Angelegenheit wird zur materiellen Beurteilung an das Verwaltungsgericht zurückgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Schwyz hat der Beschwerdeführerin für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 1'500.-- auszurichten.
4. Dieses Urteil wird den Parteien, dem Gemeinderat Schwyz, dem Amt für Raumentwicklung, dem Regierungsrat und dem Verwaltungsgericht des Kantons Schwyz, Kammer III, sowie dem Bundesamt für Umwelt und dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 15. April 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Dold