Sachverhalt: Sachverhalt: A. Am 25. August 1999 erteilte das Amt für Raumplanung des Kantons Schwyz der damaligen Eigentümerin des in der Landwirtschaftszone der Gemeinde Schwyz gelegenen Grundstückes KTN 2472 die Ausnahmebewilligung für eine Nutzungsänderung: Das nicht mehr oft benützte Ferien- und Skihaus sollte neu als Restaurant dienen. Die bewilligte Nutzungsänderung beschränkte sich örtlich auf die Räumlichkeiten des Erdgeschosses (Entrée, WC, Aufenthaltsraum, Essraum und Küche) und zeitlich auf die Skisaison. Am 29. Oktober 1999 erteilte der Gemeinderat Schwyz der Y._ AG als Bauherrin die Baubewilligung. Im November 1999 erwarb X._ die Liegenschaft und nahm in der Folge verschiedene bauliche Änderungen vor, welche von der Ausnahmebewilligung nicht erfasst wurden. Er reichte darum am 11. Dezember 2000 ein nachträgliches Baugesuch ein, wobei er zusätzlich um die Bewilligung für ein gedecktes Entrée im Erdgeschoss, eine Schirmbar sowie diverse Spielgeräte ersuchte. Gegen das Baugesuch erhoben sowohl der WWF Schweiz als auch Pro Natura Schweiz, beide vertreten durch ihre jeweilige Kantonalsektion, Einsprache. Im November 1999 erwarb X._ die Liegenschaft und nahm in der Folge verschiedene bauliche Änderungen vor, welche von der Ausnahmebewilligung nicht erfasst wurden. Er reichte darum am 11. Dezember 2000 ein nachträgliches Baugesuch ein, wobei er zusätzlich um die Bewilligung für ein gedecktes Entrée im Erdgeschoss, eine Schirmbar sowie diverse Spielgeräte ersuchte. Gegen das Baugesuch erhoben sowohl der WWF Schweiz als auch Pro Natura Schweiz, beide vertreten durch ihre jeweilige Kantonalsektion, Einsprache. B. Mit Verfügung vom 19. Dezember 2001 erteilte das Amt für Raumplanung die Ausnahmebewilligung unter verschiedenen Vorbehalten und Auflagen. Unter anderem wurde was folgt festgehalten: .. (...). 2. Die Raumnutzung bleibt zeitlich auf die Wintersaison und örtlich auf das Untergeschoss des altrechtlich bestehenden Gebäudes, den Nebenraum (Lager), den WC/Garderoberaum sowie auf eine offene Vorplatzfläche von 60 m2 beschränkt. 3. Von der Bewilligung bleiben im Sinne der Erwägungen ausgenommen: - der Holzschopf mit der Überdachung des WC/Garderobe-Zugangs; - der befestigte Vorplatz östlich der Ferienwohnung soweit der minimale Stockabstand von 6 m ab (erg. "Stockgrenze") unterschritten ist; - Erweiterung des südlichen Vorplatzes und die Überdachung der Feuerstelle. 4. Die Schirmbar und das Aufstellen von Kinderspielgeräten werden nicht bewilligt. 5. Die Bauten und Anlagen gemäss Ziff. 3 sind im Sinne der Erwägungen bis Ende Mai 2002, spätestens jedoch 3 Monate nach Rechtskraft dieser Verfügung vollständig abzubrechen und ordnungsgemäss zu entsorgen. 6. Für den bereits errichteten Nebenraum bei der Restaurantküche wird im Sinne der Erwägungen ein Nutzungsverbot erlassen, bis die Abwasserentsorgung im Einzugsgebiet gewässerschutzgesetzeskonform erfolgt." Diese Verfügung wurde X._ mit Beschluss des Gemeinderates Schwyz vom 15. November 2002 eröffnet. Diese Verfügung wurde X._ mit Beschluss des Gemeinderates Schwyz vom 15. November 2002 eröffnet. C. Gegen den gemeinderätlichen Beschluss gelangte der Gesuchsteller an den Regierungsrat des Kantons Schwyz, welcher die Beschwerde am 12. August 2003 abwies. Daraufhin erhob X._ Beschwerde beim Verwaltungsgericht. Das Verwaltungsgericht hiess die Beschwerde mit Urteil vom 18. Februar 2004 insoweit gut, als die Entscheide des Regierungsrates und des Amtes für Raumplanung in Bezug auf den östlichen Vorplatz aufgehoben wurden. Die Sache wurde in diesem Punkt an das Amt für Raumplanung zurückgewiesen, welches nach rechtskräftiger Erledigung des hängigen Waldfeststellungsverfahrens neu über den östlichen Vorplatz befinden sollte. Im Übrigen wurde die Beschwerde abgewiesen, soweit darauf einzutreten war. Daraufhin erhob X._ Beschwerde beim Verwaltungsgericht. Das Verwaltungsgericht hiess die Beschwerde mit Urteil vom 18. Februar 2004 insoweit gut, als die Entscheide des Regierungsrates und des Amtes für Raumplanung in Bezug auf den östlichen Vorplatz aufgehoben wurden. Die Sache wurde in diesem Punkt an das Amt für Raumplanung zurückgewiesen, welches nach rechtskräftiger Erledigung des hängigen Waldfeststellungsverfahrens neu über den östlichen Vorplatz befinden sollte. Im Übrigen wurde die Beschwerde abgewiesen, soweit darauf einzutreten war. D. Mit Eingabe vom 2. April 2004 erhebt X._ Verwaltungsgerichtsbeschwerde beim Bundesgericht. Er beantragt die Aufhebung des vorinstanzlichen Entscheides, soweit ihm die Nutzung des Nebenraumes zur Restaurantküche, die Ausnahmebewilligung für den Holzschopf mit Überdachung des WC/Garderobeneingangs, für die Erweiterung des südlichen Vorplatzes sowie für die Überdachung der Feuerstelle auf der Liegenschaft KTN 2472 verweigert wurde. Es sei ihm für diese Bauten die Bau- bzw. Nutzungsbewilligung, eventualiter unter Auflagen, zu erteilen. Im Eventualantrag ersucht er um Rückweisung der Sache an die Vorinstanz zur Neubeurteilung. Gleichzeitig stellt er Antrag auf Gewährung der aufschiebenden Wirkung. Das Verwaltungsgericht des Kantons Schwyz schliesst auf Abweisung der Beschwerde. Desgleichen beantragt der Regierungsrat, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Nach Meinung das Bundesamtes für Raumentwicklung (ARE) sprengt die Zweckänderung von einer Wohnnutzung in ein Restaurant an sich schon den Rahmen einer teilweisen Änderung nach Art. 24c Abs. 2 RPG. Der Entscheid der Vorinstanz sei darum nicht zu beanstanden, soweit er darauf hinaus laufe, eine nachträgliche Bewilligung zu verweigern und die Wiederherstellung des rechtmässigen Zustandes zu bestätigen. Das Verwaltungsgericht des Kantons Schwyz schliesst auf Abweisung der Beschwerde. Desgleichen beantragt der Regierungsrat, die Beschwerde sei abzuweisen, soweit darauf eingetreten werden könne. Nach Meinung das Bundesamtes für Raumentwicklung (ARE) sprengt die Zweckänderung von einer Wohnnutzung in ein Restaurant an sich schon den Rahmen einer teilweisen Änderung nach Art. 24c Abs. 2 RPG. Der Entscheid der Vorinstanz sei darum nicht zu beanstanden, soweit er darauf hinaus laufe, eine nachträgliche Bewilligung zu verweigern und die Wiederherstellung des rechtmässigen Zustandes zu bestätigen. E. Der Präsident der I. öffentlichrechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 11. Mai 2004 die aufschiebende Wirkung zuerkannt.