Sachverhalt:
Sachverhalt:
A. Am 31. März 2005 reichten Ehepaar X._ bei der Gemeinde Walchwil ein Gesuch für den Anbau eines Stöcklis an das bestehende Wohnhaus auf dem Grundstück Nr. 509, "Schwändeli", ein. Mit Verfügung vom 18. April 2005 stellte das Amt für Raumplanung des Kantons Zug fest, dem Vorhaben könne nicht zugestimmt werden. Das baufällige frühere Wohnhaus mit einer Wohnfläche von 220 m2 sei im Jahre 2002 ersetzt worden, wobei der Ersatzbau über eine Wohnfläche von 300 m2 verfüge. Eine nochmalige Erweiterung sei nicht möglich.
A. Am 31. März 2005 reichten Ehepaar X._ bei der Gemeinde Walchwil ein Gesuch für den Anbau eines Stöcklis an das bestehende Wohnhaus auf dem Grundstück Nr. 509, "Schwändeli", ein. Mit Verfügung vom 18. April 2005 stellte das Amt für Raumplanung des Kantons Zug fest, dem Vorhaben könne nicht zugestimmt werden. Das baufällige frühere Wohnhaus mit einer Wohnfläche von 220 m2 sei im Jahre 2002 ersetzt worden, wobei der Ersatzbau über eine Wohnfläche von 300 m2 verfüge. Eine nochmalige Erweiterung sei nicht möglich.
B. Gegen diese Verfügung gelangte die Bauherrschaft ans kantonale Verwaltungsgericht. Dieses wies die Beschwerde mit Urteil vom 23. Juni 2006 mit der Begründung ab, die Betriebsleitung und Bearbeitung liege nach wie vor in den Händen der beiden Beschwerdeführer. Von einer abtretenden Generation könne nicht ernsthaft gesprochen werden. Selbst wenn es tatsächlich um die Ablösung einer Betriebsleiterfamilie gehen würde, müsse man feststellen, dass genügend Wohnraum für eine Betriebsleiterfamilie und eine abtretende Generation vorhanden sei.
B. Gegen diese Verfügung gelangte die Bauherrschaft ans kantonale Verwaltungsgericht. Dieses wies die Beschwerde mit Urteil vom 23. Juni 2006 mit der Begründung ab, die Betriebsleitung und Bearbeitung liege nach wie vor in den Händen der beiden Beschwerdeführer. Von einer abtretenden Generation könne nicht ernsthaft gesprochen werden. Selbst wenn es tatsächlich um die Ablösung einer Betriebsleiterfamilie gehen würde, müsse man feststellen, dass genügend Wohnraum für eine Betriebsleiterfamilie und eine abtretende Generation vorhanden sei.
C. Mit Eingabe vom 4. September 2006 erhebt das Ehepaar X._ Verwaltungsgerichtsbeschwerde beim Bundesgericht. Es beantragt die Aufhebung des Urteils vom 23. Juni 2006. Gleichzeitig ersuchen sie um die Baubewilligung beziehungsweise darum, das kantonale Amt für Raumplanung anzuweisen, seine Zustimmung zur kommunalen Bewilligung zu erteilen. Eventualiter sei die Sache an die Vorinstanz zur neuen Entscheidung im Sinne der bundesgerichtlichen Erwägungen zurückzuweisen.
Das Amt für Raumplanung und das Verwaltungsgericht des Kantons Zug schliessen beide auf Abweisung der Beschwerde.
Das Bundesamt für Raumentwicklung (ARE) verzichtet auf eine Stellungnahme.
In ihrer Replik halten die Beschwerdeführer sinngemäss an ihren Anträgen fest.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. Am 1. Januar 2007 ist das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) in Kraft getreten. Der angefochtene Entscheid ist am 23. Juni 2006 ergangen, mithin noch unter der Geltung des Bundesrechtspflegegesetzes vom 16. Dezember 1943 (OG). Gemäss <ref-law> richtet sich das Beschwerdeverfahren nach den Bestimmungen des OG.
1.1 Gemäss Art. 34 Abs. 1 RPG ist die Verwaltungsgerichtsbeschwerde an das Bundesgericht u.a. zulässig gegen Entscheide kantonaler Instanzen über die Zonenkonformität von Bauten und Anlagen ausserhalb der Bauzonen und über Bewilligungen i.S.v. Art. 24-24d RPG (<ref-ruling> E. 1.1 S. 324 mit Hinweisen).
1.2 Die Beschwerdeführer sind als Baugesuchsteller, deren Vorhaben nicht bewilligt wurde, zur Beschwerdeführung legitimiert (Art. 103 lit. a OG). Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Verwaltungsgerichtsbeschwerde einzutreten.
1.3 Mit Verwaltungsgerichtsbeschwerde kann die Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, sowie die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts gerügt werden (Art. 104 lit. a und b OG). Hat - wie hier - eine richterliche Behörde als Vorinstanz entschieden und den Sachverhalt nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensvorschriften festgestellt, ist das Bundesgericht an die Sachverhaltsfeststellung im angefochtenen Entscheid gebunden (Art. 105 Abs. 2 OG).
1.3 Mit Verwaltungsgerichtsbeschwerde kann die Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, sowie die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts gerügt werden (Art. 104 lit. a und b OG). Hat - wie hier - eine richterliche Behörde als Vorinstanz entschieden und den Sachverhalt nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensvorschriften festgestellt, ist das Bundesgericht an die Sachverhaltsfeststellung im angefochtenen Entscheid gebunden (Art. 105 Abs. 2 OG).
2. Die Beschwerdeführer machen geltend, beim "Schwändeli" handle es sich um einen landwirtschaftlichen Betrieb. Das Verwaltungsgericht habe diese zentrale Frage nie geklärt, sondern sich auf die unzutreffenden, unsubstantiierten und untauglichen Ausführungen des Vertreters des Landwirtschaftsamtes anlässlich des Augenscheins gestützt. Sie werfen dem Verwaltungsgericht in verschiedener Hinsicht die Verletzung von Bundesrecht vor. Die Vorinstanz verkenne, dass es sich bei den Räumlichkeiten für die Klassenlager nicht um zusätzlichen Wohnraum handle, sondern um seit jeher gewerblich genutzten Raum, der von der Betreiberwohnung her nicht zugänglich sei und überdies Bestandesschutz geniesse.
2.1 Vorab ist zu prüfen, ob das Vorhaben der Beschwerdeführer den Vorschriften der Landwirtschaftszone entspricht und als zonenkonform zu bewilligen ist (Art. 22 Abs. 2 i.V.m. Art. 16a RPG). Wird dies verneint, stellt sich die Frage, ob allenfalls eine Ausnahmebewilligung nach den Art. 24 ff. RPG möglich wäre.
2.2 Vorliegend ist umstritten, ob es sich beim Betrieb der Beschwerdeführer überhaupt um einen zonenkonformen Betrieb handelt. Die Bewilligung von zonenkonformem Wohnraum kommt nur für landwirtschaftliche Gewerbe im Sinne von Art. 7 des Bundesgesetzes vom 4. Oktober 1991 über das bäuerliche Bodenrecht (BGBB; SR 211.412.11) in Frage (Bundesamt für Raumentwicklung, Erläuterungen zur Raumplanungsverordnung, Bern 2005, Ziff. IV 2.3.1 S. 31). Als landwirtschaftliches Gewerbe gilt eine Gesamtheit von landwirtschaftlichen Grundstücken, Bauten und Anlagen, die als Grundlage der landwirtschaftlichen Produktion dient und zu deren Bewirtschaftung, wenn sie landesüblich ist, mindestens drei Viertel einer Standardarbeitskraft nötig sind. Der Bundesrat legt die Faktoren und die Werte für die Berechnung einer Standardarbeitskraft in Abstimmung mit dem Landwirtschaftsrecht fest. Weiter sieht Art. 34 Abs. 4 der Raumplanungsverordnung vom 28. Juni 2000 (RPV; SR 700.1) in allgemeiner Weise vor, dass die Bewilligung nur erteilt werden darf, wenn die Baute oder Anlage für die in Frage stehende Bewirtschaftung notwendig ist (lit. a), wenn der Baute oder Anlage am vorgesehenen Standort keine überwiegenden Interessen entgegenstehen (lit. b) und wenn der Betrieb längerfristig bestehen kann (lit. c).
2.3 Die Beschwerdeführer sind sinngemäss der Auffassung, die Ausrichtung von Direktzahlungen lasse automatisch auf das Vorliegen eines landwirtschaftlichen Betriebs schliessen. Dem ist jedoch nicht so. Die Anerkennung als landwirtschaftlicher Betrieb im Sinn von Art. 6 der Landwirtschaftlichen Begriffsverordnung vom 7. Dezember 1998 (LBV, SR 910.91) beschränkt sich auf den Anwendungsbereich des Bundesgesetzes über die Landwirtschaft vom 29. April 1998 (Landwirtschaftsgesetz, LwG; SR 901.1) und der gestützt darauf erlassenen Verordnungen (siehe Art. 1 Abs. 1 LBV). Die landwirtschaftliche Bewirtschaftung im Sinne des RPG stellt auf andere Kriterien ab. Die Tatsache, dass der im Streit liegende Betrieb die Anforderungen für den Erhalt von Direktzahlungen erfüllt, lässt weder darauf schliessen, dass der Betrieb längerfristig bestehen kann (<ref-law>), noch dass ein dauernder, auf Wirtschaftlichkeit gerichteter und organisierter Einsatz von Kapital und Arbeit in einem wirtschaftlich bedeutsamen Umfang geleistet wird (vgl. Urteil 1A.256/2005 des Bundesgerichts vom 10. März 2006, E. 2.2). Fehlt es an der Wirtschaftlichkeit des zu beurteilenden Betriebs und damit an einer wesentlichen Voraussetzung für eine Baubewilligung in der Landwirtschaftszone, ist nicht relevant, ob es sich um einen Betrieb im Sinne der Landwirtschaftsgesetzgebung handelt (vgl. die Urteile 1A.64/2006 vom 7. November 2006, E. 3.3 und 1A.312/2005 vom 27. September 2006, E. 4.3).
2.4 Im kantonalen Verfahren haben das Amt für Raumplanung und das Amt für Landwirtschaft sinngemäss den Standpunkt vertreten, der Umstand, dass der Standardarbeitskraft-Wert (SAK-Wert) gemäss den Berechnungen für die Direktzahlungen für das Jahr 2005 0.77 SAK und für 2006 0.906 SAK betragen habe, genüge nicht für die Bejahung eines landwirtschaftlichen Betriebes im Sinne des RPG. Dem ist insofern zuzustimmen, als der Arbeits- bzw. Zeitaufwand nicht allein ausschlaggebend ist, kann doch der zeitliche Aufwand für Freizeitbeschäftigungen durchaus beträchtlich sein, ohne dass bereits eine berufliche Tätigkeit vorliegt (vgl. Urteile 1A.64/2006 vom 7. November 2006, E. 3.2 und 1A.134/2002 vom 17. Juli 2003, E. 3.3, publ. in ZBl 106/2005 S. 158 ff.). Das Amt für Landwirtschaft hat zudem für den beschwerdeführerischen Betrieb einen SAK-Wert von lediglich 0.46 errechnet (Stellungnahme des kantonalen Amtes für Landwirtschaft vom 14. Juni 2005 im Rahmen des vorinstanzlichen Verfahrens). Auf welche Zahlen tatsächlich abzustellen ist, kann vorliegend offen bleiben, wie die E. 3 und 4 hiernach zeigen werden.
2.5 Indes hat das Verwaltungsgericht zu Recht in Erwägung gezogen, die Betriebsnachfolge könne im jetzigen Zeitpunkt nicht als gesichert bezeichnet werden (vgl. <ref-law>). <ref-law> soll sicherstellen, dass in der Landwirtschaftszone nicht unnötig neue Bauten und Anlagen erstellt werden, die infolge Betriebsaufgabe schon nach kurzer Zeit wieder leer stehen (BBl 1996 III 503; ARE, Erläuterungen zur RPV, Ziff. IV 2.3.1 S. 32). Das in der zitierten Bestimmung verankerte Erfordernis der wirtschaftlichen Rentabilität und Überlebensfähigkeit des Betriebs gilt für die Bewilligung von Wohn- und Ökonomiebauten; beim Betrieb kann es sich aber um ein Hauptgewerbe oder um einen Nebenerwerbsbetrieb handeln (vgl. BBl 1996 III 531 f. zu Art. 16a RPG). Die Tochter der Beschwerdeführer ist jedenfalls derzeit noch nicht Betriebsleiterin. Daran ändert nichts, dass die Beschwerdeführer mit ihr im Dezember 2005 eine Betriebsleitergemeinschaft gegründet haben. Es ist unbestritten, dass die Tochter momentan zu 75 % ausserhalb des "Schwändeli" in einem Handels- und Produktionsbetrieb tätig ist. Die Feststellung des Verwaltungsgerichts, wonach die faktische Betriebsleitung nach wie vor bei den 55 und 63 Jahre alten Eltern liegt, ist mitnichten willkürlich.
2.6 Hinzu kommt, dass die Grösse des Betriebs (ca. 3 ha Eigenland, bewirtschaftete Fläche inkl. Pachtland ca. 4.8 ha) und die fehlende landwirtschaftliche Ausbildung der designierten neuen Betriebsleiterin das längerfristige Überleben des Betriebes zwar nicht ausschliessen, aber doch als fraglich erscheinen lassen. Gesicherte Daten dazu und zur Rentabilität des Betriebes liegen jedenfalls nicht vor. Selbst wenn aber zu Gunsten der Beschwerdeführer davon auszugehen wäre, dass sie einen überlebensfähigen landwirtschaftlichen Betrieb führen, ist Folgendes zu berücksichtigen:
2.6 Hinzu kommt, dass die Grösse des Betriebs (ca. 3 ha Eigenland, bewirtschaftete Fläche inkl. Pachtland ca. 4.8 ha) und die fehlende landwirtschaftliche Ausbildung der designierten neuen Betriebsleiterin das längerfristige Überleben des Betriebes zwar nicht ausschliessen, aber doch als fraglich erscheinen lassen. Gesicherte Daten dazu und zur Rentabilität des Betriebes liegen jedenfalls nicht vor. Selbst wenn aber zu Gunsten der Beschwerdeführer davon auszugehen wäre, dass sie einen überlebensfähigen landwirtschaftlichen Betrieb führen, ist Folgendes zu berücksichtigen:
3. 3.1 Wohnbauten waren im Lichte der bis am 31. August 2000 geltenden Fassung von Art. 16 des Raumplanungsgesetzes (aRPG) in der Landwirtschaftszone nur zonenkonform, wenn sie hinsichtlich Standort und Ausgestaltung in einer unmittelbaren funktionellen Beziehung zu einem Landwirtschafts- oder Gartenbaubetrieb standen und im Hinblick auf die bodenabhängige Nutzung des Landes als unentbehrlich erschienen. Die bundesgerichtliche Rechtsprechung verlangte, dass der Wohnraum für ein ordnungsgemässes, zonenkonformes Bewirtschaften des Bodens ein längeres Verweilen am betreffenden Ort erforderte und dieser von der nächstgelegenen Wohnzone weit entfernt lag. Das Vorrecht, ausserhalb der Bauzone zu wohnen, sollte damit einem relativ engen Personenkreis vorbehalten bleiben. Dazu zählten nur Leute, die als Betriebsinhaber oder Hilfskräfte unmittelbar in der Landwirtschaft tätig waren, und ihre Familienangehörigen (<ref-ruling> E. 3a S. 68 f., 307 E. 3b S. 310; <ref-ruling> E. 3a S. 299; <ref-ruling> E. 4d S. 141). Im dargestellten eng gezogenen Rahmen hat die Rechtsprechung auch Wohnraum für die abtretende Generation, die ein Leben lang in der Landwirtschaft tätig war, als zonenkonform anerkannt. Massgeblich war, dass es einem betagten Bauern nach Übergabe des Gewerbes an einen jüngeren Inhaber nicht zugemutet werden könne, seinen Hof zu verlassen. Ausserdem sei der frühere Landwirt in der Lage, mit Besorgungen oder Ratschlägen weiterhin wertvolle Dienste für die Bewirtschaftung des Hofes zu leisten, namentlich in Zeiten grosser Arbeitsbelastung oder bei Krankheit oder Militärdienst des Betriebsinhabers. Auf diese Weise könne die bäuerliche Sozialstruktur, zu der auch das Verbleiben der abtretenden Generation auf dem Hof gehöre, aufrechterhalten werden (<ref-ruling> E. 3a S. 230 f.; Urteil 1A.19/2001 des Bundesgerichts vom 22. August 2001, publ. in ZBl 103/2002 S. 582, E. 3b).
3.2 Art. 16a RPG umschreibt die Zonenkonformität in der Landwirtschaftszone neu. Danach sind in der Landwirtschaftszone Bauten und Anlagen zonenkonform, die zur landwirtschaftlichen Bewirtschaftung oder für den produzierenden Gartenbau nötig sind. Die vorgenommene Erweiterung bezieht sich jedoch nur auf die als zonenkonform anerkannten landwirtschaftlichen Nutzungsformen, die sich jetzt nicht mehr allein auf die bodenabhängige Produktion beschränken. Dagegen sollte an den strengen Kriterien, welche die bundesgerichtliche Rechtsprechung für die Zonenkonformität von Wohnbauten aufgestellt hatte, festgehalten werden (vgl. Botschaft des Bundesrats zu einer Teilrevision des Bundesgesetzes über die Raumplanung vom 22. Mai 1996, BBl 1996 III 533; Rudolf Muggli, Kurzkommentar zum Entwurf für eine Änderung des Raumplanungsgesetzes vom 20. März 1998, Raum & Umwelt 1998, Art. 16a Rz. 4; Urteil 1A.19/2001 des Bundesgerichts vom 22. August 2001, publ. in ZBl 103/2002 S. 582, E. 3b). Davon ging auch der Verordnungsgeber beim Erlass der neuen konkretisierenden Norm von <ref-law> aus. Danach sind Bauten für den Wohnbedarf in der Landwirtschaftszone zonenkonform, wenn sie für den Betrieb des entsprechenden landwirtschaftlichen Gewerbes unentbehrlich sind. Das setzt voraus, dass aus betrieblichen Gründen die ständige Anwesenheit der bewirtschaftenden Personen erforderlich und die nächste Wohnzone weit entfernt und schwer erreichbar ist (<ref-ruling> E. 2b S. 177/178; <ref-ruling> E. 3b S. 310 f., je mit Hinweisen). <ref-law> kodifiziert die bisherige Rechtsprechung, die weiterhin wegleitend sein soll (Urteile 1A.19/2001 des Bundesgerichts vom 22. August 2001, publ. in ZBl 103/2002 S. 582, E. 3b und 1A.205/2004 vom 11. Februar 2005, in RDAF 2005 I p. 365, E. 3.3). Wohnraum ausserhalb der Bauzone ist nur zulässig, wenn die Bewirtschaftung aus objektiven Gründen nicht von der Bauzone aus möglich ist (Entscheid A.179/1987 vom 4. August 1987, E. 3a).
3.3 In jedem einzelnen Fall ist nach objektiven Kriterien aufgrund einer gesamthaften, mehr an qualitativen denn an quantitativen Faktoren anknüpfenden Betrachtungsweise zu beurteilen, ob eine betriebliche Notwendigkeit besteht, ausserhalb der Bauzonen Wohnsitz zu nehmen, und damit das Wohnen in der Landwirtschaftszone im Sinne von Art. 16a RPG als zonenkonform bezeichnet werden kann. Auf subjektive Vorstellungen und Wünsche des Einzelnen kann es ebenso wenig ankommen wie auf die persönliche Zweckmässigkeit und Bequemlichkeit (<ref-ruling> E. 3a S. 68 f., 307 E. 3b S. 310, je mit Hinweisen).
3.4 Im vorliegenden Fall wurde das ehemalige Wohnhaus mit einer Geschossfläche von 220 m2 im Jahr 2002 abgebrochen und durch einen Neubau von 300 m2 ersetzt. Das Verwaltungsgericht hat zur Berechnung des Wohnraumbedarfs auf die Anleitung für die Schätzung des landwirtschaftlichen Ertragswertes (Anhang 1 zur Schätzungsanleitung der Verordnung zum bäuerlichen Bodenrecht vom 4. Oktober 1993 [VBB; SR 211.412.110]) abgestellt. Gemäss dem im Auftrag der Schätzungskommission des Kantons Zug am 4. November 2004 erstellten Schätzungsbericht umfasst der gesamte Wohnraum 16.3 Raumeinheiten, demgegenüber der Normalbedarf bei 6 Wohneinheiten liegt. Diese Zahlen bestreiten die Beschwerdeführer nicht grundsätzlich, sie stellen aber deren Eignung als Berechnungsgrundlage in Abrede. Die Schätzungsanleitung bildet zwar keine geeignete Grundlage zur Bestimmung des objektiven Wohnraumbedarfs im Sinne von Art. 22 Abs. 2 lit. a RPG. Sie dient in erster Linie dazu, den Wohnraum zu bestimmen, den sich der übernahmewillige Erbe zum landwirtschaftlichen Ertragswert anrechnen lassen kann (Urteile 1A.78/2006 vom 1. Dezember 2006, E. 4.2; 1A.70/1996 vom 27. Juni 1997, E. 2b). Immerhin zeigt sich, dass dieser Normalbedarf vorliegend um 10.3 Raumeinheiten überschritten wäre, was als klares Indiz für eine ausreichende Wohnfläche gedeutet werden kann.
3.5 Angesichts der Grösse des Betriebs, welcher ca. 3 ha Eigenland umfasst und eine landwirtschaftliche Nutzfläche von insgesamt 4.73 ha (act. V 2005/51 Nr. 1) aufweist, sowie des Umstandes, dass die Betriebsnachfolge faktisch noch nicht stattgefunden hat (und auch nicht als gesichert gelten kann), ist der Vorinstanz keine Verletzung von Bundesrecht vorzuwerfen, wenn sie den vorhandenen Wohnraum als bei Weitem genügend erachtet hat. Selbst wenn die Ablösung der Eltern dereinst stattfinden sollte, sind 300 m2 als ausreichend zu bezeichnen. Mit der zonenfremden Durchführung von Klassenlagern kann jedenfalls kein zusätzlicher Wohnbedarf ausserhalb Bauzone begründet werden.
3.5 Angesichts der Grösse des Betriebs, welcher ca. 3 ha Eigenland umfasst und eine landwirtschaftliche Nutzfläche von insgesamt 4.73 ha (act. V 2005/51 Nr. 1) aufweist, sowie des Umstandes, dass die Betriebsnachfolge faktisch noch nicht stattgefunden hat (und auch nicht als gesichert gelten kann), ist der Vorinstanz keine Verletzung von Bundesrecht vorzuwerfen, wenn sie den vorhandenen Wohnraum als bei Weitem genügend erachtet hat. Selbst wenn die Ablösung der Eltern dereinst stattfinden sollte, sind 300 m2 als ausreichend zu bezeichnen. Mit der zonenfremden Durchführung von Klassenlagern kann jedenfalls kein zusätzlicher Wohnbedarf ausserhalb Bauzone begründet werden.
4. Insbesondere gilt aber zu beachten, dass der Neu- resp. Wiederaufbau im Jahr 2002 gestützt auf Art. 24c RPG bewilligt wurde. In der damaligen Verfügung der Baudirektion vom 4. März 2002 (Beilage A6 des Amtes für Raumplanung) wurde in E. 3 ausdrücklich festgehalten, das Wohnhaus entspreche nicht dem Zweck der Nutzungszone. Das Bauvorhaben sei deshalb als Ausnahme gemäss Art. 24c RPG zu behandeln.
4.1 Nach Art. 24c Abs. 2 RPG können bestimmungsgemäss nutzbare, aber zonenfremde Bauten und Anlagen ausserhalb der Bauzone teilweise geändert oder massvoll erweitert werden, sofern sie rechtmässig erstellt oder geändert worden sind; in jedem Fall bleibt die Vereinbarkeit mit den wichtigen Anliegen der Raumplanung vorbehalten. Die Zulässigkeit einer teilweisen Änderung oder massvollen Erweiterung ergibt sich unmittelbar aus dem Bundesrecht (<ref-ruling> E. 3b S. 219 mit Hinweisen). Der Bundesrat hat in Art. 41 und 42 RPV die zulässigen Änderungen im Sinne von Art. 24c Abs. 2 RPG konkretisiert. Nach <ref-law> sind Änderungen zulässig, wenn die Identität der Baute oder Anlage einschliesslich ihrer Umgebung in den wesentlichen Zügen gewahrt bleibt. Verbesserungen gestalterischer Art sind zulässig. Ob die Identität der Baute im Wesentlichen gewahrt bleibt, ist gemäss <ref-law> unter Würdigung der gesamten Umstände zu beurteilen. Sie ist jedenfalls dann nicht mehr gewahrt, wenn die zonenwidrig genutzte Fläche um mehr als 30 % erweitert wird, wobei Erweiterungen innerhalb des bestehenden Gebäudevolumens nur zur Hälfte angerechnet werden (lit. a), oder wenn die zonenwidrig genutzte Fläche innerhalb oder ausserhalb des bestehenden Gebäudevolumens um insgesamt mehr als 100 m2 erweitert wird (lit. b).
4.2 Am 7. Dezember 2001 hatte der Baudirektor in einem Schreiben an den Rechtsvertreter der Beschwerdeführer zudem festgestellt, die anrechenbare Geschossfläche des abzubrechenden Wohnhauses betrage 220 m2. Die massvolle Erweiterung von 30 % ergebe unter Berücksichtigung einer geringfügigen Aufrundung eine maximale anrechenbare Geschossfläche von 300 m2. Diese Fläche sei auf jeden Fall massgebend und es könnten keine zusätzlichen Vergrösserungen gestattet werden. Die Beschwerdeführer haben denn von dieser Erweiterungsmöglichkeit auch Gebrauch gemacht. Es ist nicht ersichtlich und wurde auch nicht dargetan, inwiefern sich an der damaligen Ausgangslage massgeblich etwas geändert haben sollte. Offenbar hatten die Beschwerdeführer damals keine Einwände dagegen, nicht als zonenkonformer landwirtschaftlicher Betrieb qualifiziert zu werden. Die Verfügung vom 4. März 2002 ist jedenfalls in Rechtskraft erwachsen. Wurde aber das maximal zulässige Mass an Erweiterung gestützt auf Art. 24c Abs. 2 RPG bereits ausgeschöpft, kann keine weitere Ausnahmebewilligung mehr erteilt werden.
4.2 Am 7. Dezember 2001 hatte der Baudirektor in einem Schreiben an den Rechtsvertreter der Beschwerdeführer zudem festgestellt, die anrechenbare Geschossfläche des abzubrechenden Wohnhauses betrage 220 m2. Die massvolle Erweiterung von 30 % ergebe unter Berücksichtigung einer geringfügigen Aufrundung eine maximale anrechenbare Geschossfläche von 300 m2. Diese Fläche sei auf jeden Fall massgebend und es könnten keine zusätzlichen Vergrösserungen gestattet werden. Die Beschwerdeführer haben denn von dieser Erweiterungsmöglichkeit auch Gebrauch gemacht. Es ist nicht ersichtlich und wurde auch nicht dargetan, inwiefern sich an der damaligen Ausgangslage massgeblich etwas geändert haben sollte. Offenbar hatten die Beschwerdeführer damals keine Einwände dagegen, nicht als zonenkonformer landwirtschaftlicher Betrieb qualifiziert zu werden. Die Verfügung vom 4. März 2002 ist jedenfalls in Rechtskraft erwachsen. Wurde aber das maximal zulässige Mass an Erweiterung gestützt auf Art. 24c Abs. 2 RPG bereits ausgeschöpft, kann keine weitere Ausnahmebewilligung mehr erteilt werden.
5. Mit den kantonalen Behörden ist demnach festzuhalten, dass die Bewilligung für ein Stöckli weder gestützt auf Art. 22 Abs. 2 i.V.m. Art. 16a RPG noch nach Art. 24c Abs. 2 RPG erteilt werden kann. Selbst wenn der Betrieb als zonenkonform zu bezeichnen wäre, verfügt er über genügend Wohnraum für zwei Generationen. Bei Verneinung der Zonenkonformität wurde das Mass an zulässiger Erweiterung bereits mit dem Neubau im Jahre 2002 ausgeschöpft.
5. Mit den kantonalen Behörden ist demnach festzuhalten, dass die Bewilligung für ein Stöckli weder gestützt auf Art. 22 Abs. 2 i.V.m. Art. 16a RPG noch nach Art. 24c Abs. 2 RPG erteilt werden kann. Selbst wenn der Betrieb als zonenkonform zu bezeichnen wäre, verfügt er über genügend Wohnraum für zwei Generationen. Bei Verneinung der Zonenkonformität wurde das Mass an zulässiger Erweiterung bereits mit dem Neubau im Jahre 2002 ausgeschöpft.
6. Die Verwaltungsgerichtsbeschwerde ist demnach abzuweisen. Bei diesem Verfahrensausgang haben die Beschwerdeführer die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 156 Abs. 1 OG). Parteientschädigungen sind keine auszurichten (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 3'000.-- wird den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
2. Die Gerichtsgebühr von Fr. 3'000.-- wird den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3. Es werden keine Parteientschädigungen zugesprochen.
3. Es werden keine Parteientschädigungen zugesprochen.
4. Dieses Urteil wird den Beschwerdeführern, dem Amt für Raumplanung und dem Verwaltungsgericht des Kantons Zug, Verwaltungsrechtliche Kammer, sowie dem Bundesamt für Raumentwicklung schriftlich mitgeteilt.
Lausanne, 15. Februar 2007
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin: