Sachverhalt: Sachverhalt: A. Am 31. März 2005 reichten Ehepaar X._ bei der Gemeinde Walchwil ein Gesuch für den Anbau eines Stöcklis an das bestehende Wohnhaus auf dem Grundstück Nr. 509, "Schwändeli", ein. Mit Verfügung vom 18. April 2005 stellte das Amt für Raumplanung des Kantons Zug fest, dem Vorhaben könne nicht zugestimmt werden. Das baufällige frühere Wohnhaus mit einer Wohnfläche von 220 m2 sei im Jahre 2002 ersetzt worden, wobei der Ersatzbau über eine Wohnfläche von 300 m2 verfüge. Eine nochmalige Erweiterung sei nicht möglich. A. Am 31. März 2005 reichten Ehepaar X._ bei der Gemeinde Walchwil ein Gesuch für den Anbau eines Stöcklis an das bestehende Wohnhaus auf dem Grundstück Nr. 509, "Schwändeli", ein. Mit Verfügung vom 18. April 2005 stellte das Amt für Raumplanung des Kantons Zug fest, dem Vorhaben könne nicht zugestimmt werden. Das baufällige frühere Wohnhaus mit einer Wohnfläche von 220 m2 sei im Jahre 2002 ersetzt worden, wobei der Ersatzbau über eine Wohnfläche von 300 m2 verfüge. Eine nochmalige Erweiterung sei nicht möglich. B. Gegen diese Verfügung gelangte die Bauherrschaft ans kantonale Verwaltungsgericht. Dieses wies die Beschwerde mit Urteil vom 23. Juni 2006 mit der Begründung ab, die Betriebsleitung und Bearbeitung liege nach wie vor in den Händen der beiden Beschwerdeführer. Von einer abtretenden Generation könne nicht ernsthaft gesprochen werden. Selbst wenn es tatsächlich um die Ablösung einer Betriebsleiterfamilie gehen würde, müsse man feststellen, dass genügend Wohnraum für eine Betriebsleiterfamilie und eine abtretende Generation vorhanden sei. B. Gegen diese Verfügung gelangte die Bauherrschaft ans kantonale Verwaltungsgericht. Dieses wies die Beschwerde mit Urteil vom 23. Juni 2006 mit der Begründung ab, die Betriebsleitung und Bearbeitung liege nach wie vor in den Händen der beiden Beschwerdeführer. Von einer abtretenden Generation könne nicht ernsthaft gesprochen werden. Selbst wenn es tatsächlich um die Ablösung einer Betriebsleiterfamilie gehen würde, müsse man feststellen, dass genügend Wohnraum für eine Betriebsleiterfamilie und eine abtretende Generation vorhanden sei. C. Mit Eingabe vom 4. September 2006 erhebt das Ehepaar X._ Verwaltungsgerichtsbeschwerde beim Bundesgericht. Es beantragt die Aufhebung des Urteils vom 23. Juni 2006. Gleichzeitig ersuchen sie um die Baubewilligung beziehungsweise darum, das kantonale Amt für Raumplanung anzuweisen, seine Zustimmung zur kommunalen Bewilligung zu erteilen. Eventualiter sei die Sache an die Vorinstanz zur neuen Entscheidung im Sinne der bundesgerichtlichen Erwägungen zurückzuweisen. Das Amt für Raumplanung und das Verwaltungsgericht des Kantons Zug schliessen beide auf Abweisung der Beschwerde. Das Bundesamt für Raumentwicklung (ARE) verzichtet auf eine Stellungnahme. In ihrer Replik halten die Beschwerdeführer sinngemäss an ihren Anträgen fest.