Sachverhalt:
A. A.X._ und B.X._ sind Eigentümer des Grundstücks Nr. 1390 in Walchwil. Sie reichten ein Baugesuch für einen Neubau eines Einfamilienhauses mit Büro ein. Am 1. Oktober 2007 erteilte der Gemeinderat Walchwil die Baubewilligung.
Im Zusammenhang mit den Aushubarbeiten erstellte die Bauherrschaft eine Stützmauer zur Grubensicherung an der Grenze zum Grundstück Nr. 238 von A._. Dieser bemängelte ab dem 4. November 2008 die Sicherung der ausgehobenen Baugrube und beklagte sich über Grenzüberschreitungen beim Aushub und Abtragen des Geländes.
Am 11. Mai 2009 bewilligte der Gemeinderat Walchwil Änderungen am Bauvorhaben, am 14. Juli 2009 den Umgebungsplan. Der Gemeindeweibel stellte mit einer amtlichen Befundaufnahme vom 14. Oktober 2009 eine Grenzüberschreitung durch die Baugrubenwand um 0,5 m auf einer Länge von 8 m fest.
Nach verschiedenen Verfahrensschritten verfügte der Gemeinderat Walchwil am 21. März 2011, die Bauherrschaft habe mit Blick auf Terraingestaltung, Stützmauer und Aushubabtragungen im Bereich des Grundstücks von A._ entsprechende Pläne zur Prüfung einzureichen.
B. Die Bauherrschaft rekurrierte gegen diesen Gemeinderatsentscheid beim Regierungsrat des Kantons Zug. Dieser wies die Beschwerde am 27. September 2011 ab. Er stellte fest, dass für die bestehende Hangsicherungswand keine Baubewilligung bestehe. Die vorhandenen Baupläne entsprächen nicht den gesetzlichen Vorgaben. Zudem seien die Pläne nicht vollständig, weil bedeutende Elemente der Hangsicherungswand, wie die Erdanker, fehlten. Die Bauherrschaft habe daher die vollständigen Pläne bezüglich dieser Hangsicherungswand beim Gemeinderat einzureichen.
Gegen diesen Beschluss des Regierungsrates erhoben A.X._ und B.X._ beim Verwaltungsgericht des Kantons Zug Beschwerde. Dieses wies die Beschwerde am 25. Juli 2012 ab. Es hielt fest, die aktuelle Situation entspreche nicht dem vom Gemeinderat am 11. Mai 2009 bewilligten Plan; für die Terrainveränderung und Aushubabtragung liege keine Bewilligung vor. Der Gemeinderat habe auch mit seiner Genehmigung des Umgebungsplans vom 14. Juli 2009 die heute über 20 m lange und 6 m hohe Stützmauer - welche die Grenze zum Grundstück von A._ auf einer Länge von 8 m um 0,5 m überschreitet und diesen mit ihren 12 m langen unterirdischen Ankern beeinträchtigt - nicht bewilligt. Auch könne sich die Bauherrschaft nicht auf ihr Vertrauen in behördliches Verhalten stützen. Daraus ergebe sich, dass die Terrainveränderung und Aushubarbeiten und die erstellte Stützmauer die Einreichung von entsprechenden Plänen bzw. eines Baugesuchs bedürften.
C. Gegen dieses Urteil des Verwaltungsgerichts haben A.X._ und B.X._ beim Bundesgericht am 14. September 2012 Beschwerde in öffentlich-rechtlichen Angelegenheiten erhoben. Sie beantragen die Aufhebung des verwaltungsgerichtlichen Urteils vom 25. Juli 2012 und der gemeinderätlichen Verfügung vom 21. März 2011 und überdies die Feststellung, dass sie kein neues Baugesuch einzureichen haben.
Das Verwaltungsgericht beantragt mit seiner Vernehmlassung die Abweisung der Beschwerde. Unter Hinweis auf den angefochtenen Entscheid stellen der Gemeinderat Walchwil und der Regierungsrat denselben Antrag. In ihrer Replik halten die Beschwerdeführer an ihren Begehren fest.
Erwägungen:
1. 1.1 Das angefochtene Urteil des Verwaltungsgerichts ist ein kantonal letztinstanzlicher Entscheid in einer Materie des öffentlichen Rechts, die unter keinen Ausschlussgrund fällt. Die Beschwerde ist rechtzeitig erhoben. Insoweit erweist sich die vorliegende Beschwerde in öffentlich-rechtlichen Angelegenheiten als zulässig (Art. 82 lit. a, Art. 83, Art. 86 Abs. 1 lit. d und Art. 100 Abs. 1 BGG).
1.2 Zu prüfen ist die Zulässigkeit der Beschwerde allerdings unter dem Gesichtswinkel von Art. 93 BGG. Danach ist die Beschwerde gegen selbstständig eröffnete Zwischenentscheide nur zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (Abs. 1 lit. a) oder wenn die Gutheissung sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (Abs. 1 lit. b).
Der angefochtene Entscheid, mit dem die Beschwerdeführer verpflichtet werden, für Terraingestaltung, Stützmauer (inkl. Erdanker) und die Aushubabtragungen Pläne einzureichen und um eine Baubewilligung zu ersuchen, stellt offensichtlich einen Zwischenentscheid dar. Dieser bewirkt keinen nicht wieder gutzumachenden Nachteil rechtlicher Natur im Sinne von Art. 93 Abs. 1 lit. a BGG, da er durch einen späteren günstigeren Endentscheid wieder rückgängig gemacht werden könnte (vgl. allgemein BGE 137 V 314 E. 2.2.1 S. 317; 136 II 165 E. 1.2.1 S. 170).
Die erste Voraussetzung von Art. 93 Abs. 1 lit. b BGG, dass eine abweichende Beurteilung durch das Bundesgericht zu einem sofortigen Endentscheid führen könnte, ist offensichtlich erfüllt. Ob die zweite, kumulativ erforderliche Voraussetzung (vgl. BGE 133 III 629 E. 2.4.1 S. 633) vorliegt, dass damit ein bedeutender Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren erspart würde, prüft das Bundesgericht frei (vgl. BGE 134 II 142 E. 1.2.3 S. 144; Urteile 4A_48/2010 vom 9. Juli 2010 E. 1.3.3; 4A_473/2010 vom 25. Januar 2011 E. 1.2). Es ist indes Sache der Beschwerdeführer, diese Voraussetzungen darzulegen, soweit sie nicht offensichtlich in die Augen springen (vgl. Urteil 4A_473/2010 vom 25. Januar 2011 E. 1.2; BGE 134 III 426 E. 1.2 S. 429; 133 III 629 E. 2.3.1 und 2.4.2 S. 632 ff.; 133 IV 288 E. 3.2 S. 292; je mit Hinweisen). Unter die Ersparnis eines bedeutenden Aufwands an Zeit oder Kosten fallen nicht die üblichen Aufwendungen für eine Fortsetzung des Verfahrens. Erfasst wird ausschliesslich der Aufwand für ein Beweisverfahren. Für die Zulässigkeit der Beschwerde gegen einen Zwischenentscheid reicht es nicht aus, dass schwierige Rechtsfragen zu beantworten sind, die aufwendige Recherchen und Rechtsschriften erfordern mögen (vgl. Urteil 4A_210/2010 vom 1. Oktober 2010 E. 3).
Im vorliegenden Fall stehen keine aufwendigen Beweisfragen und -verfahren in Frage. Die Beschwerdeführer legen nicht dar, dass solche tatsächlich anfallen könnten. Es geht vielmehr darum, dass die Beschwerdeführer gestützt auf den angefochtenen Entscheid ein nachträgliches Baugesuch einzureichen haben, das in der Folge vom Gemeinderat Walchwil zu behandeln und beurteilen sein wird. Bei dieser Sachlage fehlt es an der Voraussetzung der Ersparnis eines bedeutenden Aufwands an Zeit oder Kosten für ein weitläufiges Beweisverfahren. Damit erweist sich die vorliegende Beschwerde als unzulässig im Sinne von Art. 93 Abs. 1 lit. b BGG.
1.3 Demnach kann auf die Beschwerde nicht eingetreten werden. Bei diesem Ausgang des Verfahrens sind die bundesgerichtlichen Kosten den Beschwerdeführern aufzuerlegen (Art. 66 Abs. 1 BGG). Parteientschädigungen sind keine zuzusprechen (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern auferlegt.
3. Dieses Urteil wird den Beschwerdeführern, dem Gemeinderat Walchwil sowie dem Regierungsrat und dem Verwaltungsgericht des Kantons Zug, Verwaltungsrechtliche Kammer, schriftlich mitgeteilt.
Lausanne, 18. Februar 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Merkli
Der Gerichtsschreiber: Steinmann