Sachverhalt:
A.
A._ ist Eigentümerin der mit einem Bauernhaus überbauten Parzelle GS 4703 am Blumenweg 12 in Zug. Die daran angrenzende Parzelle GS 4733 mit einem darauf errichteten "Stöckli" steht im Eigentum von B._. Auf diesen der Wohnzone W3 zugeorneten Parzellen wurde der Betrieb privater Kindertagesstätten bewilligt. Später wurde darauf unter der Bezeichnung "Lernort Moosbachhof, Kinderhaus & Schule auf der Basis der Montessori Pädagogik" auch privater Primarschulunterricht erteilt.
Die benachbarte Liegenschaft am Blumenweg 16 steht im Eigentum von C._ (nachstehend: Nachbar).
B.
Am 20. September 2013 ersuchten A._ und B._ (Baugesuchsteller) bei der Stadt Zug um die nachträgliche Bewilligung der Nutzung ihrer Häuser zur Erteilung von Primarschulunterricht.
Eine dagegen erhobene Einsprache des Nachbars wies der Stadtrat von Zug am 3. Dezember 2013 ab. Gleichzeitig erteilte er den Baugesuchstellern die verlangten nachträglichen Bewilligungen. Eine dagegen vom Nachbarn eingereichte Beschwerde wies der Regierungsrat des Kantons Zug mit Beschluss vom 8. September 2015 ab, soweit er darauf eintrat. Diesen Beschluss und die strittigen Baubewilligungen hob das Verwaltungsgericht des Kantons Zug in Gutheissung einer Beschwerde des Nachbarn mit Urteil vom 31. Mai 2016 auf. Zur Begründung führte es im Wesentlichen aus, entgegen der Meinung der unteren Instanzen könne ein Schulbetrieb einer Wohnnutzung nicht gleichgestellt werden. Die Bauordnung der Stadt Zug bestimme für die Wohnzone W3 einen Mindestwohnanteil von 90 %. Gemäss der am 23. Dezember 2003 vom Stadtrat von Zug für die damalige Arealbebauung erteilten Baubewilligung gelte ein Wohnanteil von 100 %. Der Stadtrat könne den Wohnanteil reduzieren, wenn die Einrichtungen öffentlichen lnteressen oder der Quartierversorgung dienten. Diese von den Parteien angetönten Zulassungsmöglichkeiten seien nicht Gegenstand der gerichtlichen Prüfung. Immerhin sei festzustellen, dass ein breiter Fächer an Bildungsangeboten wohl im öffentlichen Interesse liege und Privatschulen grundsätzlich eine wichtige Funktion in der Bildungslandschaft hätten. Ob im vorliegenden Fall der Lernort der Quartierversorgung diene, hänge massgeblich von der örtlichen Herkunft der Kinder, also vom Einzugsgebiet, ab. lm Weiteren wäre zu klären, unter welchen Voraussetzungen ein im Rahmen einer Arealbebauung festgelegter Wohnanteil herabgesetzt werden könnte.
Die Baugesuchsteller fochten dieses am 14. Juni 2016 versandte Urteil nicht an. Sie reichten jedoch am 13. Juli 2016 beim Stadtrat von Zug bezüglich der nachträglichen Bewilligung der Nutzung ihrer Liegenschaften für den Primarschulunterricht drei neue Baugesuche ein (Nr. SZ-2016-196/13935; Nr. SZ-2016-197/13936; Nr. SZ-2016-198/ 13937). Diese wurden je zweimal im Amtsblatt publiziert und vom 22. Juli bis 10. August bzw. vom 29. Juli bis 17. August 2016 öffentlich aufgelegt. Während der Auflagefristen gingen dagegen keine Einsprachen ein. Der Nachbar ersuchte jedoch mit E-Mail vom 24. August 2016 und Schreiben vom 2. September 2016 das Baudepartement der Stadt Zug um Wiederherstellung der Einsprachefrist und Zustellung der Baugesuchsakten. Mit Schreiben vom gleichen Tag machte der Nachbar das Verwaltungsgericht darauf aufmerksam, dass in den Wohnhäusern der Baugesuchsteller trotz verweigerter Bewilligung Primarschulunterricht erteilt werde. Mit Schreiben vom 6. September 2016 forderte der Präsident des Verwaltungsgerichts den Regierungsrat auf, umgehend dafür besorgt zu sein, dass diesbezüglich der rechtmässige Zustand hergestellt werde. Am 8. September 2016 ersuchte die Baudirektion den Stadtrat von Zug schriftlich darum, das rechtskräftige Urteil des Verwaltungsgerichts umgehend umzusetzen und den Baugesuchstellern zur Beendigung der widerrechtlichen Nutzung der beiden Wohnhäuser eine angemessene Frist anzusetzen.
Der Stadtrat von Zug wies am 27. September 2016 das Gesuch des Nachbars um Herausgabe der zweiten Baugesuchsunterlagen und zur Wiederherstellung der Einsprachefrist ab, soweit er darauf eintrat. Gleichentags erteilte er den Baugesuchstellern die nachträglichen Baubewilligungen zur Nutzung ihrer Häuser für den Primarschulunterricht. Gegen diese Entscheide des Stadtrats erhob der Nachbar vier Beschwerden. Der Regierungsrat des Kantons Zug wies mit Beschluss vom 23. Mai 2017 die Beschwerde betreffend Wiederherstellung der Einsprachefrist ab. Auf die Beschwerden gegen die drei Baubewilligungen trat er nicht ein. Zudem entzog er einer allfälligen Beschwerde gegen seinen Beschluss die aufschiebende Wirkung.
In teilweiser Gutheissung einer gegen diesen Regierungsratsbeschluss gerichteten Beschwerde des Nachbarn hob das Verwaltungsgericht des Kantons Zug mit Urteil vom 27. Februar 2018 die Baubewilligungen vom 27. September 2016 auf. Zudem stellte es die Einsprachefrist wieder her und wies die Sache zur Durchführung des Baubewilligungsverfahrens an den Stadtrat von Zug zurück.
C.
Die Baugesuchsteller (Beschwerdeführer) erheben Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das Urteil des Verwaltungsgerichts vom 27. Februar 2018 aufzuheben und den Beschluss des Regierungsrats vom 23. Mai 2017 zu bestätigen.
Das Verwaltungsgericht schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Der Nachbar (Beschwerdegegner) beantragt, die Beschwerde abzuweisen, sofern und soweit darauf eingetreten werden könne. Die Stadtrat von Zug und der Regierungsrat des Kantons Zug schliessen auf Gutheissung der Beschwerde. In seiner Replik bestätigen die Beschwerdeführer ihre in der Beschwerde gestellten Anträge.
Mit Eingabe vom 11. Januar 2019 teilte der Beschwerdegegner mit, er habe seinem ehemaligen Anwalt, Dr. Markus Binder, das Mandat entzogen, weshalb sämtliche Mitteilungen und der Entscheid des Bundesgerichts seinem neuen Rechtsanwalt, Stefan Kaufmann, zuzustellen seien.

Erwägungen:
1.
1.1. Das Bundesgericht prüft die Zulässigkeit der bei ihm eingereichten Beschwerden von Amtes wegen (<ref-law>; <ref-ruling> E. 1.1 S. 251).
Das angefochtene Urteil des Verwaltungsgerichts ist ein Entscheid einer letzten kantonalen Instanz (<ref-law>). Ihm liegt ein Beschwerdeverfahren über eine baurechtliche Bewilligung und damit eine öffentlich-rechtliche Angelegenheit im Sinne von <ref-law> zu Grunde, für die in <ref-law> kein Ausschlussgrund vorgesehen ist (<ref-ruling> E. 1.2 S. 251).
1.2. Die Beschwerdeführer sind zur Beschwerdeführung legitimiert, da sie am vorinstanzlichen Verfahren teilgenommen haben und sie als Baugesuchsteller durch das angefochtene Urteil beschwert sind (<ref-law>).
1.3. Die Beschwerde an das Bundesgericht ist zulässig gegen Endentscheide, die das Verfahren abschliessen (<ref-law>). Selbstständig eröffnete Vor- und Zwischenentscheide sind - abgesehen von den hier nicht gegebenen Ausnahmen gemäss <ref-law> - beim Bundesgericht nur unter den Voraussetzungen von <ref-law> direkt anfechtbar.
Der angefochtene Entscheid weist die Streitsache zur neuen Entscheidung an den Stadtrat von Zug zurück und schliesst damit das Verfahren nicht ab, weshalb er einen Zwischenentscheid darstellt (Urteil 1C_457/2012 vom 18. Februar 2013 E. 1.2). Dieser ist gemäss <ref-law> direkt anfechtbar, wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b).
Die Beschwerdeführer machen geltend, diese Voraussetzungen seien gegeben. Die Gutheissung ihrer Beschwerde würde sofort einen Endentscheid herbeiführen, was ein langwieriges Baubewilligungsverfahren mit einem Lärmgutachten, Augenscheinen und Parteibefragungen vermeiden würde.
Die erste Voraussetzung von <ref-law>, dass die Gutheissung der Beschwerde zu einem sofortigen Endentscheid führen könnte, ist erfüllt. Ob die zweite, kumulativ erforderliche Voraussetzung vorliegt, dass damit ein bedeutender Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren erspart würde, prüft das Bundesgericht frei (vgl. <ref-ruling> E. 1.2.3 S. 144). Es hat den mit der Durchführung von Baubewilligungsverfahren verbundenen Aufwand in gewissen Fällen einem weitläufigen Beweisverfahren gleichgestellt (<ref-ruling> E. 1.2 S. 412; Urteile 1C_136/2007 vom 24. September 2007 E. 1.2; 1C_180/2012 vom 13. Juni 2012 E. 1.2). In anderen Fällen hat es bezüglich der Durch- oder Weiterführung von Baubewilligungsverfahren aber auch ein weitläufiges Beweisverfahren verneint (Urteil 1C_457/2012 vom 18. Februar 2013 E. 1.2; vgl. auch Urteile 1C_327/2007 vom 6. Juni 2008 E. 1.3.2; 1C_200/2008 vom 28. November 2008 E. 1.2.3). Ob im vorliegenden Fall mit einem weitläufigen Beweisverfahren zu rechnen ist, kann offen bleiben, da die Beschwerde gemäss den nachfolgenden Erwägungen ohnehin abzuweisen ist, soweit darauf einzutreten ist.
1.4. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann geltend gemacht werden, der angefochtene Entscheid verletze Bundes- oder Völkerrecht (Art. 95 lit. a und b BGG). Zulässig ist auch die Rüge der Verletzung von kantonalen verfassungsmässigen Rechten, kantonalen Bestimmungen über die politische Stimmberechtigung der Bürger und über Volkswahlen- und Abstimmungen (Art. 95 lit. c und d BGG). Abgesehen davon überprüft das Bundesgericht die Anwendung des kantonalen Rechts nicht als solche. Jedoch kann gerügt werden, diese Anwendung widerspreche dem Bundesrecht, namentlich dem Willkürverbot gemäss <ref-law> (<ref-ruling> E. 2.1 S. 372 mit Hinweisen). Gegen dieses Verbot verstösst ein Entscheid, wenn er im Ergebnis offensichtlich unhaltbar ist, weil er zum Beispiel eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt. Dass eine andere Lösung ebenfalls als vertretbar erscheint, genügt nicht (<ref-ruling> E. 2.2 S. 72 mit Hinweisen).
2.
Die Beschwerdeführer bringen vor, der Verwaltungsrichter Peter Bellwald habe als Referent im ersten Baubewilligungsverfahren in einem Schreiben vom 30. September 2016 an die Baudirektion eine Rechtsauffassung betreffend die Wirkungen des verwaltungsgerichtlichen Urteils vom 31. Mai 2016 vertreten, der das angefochtene Urteil inhaltlich entspreche. Aufgrund dieses Schreibens erscheine die Vorinstanz als voreingenommen, weshalb der Anspruch auf ein unparteiisches Gericht verletzt sei.
Diese Rüge ist unbegründet, da der damalige Referent, Peter Bellwald, gemäss den Angaben der Beschwerdeführer im Jahr 2016 in den Ruhestand trat und er am angefochtenen Urteil nicht mehr mitwirkte. Sein Schreiben vom 30. September 2016 konnte daher im vorliegenden Verfahren keinen Ausstandsgrund bilden.
3.
3.1. Die Vorinstanz erwog zusammengefasst, im von den Beschwerdeführern eingeleiteten nachträglichen Baubewilligungsverfahren hätte der Stadtrat die Möglichkeit von Ausnahmebewilligungen von Amtes wegen prüfen müssen. Das Verwaltungsgericht habe in seinem Urteil vom 31. Mai 2016 ausgeführt, es gebe betreffend den Primarschulbetrieb weitere von den zuständigen Behörden zu prüfende Zulassungsmöglichkeiten. Demnach habe die Bauherrschaft einen Anspruch auf eine von Amtes wegen zu erfolgende Weiterführung des Verfahrens und erneute Beurteilung der Sache gehabt. Entsprechend hätten die Beschwerdeführer dem Stadtrat am 13. Juli 2016 noch einmal (identische) Baugesuche eingereicht und ihn aufgefordert, die Baugesuche unter den vom Verwaltungsgericht erwähnten Zulassungsmöglichkeiten neu zu prüfen. Aufgrund dieses Prüfungsanspruchs seien die erneut eingereichten Baugesuche nicht als res iudicata zu qualifizieren, da sie das im Jahr 2013 eingeleitete und noch nicht abgeschlossene Baubewilligungsverfahren betreffen würden. In diesem Verfahren müssten von Amtes wegen die bisherigen Parteien beteiligt sein, sofern sie nicht ausdrücklich darauf verzichteten. Bei der Prüfung der erneut eingereichten Baugesuche hätte daher der Beschwerdegegner als Partei eingezogen werden müssen. Indem der Stadtrat dies unterlassen habe, habe er in Missachtung des Vertrauensgrundsatzes den Anspruch des Beschwerdegegners auf rechtliches Gehör verletzt. Die Beschwerde sei demnach insofern gutzuheissen, als die drei Baubewilligungen vom 27. September 2016 aufzuheben seien, die Einsprachefrist wiederherzustellen und die Sache zur Durchführung des Baubewilligungsverfahrens an den Stadtrat zurückzuweisen sei.
3.2. Die Beschwerdeführer bringen sinngemäss vor, das Verwaltungsgericht hätte zwar in seinem Urteil vom 31. Mai 2016 die Sache im Sinne der Erwägungen an den Stadtrat zurückweisen können, der diesfalls unter Einbezug derselben Parteien über die noch nicht geprüften Bewilligungsmöglichkeiten hätte entscheiden müssen. Das Verwaltungsgericht habe indessen gemäss dem Dispositiv des angefochtenen Urteils die im ersten Baubewilligungsverfahren erteilten Baubewilligungen ohne Rückweisung aufgehoben und damit das Verfahren abgeschlossen. Damit habe die Vorinstanz in willkürlicher Weise verkannt, dass grundsätzlich nur das Dispositiv in Rechtskraft erwachse und daher das Urteil vom 31. Mai 2016 nicht als Rückweisungsentscheid verstanden werden könne. Die Beschwerdeführer seien deshalb gezwungen gewesen, neue Baugesuche einzureichen, um den Primarschulbetrieb nachträglich bewilligen zu lassen. Dies sei möglich gewesen, weil in den Erwägungen des Urteils vom 31. Mai 2016 die Möglichkeiten aufgezeigt worden seien, wie der Schulbetrieb mit anderer rechtlicher Begründung bewilligt werden könnte. Die Beschwerdeführer hätten daher dieses Urteil nicht angefochten, sondern unter Berufung darauf neue Baugesuche eingereicht. Mit der Publikation dieser Gesuche sei ein neues nachträgliches Baubewilligungsverfahrens eingeleitet worden, in dem der Beschwerdegegner hätte Einsprache erheben können. Da er dies unterlassen habe, habe er in diesem Verfahren keine Parteistellung erlangt. Diesen Prozessvorteil habe die Vorinstanz den Beschwerdeführern mit der Wiederherstellung der Einsprachefrist auf unhaltbare Weise abgesprochen. Sie lasse ausser Acht, dass die Einsprachefrist als gesetzliche Rechtsmittelfrist im baurechtlichen Verfahren der Konstituierung der Parteien diene und die Bauherrschaft nach Ablauf dieser Frist nicht mehr mit weiteren Parteien rechnen müsse. Auch wenn der Beschwerdegegner im Baubewilliungsverfahren Einsprache erhoben habe, heisse dies nicht, dass er sich im zweiten Verfahren wieder als Partei konstituieren wolle. Zwar habe er beim Verwaltungsgericht auf die Vollstreckung des Urteils vom 31. Mai 2016 gedrängt, weil er offenbar davon ausgegangen sei, die Schliessung des Schulbetriebs stelle die einzige Vollzugsmöglichkeit dar. Daraus könne aber keine Pflicht der Baubehörde abgeleitet werden, den Beschwerdeführer über die neuen Baugesuche zu orientieren, da er gestützt auf die Analyse der Begründung des verwaltungsgerichtlichen Urteils vom 31. Mai 2016 die weiterbestehende Bewilligungsmöglichkeit des Primarschulunterrichts habe erkennen können und er daher mit der Einreichung neuer Baugesuche als Art der Urteilsvollstreckung habe rechnen müssen. Er hätte daher gegen die zweiten Baugesuche Einsprache erheben können. Die Vorinstanz habe daher die Einsprachefrist ohne hinreichende Gründe wiederhergestellt und damit die Vorschriften über die Fristwiederherstellung umgangen. Zudem habe sie den verfahrensrechtlichen Grundgedanken des Baueinspracheverfahrens, das Legalitätsprinzip und die Rechtssicherheit in unhaltbarer Weise missachtet.
3.3. Ein Entscheid erwächst zwar in jener Form in Rechtskraft, wie er im Urteilsdispositiv zum Ausdruck kommt. Dessen Tragweite ergibt sich jedoch vielfach erst aus einem Beizug der Urteilserwägungen (<ref-ruling> E. 4a S. 478). Die Bedeutung des Dispositivs ist daher stets im Lichte der Entscheidbegründung zu ermitteln (vgl. Urteil 5A_46/2013 vom 1. Mai 2013 E. 4 mit Hinweisen). So ergibt sich die Tragweite eines Rückweisungsentscheids aus der dem Entscheid zugrunde liegenden Begründung (Urteil 2C_570/2015 vom 20. Januar 2016 E. 1.1 mit Hinweisen). Besteht zwischen dem Dispositiv und den Entscheidgründen ein Widerspruch, so ist der wirkliche Rechtssinn der Entscheidung massgebend, da ein Gerichtsentscheid nach Treu und Glauben nicht nur nach seinem Wortlaut, sondern nach seinem tatsächlichen rechtlichen Bedeutungsgehalt zu verstehen ist (Urteile 8C_162/2017 vom 19. April 2017 E. 2.2; 9C_774/2010 vom 16. August 2011 E. 2.2; je mit Hinweisen). So darf zum Beispiel ein Entscheid, der auf von Amtes wegen zu prüfende, aber noch offene Rechts- oder Tatfragen hinweist, gemäss seinem rechtlichen Bedeutungsgehalt als Rückweisungsentscheid verstanden werden, auch wenn im Dispositiv die Rückweisung nicht ausdrücklich genannt wird (Urteile 8C_162/2017 vom 19. April 2017 E. 2.2; vgl. auch Urteil 8C_335/2016 vom 23. August 2016 E. 1.1).
3.4. Vorliegend gehen die Beschwerdeführer selber davon aus, das verwaltungsgerichtliche Urteil vom 31. Mai 2016 habe im ersten Verfahren noch nicht geprüfte Möglichkeiten der nachträglichen Bewilligung des strittigen Schulunterrichts aufgezeigt. Demnach durfte die Vorinstanz in vertretbarer Weise davon ausgehen, gemäss dem rechtlichen Bedeutungsgehalt dieses Urteils habe der Stadtrat von Zug diese Bewilligungsmöglichkeiten nachträglich noch prüfen dürfen bzw. müssen. Zur Vornahme dieser Prüfung reichten die Beschwerdeführer dem Stadtrat in der Sache identische Baugesuche ein. Die Vorinstanz durfte daraus willkürfrei ableiten, damit sei im Ergebnis die Fortführung des bereits eingeleiteten nachträglichen Baubewilligungsverfahrens verlangt worden. Da der Beschwerdegegner in diesem Verfahren bereits Partei war, brauchte er keine erneute Einsprache zu erheben, um seine Parteistellung beizubehalten. Da der damit verbundene Anspruch auf rechtliches Gehör vom Stadtrat nicht gewährt wurde, durfte die Vorinstanz die Sache willkürfrei an den Stadtrat zurückweisen, ohne die Voraussetzungen der Wiederherstellung der Einsprachefrist zu prüfen. Im Übrigen verlangte der Beschwerdegegner die Vollstreckung des Urteils vom 31. Mai 2016, womit er erkennen liess, dass er von einer abgeurteilten Sache ausging und er daher die Einreichung neuer identischer Baugesuche als unzulässig ansah. Unter diesen Umständen wäre der Stadtrat von Zug auch nach dem Grundsatz von Treu und Glauben gehalten gewesen, den Beschwerdegegner auf den Eingang solcher Gesuche aufmerksam zu machen, um ihm die Möglichkeit zur Stellungnahme zu geben. Damit wären die Parteirechte der Beschwerdeführer nicht beschränkt worden. Ihr Vorwurf, diese Rechte seien in unhaltbarer Weise missachtet worden, erweist sich damit als unbegründet. Dass auch das Verwaltungsgericht im Anschluss an sein Urteil vom 31. Mai 2016 dessen Vollstreckung verlangte, ist nicht entscheiderheblich. Jedenfalls kann daraus entgegen der Meinung der Beschwerdeführer nicht geschlossen werden, das angefochtene Urteil sei im Ergebnis willkürlich.
4.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten den unterliegenden Beschwerdeführern aufzuerlegen (<ref-law>). Diese haben zudem dem Beschwerdegegner unter solidarischer Haftbarkeit eine angemessene Parteientschädigung zu bezahlen (Art. 68 Abs. 1, 2 und 4 BGG i.V.m. <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern auferlegt.
3.
Die Beschwerdeführer haben den Beschwerdegegner für das bundesgerichtliche Verfahren unter solidarischer Haftbarkeit mit Fr. 3'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Stadtrat von Zug, dem Regierungsrat des Kantons Zug und dem Verwaltungsgericht des Kantons Zug, Verwaltungsrechtliche Kammer, schriftlich mitgeteilt.
Lausanne, 19. Februar 2019
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Merkli
Der Gerichtsschreiber: Gelzer