Sachverhalt:
A.
A.A._ und B.A._ (Grundeigentümer, Beschwerdeführer) sind Gesamteigentümer des Grundstücks Nr. xxx in U._ (Gartengrundstück), das westlich mit einer Seeufermauer vom V._ see und östlich mit einer Stützmauer von der W._strasse abgetrennt wird. Der vorliegend massgebende Bereich des V._sees sowie die W._strasse und deren Trottoir stehen im Alleineigentum des Kantons Zug (Kanton, Beschwerdegegner).
Die Grundeigentümer wohnen in ihrer Stockwerkeigentumswohnung, die sich auf gleicher Höhe der W._strasse wie ihr Gartengrundstück befindet, jedoch auf der anderen Seite bzw. östlich der Strasse. Beim Ausbau der W._strasse im Jahre 1972 schloss die frühere Eigentümerin dieser Liegenschaft mit der Gemeinde U._ und dem Kanton einen Tausch- und Abtretungsvertrag, worin Land abgetrennt und der W._strasse zugeschlagen wurde. Um den nutzbaren Raum der damaligen Eigentümerin nicht durch die Verbreitung der Strasse zu beschränken, wurde eine Galerie errichtet, die auf vier Stützpfeilern stehend die W._strasse überragt (vgl. den Sachverhalt der Urteile 1A.10/2004 und 1P.34/2004 vom 18. Oktober 2004).
Im Jahre 2007 wurde den Grundeigentümern bewilligt, die Seeufermauer unter eigener Kostenübernahme zu sanieren. Auf die hiergegen erhobene Beschwerde trat das Verwaltungsgericht des Kantons Zug mit Entscheid vom 31. Oktober 2008 insoweit nicht ein, als die Grundeigentümer forderten, der Kanton habe die Kosten des Sanierungsprojekts zu übernehmen. Das Verwaltungsgericht ging davon aus, dass die Frage, ob der Kanton für die Sanierung aufzukommen habe, das Sachen- und Obligationenrecht beschlage und in einem zivil rechtlichen Verfahren zu klären sei.
B.
Mit Eingabe vom 14. Oktober 2016 begehrten die Grundeigentümer beim Kantonsgericht Zug, der Kanton sei zu verpflichten, die Kosten der Sanierung der Seeufermauer, welche sich entlang des Grundstücks Nr. xxx, GB U._, befindet, zu übernehmen, eventualiter zur Hälfte, subeventualiter nach Massgabe seines Eigentums an der Seeufermauer.
Nachdem Akten ediert und ein einfacher Schriftenwechsel sowie eine Hauptverhandlung durchgeführt worden waren, erachtete das Kantonsgericht die Sache als spruchreif und wies die Klage mit Entscheid vom 1. Oktober 2018 ab.
Das Obergericht des Kantons Zug wies die Berufung der Grundeigentümer mit Urteil vom 13. November 2019 ebenfalls ab, soweit es darauf eintrat.
C.
Mit Beschwerde in Zivilsachen begehren die Grundeigentümer, die Entscheide des Obergerichts sowie des Kantonsgerichts seien aufzuheben und ihre Klage respektive Berufung sei gutzuheissen. Eventuell sei die Sache unter Aufhebung der Berufung zur Neubeurteilung an das Obergericht zurückzuweisen.
Die Beschwerdeführer stellen zudem die prozessualen Anträge, es sei erstens ein Augenschein durchzuführen, zweitens ein Gutachten zur Funktion der Seeufermauer und der Differenzmauer sowie zur Fundation der Differenzmauer und deren Zustand einzuholen und drittens seien die Bauakten des Baus der W._strasse respektive deren Er weiterung im Bereich X._ beim zuständigen Bundesamt zu edieren.
Der Beschwerdegegner schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Beschwerdeführer haben unaufgefordert eine Replik eingereicht.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (Art. 29 Abs. 1 BGG; <ref-ruling> E. 2.1; <ref-ruling> E. 1).
1.1. Wie die Vorinstanz zutreffend erwog, beurteilt sich nach der Rechtsnatur des Streitgegenstands, ob eine Zivilsache oder eine öffentlich-rechtliche Angelegenheit vorliegt (<ref-ruling> E. 1.2 S. 276 f. mit Hinweisen; Urteil 4A_305/2017 vom 18. Januar 2018 E. 1.3, nicht publ. in <ref-ruling>). Der vorliegenden Streitigkeit liegt ein nach privatrechtlichen Normen abgeschlossener Tausch- und Abtretungsvertrag zugrunde, der zwischen der ehemaligen Eigentümerin und dem Kanton als sich insoweit gleichgestellte Parteien abgeschlossen wurde. Wenn die Vorinstanz vor diesem Hintergrund in Anwendung des Methodenpluralismus (vgl. dazu <ref-ruling> E. 1.2 S. 276 f. mit Hinweisen; Urteil 4A_305/2017 vom 18. Januar 2018 E. 3, nicht publ. in <ref-ruling>) zum Schluss kam, die Streitigkeit sei vorwiegend zivilrechtlicher Natur, ist das nicht zu beanstanden. Das zulässige Rechtsmittel ist die Beschwerde in Zivilsachen (Art. 72 BGG).
1.2. Die Beschwerde hat ein Rechtsbegehren zu enthalten (Art. 42 Abs. 1 BGG). Da die Beschwerde an das Bundesgericht ein reformatorisches Rechtsmittel ist (Art. 107 Abs. 2 BGG), muss die rechtsuchende Partei grundsätzlich einen Antrag in der Sache stellen, das heisst angeben, welche Punkte des Entscheids sie anficht und welche Abänderungen sie beantragt (<ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1 S. 489 f.). Rechtsbegehren, die eine Geldsumme zum Gegenstand haben, sind dabei zu beziffern und auf eine Beschwerde ist nicht einzutreten, wenn das Bundesgericht den zuzusprechenden Geldbetrag nach dem gestellten Begehren selber festlegen müsste (<ref-ruling> E. 1.2; <ref-ruling> E. 2 S. 236 f.; Urteil 4A_107/2008 vom 5. Juni 2008 E. 2.2).
Ob die Anforderungen des Bestimmtheitsgebots erfüllt sind, wenn begehrt wird, es sei ein Verteilungsschlüssel für die Übernahme von Kosten festzulegen, ohne diese konkret zu beziffern, ist äusserst fraglich. Es ergibt sich auch nicht ohne Weiteres aus der Beschwerdebegründung oder dem angefochtenen Entscheid, welchen Geldbetrag die Beschwerdeführer von der Gegenpartei verlangen (vgl. dazu BGE <ref-ruling> E. 2 S. 236 f. mit Hinweis; vgl. auch <ref-ruling> E. 1.2). Ansonsten reicht ein nicht bezifferter Antrag nur aus, wenn das Bundesgericht im Falle der Gutheissung der Beschwerde in der Sache naturgemäss nicht selbst entscheiden könnte (<ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1 S. 489 f.; vgl. zum Ganzen auch Urteil 4A_66/2020 vom 5. März 2020 E. 1.2). Da die Vorinstanz teilweise auf die Sache nicht eingetreten ist und die Beschwerdeführer eine Verletzung ihres rechtlichen Gehörs rügen, ist es immerhin möglich, dass das Bundesgericht im Falle der Gutheissung der Beschwerde nicht reformatorisch entscheiden könnte, sondern die Angelegenheit zum Entscheid in der Sache an die Vorinstanz zurückweisen müsste (vgl. die Urteile 4A_129/2019 vom 27. Mai 2019 E. 1.1; 4A_330/2008 vom 27. Januar 2010 E. 2.1, nicht publ. in <ref-ruling>). Hierüber braucht nicht abschliessend entschieden zu werden, sofern der Beschwerde aus anderen Gründen kein Erfolg beschieden ist.
1.3. Soweit die Beschwerdeführer ihre materiellen Begehren mit drei prozessualen Anträgen ergänzen, verkennen sie, dass das Bundesgericht eine beschränkte Kognition in Tatsachenfragen aufweist und kein Beweisverfahren durchführt. Das Bundesgericht legt seinem Urteil vielmehr grundsätzlich den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2.3.1; <ref-ruling> E. 2 S. 117, 264 E. 2.3 S. 266). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (Art. 97 Abs. 1 BGG). Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von Art. 106 Abs. 2 BGG (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90).
Von der Unzulässigkeit der prozessualen Anträge abgesehen, erfüllen die Beschwerdeführer die qualifizierten Rügeanforderungen auch insoweit nicht, als sie teilweise dem Bundesgericht ihre eigene Sicht des Geschehenen unterbreiten, ohne sich mit den vorinstanzlichen Feststellungen auseinanderzusetzen, geschweige denn zu begründen, worin sie Willkür erblicken. Exemplarisch dafür, dass die Beschwerdeführer dem Bundesgericht über weite Strecken schlicht ihre eigenen Tatsachenbehauptungen vortragen, als ob es wie eine erste Instanz den Sachverhalt von Grund auf festzustellen hätte, sind die zahlrei chen Beweisofferten, die ihre Beschwerdeschrift enthält. Hierauf ist nicht einzutreten.
Aus dem selben Grund sind namentlich die Ausführungen der Beschwerdeführer zum angeblich ungenügenden Fundament der Differenzmauer und den möglichen Folgen bei unterlassener Sanierung der Seeufermauer unbeachtlich. Denn soweit die Beschwerdeführer behaupten, die fehlende Sanierung der Seeufermauer habe mittelfristig auch "fatale Konsequenzen" für die Galerie und das sich darauf befindende Wohngebäude, handelt es sich um reine Spekulationen, die keine Stütze in den vorinstanzlichen Feststellungen finden. Die Bes chwerdeführer rügen weder, der Sachverhalt sei insoweit offensichtlich unvollständig festgestellt, noch ist erkennbar, inwiefern eine dahingehende Korrektur des Sachverhalts für den Ausgang des bundesgerichtlichen Verfahrens erheblich wäre (Art. 97 Abs. 1 BGG).
2.
Nach den Erwägungen der Vorinstanz kann dem Tausch- und Abtretungsvertrag keine Regelung hinsichtlich des Unterhalts der Seeufermauer entnommen werden. Da der streitgegenständliche Teil der Seeufermauer nicht dem Kanton zustehe, sondern aufgrund des Akzessionsprinzips in das Eigentum der Beschwerdeführer falle, sei eine Sanierungspflicht aus Sachenrecht ebenfalls zu verneinen.
Die Beschwerdeführer beharren vor Bundesgericht auf ihrem Standpunkt, der Beschwerdegegner habe die Kosten zu tragen für die Sanierung der teilweise durch Wellenschlag unterspülten Seeufermauer. Sie berufen sich allerdings nicht mehr auf sachenrechtliche Normen, womit es insoweit sein Bewenden mit der vorinstanzlichen Begründung hat. Die Beschwerdeführer stützen ihre Forderung nunmehr ausschliesslich auf den öffentlich beurkundeten Tausch- und Abtretungsvertrag und werfen der Vorinstanz vor, diesen einseitig ausgelegt und verkannt zu haben, dass die Seeufermauer unter den Begriff "Strassenanlage" zu subsumieren sei.
2.1. Nach Feststellung der Vorinstanz wurde im Tausch- und Abtretungsvertrag hinsichtlich Haftung und Unterhalt Folgendes vereinbart:
" [...] Der Kanton ist für alle Schäden am alten und neuen Teil des Hauses [...] haftbar, die auf den Bestand der Galerie und der Strassenanlage unter dem Gebäude zurückzuführen sind. [...] Der Unterhalt der Konstruktion [Galerie] bis oberkant Betondecke ist Sache des Kantons. "
Die Vorinstanz verwies zur Auslegung des Vertrages weitgehend auf die Begründung der ersten Instanz. Nachdem ein tatsächlicher Konsens nicht feststellbar war, legte die erste Instanz den Vertrag vorerst nach seinem Wortlaut aus. Gemäss den Erwägungen der ersten Instanz, welcher die Vorinstanz folgte, sind nach dem allgemeinen Sprachgebrauch als Strassenanlagen Bauten zu verstehen, die dem Strassenverkehr dienen. Darunter falle die W._strasse inklusive Trottoir und Bordsteinkante, nicht aber die Seeufermauer, zumal diese von der Strasse mitsamt Trottoir durch die Differenzmauer sowie das Gartengrundstück der Beschwerdeführer abgetrennt werde. Die Beschwerdeführer setzen sich auch vor Bundesgericht weder mit diesem plausiblen Wortverständnis auseinander noch damit, dass aus dem Zusatz " unter dem Gebäude " nicht eine Mauer gemeint sein könne, welche am Seeufer entlang geht.
2.2. Des Weitern legte die Vorinstanz den Vertrag entgegen dem Vorwurf der Beschwerdeführer nicht nur nach seinem klaren Wortlaut aus. Vielmehr wandte sie sich in einem zweiten Schritt auch seinem Sinn und Zweck sowie seiner Entstehungsgeschichte zu. Namentlich erwog die Vorinstanz auf entsprechenden Einwand hin, es möge sein, dass mit dem Tausch- und Abtretungsvertrag nicht nur die Landgewinnung unter Beibehaltung des privaten Eigentums bezweckt worden sei, doch helfe das den Beschwerdeführern nicht weiter. Denn selbst wenn der Beschwerdegegner als Bauherr auch daran interessiert war, die Strasse vor Schaden zu bewahren, könne daraus nicht gefolgert werden, dass er den Unterhalt des Gartengrundstücks inklusive Seeufermauer übernehme oder sich daran beteilige. Die Vorinstanz berücksichtigte ferner in zeitlicher Hinsicht, dass die Seeufermauer, die im Vertrag mit keinem Wort erwähnt werde, bereits vor Ausbau der W._strasse und Erstellung der Galerie existierte. Damit könne sie entgegen der Auffassung der Beschwerdeführer nicht zum Schutz der Galerie und der ausgebauten W._strasse erstellt worden sein.
2.3. Die normative Auslegung der Vorinstanz ist sowohl methodisch als auch im Ergebnis nicht zu beanstanden. Die Kritik der Beschwerdeführer ist unbegründet; sie sind im Sinne des Vertrauensprinzips nach Treu und Glauben auf den objektiven Inhalt der schriftlichen Erklärungen ihrer Rechtsvorgängerin zu behaften (vgl. dazu <ref-ruling> E. 5.2; <ref-ruling> E. 1.2.2; <ref-ruling> E. 5.2.1; <ref-ruling> E. 6.1). Im Übrigen mag zwar zutreffen, dass der Kanton unter der damaligen Rechtslage für den Unterhalt von Verbauungen an öffentlichen Gewässern aufkam. Indes gestehen die Beschwerdeführer selbst ein, dass die Anstösser zur Mittragung der Kosten herangezogen werden konnten, sofern ihnen die Massnahmen einen Vorteil brachten. Weder angesichts der damaligen Rechtslage noch aus einer Interessenlage bei Vertragsschliessung oder dem (Neben-) Zweck der Seeufermauer kann ohne Weiteres auf eine implizite Vereinbarung einer Unterhalts- und Sanierungspflicht geschlossen werden. Denn der Wortlaut des Vertrages ist eindeutig und auch die übrigen Auslegungselemente bieten keinen Raum für die Ansicht der Beschwerdeführer, welche in ihren Ausführungen stets ausblenden, dass der Kanton sich lediglich verpflichtete, für Schäden am Haus zu haften, die auf den Bestand der Strassenanlage unter dem Gebäude zurückzuführen sind. Demgegenüber wurde eine Unterhaltspflicht nur in Bezug auf die neu erstellte Galerie vereinbart. Selbst wenn also der Ansicht der Beschwerdeführer folgend die Seeufermauer als "Strassenanlage unter dem Gebäude" betrachtet würde, könnten sie hieraus nichts zu ihren Gunsten ableiten. Ihre Argumentation zielt am Vertragstext vorbei und stösst ins Leere. Der Tausch- und Abtretungsvertrag beinhaltet objektiv betrachtet keine Regelung des Unterhalts der Seeufermauer.
3.
Die Beschwerdeführer rügen, die Vorinstanz habe ihren Anspruch auf rechtliches Gehör verletzt (Art. 29 Abs. 2 BV, Art. 53 ZPO), indem sie weder einen Augenschein durchführte noch ein Gutachten zur Funktion und Fundation der Differenz- und Seeufermauer einholte und es schliesslich auch unterliess, die Beschwerdegegnerin zur Edition der Bauakten aufzufordern.
Die Beschwerdeführer erachten einen Augenschein als notwendig, um vor Ort die Funktion der Seeufermauer feststellen zu lassen. Doch legen sie nicht nachvollziehbar dar, inwiefern ein Augenschein tauglich wäre, diesen Beweis zu erbringen (vgl. Art. 152 Abs. 1 ZPO). Wie vorstehend aufgezeigt wurde (vgl. E. 2.2-2.3), verwarf die Vorinstanz zudem die Zweckbestimmung der Seeufermauer zu Recht als ohnehin nicht ausschlaggebend für die Frage, wer für den Unterhalt der Mauer aufzukommen habe.
Aus dem gleichen Grund konnte die Vorinstanz auch darauf verzichten, die Bauakten edieren zu lassen und ein Gutachten einzuholen zur Funktion der Seeufermauer und der Differenzmauer sowie zur Fundation der Differenzmauer und deren Zustand. Denn die Beschwerdeführer begründen auch diese Beweisanträge ausschliesslich mit dem behaupteten Zweck der Seeufermauer, die dahinter stehenden Bauten und Anlagen vor Erosion und Unterspülung zu schützen. Einmal mehr ist darauf hinzuweisen, dass aus der angeblichen Funktion der Seeufermauer als Vorwehr für teilweise vom Beschwerdegegner zu unterhaltende Bauten nicht abgeleitet werden kann, ihm obliege auch die Sanierung der Seeufermauer selbst. Indem die Vorinstanz die angebotenen Beweise nicht abnahm respektive antizipiert würdigte, verletzte sie das Recht der Beschwerdeführer auf Beweis (Art. 152 Abs. 1 ZPO) als Teilgehalt des Gehörsanspruchs gemäss Art. 29 Abs. 2 BV und Art. 53 ZPO nicht. Denn dieser Anspruch umfasst nur Umstände, die für den Verfahrensausgang rechtserheblich sind (vgl. Art. 150 Abs. 1 ZPO sowie <ref-ruling> E. 9.3.2 S. 332 mit Hinweisen).
4.
Die Rechtsfrage, inwiefern sich jüngere öffentlich-rechtliche Normen auf eine ältere, ihnen widersprechende privatrechtliche Vereinbarung auswirken, stellt sich schliesslich vorliegend nicht. Denn auch die Anwendung des kantonalen Gesetzes über die Gewässer vom 25. November 1999 (BGS 731.1; GewG), welche das Bundesgericht nur auf eine gehörig begründete Willkürrüge hin zu überprüfen hat (Art. 106 Abs. 2 BGG), führt zum selben Resultat. Nach § 17 Abs. 1 lit. b i.V.m. § 74 Abs. 1 lit. a GewG sind die anstossenden Grundeigentümer für den ordentlichen betrieblichen und baulichen Unterhalt von Ufermauern an öffentlichen Gewässern zuständig, sofern sich das Grundstück - was vorliegend der Fall ist - in der Bauzone befindet. Die Rüge, die Anwendung der entsprechenden Bestimmungen des kantonalen GewG führe zu einem Resultat, das in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft, begründen die Beschwerdeführer einzig mit der unrichtigen Prämisse (vgl. dazu vorstehend E. 2), vertraglich sei eine andere Kostenverteilung vereinbart worden. Damit hat es sein Bewenden.
5.
Die Beschwerde ist als unbegründet abzuweisen, soweit auf sie einzutreten ist. Ausgangsgemäss sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern aufzuerlegen und zwar intern zu gleichen Teilen und unter solidarischer Haftung (Art. 66 Abs. 1 und 5 BGG). Dem Beschwerdegegner ist keine Parteientschädigung zuzusprechen (Art. 68 Abs. 1 BGG). Er liess sich zwar vernehmen, war hierbei aber nicht vertreten und macht denn auch keine besonderen Aufwendungen geltend. Vielmehr begehrte er einzig die kostenpflichtige Abweisung der Beschwerde, soweit darauf einzutreten sei.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 5'000.-- werden den Beschwerdeführern auferlegt.
3.
Eine Parteientschädigung wird nicht zugesprochen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, I. Zivilabteilung, schriftlich mitgeteilt.
Lausanne, 9. Juni 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Hug