Sachverhalt: A. A.A._ und B.A._ (Grundeigentümer, Beschwerdeführer) sind Gesamteigentümer des Grundstücks Nr. xxx in U._ (Gartengrundstück), das westlich mit einer Seeufermauer vom V._ see und östlich mit einer Stützmauer von der W._strasse abgetrennt wird. Der vorliegend massgebende Bereich des V._sees sowie die W._strasse und deren Trottoir stehen im Alleineigentum des Kantons Zug (Kanton, Beschwerdegegner). Die Grundeigentümer wohnen in ihrer Stockwerkeigentumswohnung, die sich auf gleicher Höhe der W._strasse wie ihr Gartengrundstück befindet, jedoch auf der anderen Seite bzw. östlich der Strasse. Beim Ausbau der W._strasse im Jahre 1972 schloss die frühere Eigentümerin dieser Liegenschaft mit der Gemeinde U._ und dem Kanton einen Tausch- und Abtretungsvertrag, worin Land abgetrennt und der W._strasse zugeschlagen wurde. Um den nutzbaren Raum der damaligen Eigentümerin nicht durch die Verbreitung der Strasse zu beschränken, wurde eine Galerie errichtet, die auf vier Stützpfeilern stehend die W._strasse überragt (vgl. den Sachverhalt der Urteile 1A.10/2004 und 1P.34/2004 vom 18. Oktober 2004). Im Jahre 2007 wurde den Grundeigentümern bewilligt, die Seeufermauer unter eigener Kostenübernahme zu sanieren. Auf die hiergegen erhobene Beschwerde trat das Verwaltungsgericht des Kantons Zug mit Entscheid vom 31. Oktober 2008 insoweit nicht ein, als die Grundeigentümer forderten, der Kanton habe die Kosten des Sanierungsprojekts zu übernehmen. Das Verwaltungsgericht ging davon aus, dass die Frage, ob der Kanton für die Sanierung aufzukommen habe, das Sachen- und Obligationenrecht beschlage und in einem zivil rechtlichen Verfahren zu klären sei. B. Mit Eingabe vom 14. Oktober 2016 begehrten die Grundeigentümer beim Kantonsgericht Zug, der Kanton sei zu verpflichten, die Kosten der Sanierung der Seeufermauer, welche sich entlang des Grundstücks Nr. xxx, GB U._, befindet, zu übernehmen, eventualiter zur Hälfte, subeventualiter nach Massgabe seines Eigentums an der Seeufermauer. Nachdem Akten ediert und ein einfacher Schriftenwechsel sowie eine Hauptverhandlung durchgeführt worden waren, erachtete das Kantonsgericht die Sache als spruchreif und wies die Klage mit Entscheid vom 1. Oktober 2018 ab. Das Obergericht des Kantons Zug wies die Berufung der Grundeigentümer mit Urteil vom 13. November 2019 ebenfalls ab, soweit es darauf eintrat. C. Mit Beschwerde in Zivilsachen begehren die Grundeigentümer, die Entscheide des Obergerichts sowie des Kantonsgerichts seien aufzuheben und ihre Klage respektive Berufung sei gutzuheissen. Eventuell sei die Sache unter Aufhebung der Berufung zur Neubeurteilung an das Obergericht zurückzuweisen. Die Beschwerdeführer stellen zudem die prozessualen Anträge, es sei erstens ein Augenschein durchzuführen, zweitens ein Gutachten zur Funktion der Seeufermauer und der Differenzmauer sowie zur Fundation der Differenzmauer und deren Zustand einzuholen und drittens seien die Bauakten des Baus der W._strasse respektive deren Er weiterung im Bereich X._ beim zuständigen Bundesamt zu edieren. Der Beschwerdegegner schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Beschwerdeführer haben unaufgefordert eine Replik eingereicht.