Sachverhalt:
A.
A._ (Kläger und Beschwerdeführer) arbeitete vom 1. Juli 2004 bis zum 30. April 2009 für B._ (Beklagter und Beschwerdegegner) als Carchauffeur. Nach der Kündigung gelangte er mit Eingabe vom 12. Mai 2010 an das Kantonsgericht Zug. Er verlangte Fr. 5'000.-- Lohn, Fr. 104'303.-- für "Überzeitstunden" und Fr. 11'860.70 Ferienentschädigung, jeweils nebst Zins. Das Kantonsgericht erachtete die Ansprüche auf Lohn und Ferienentschädigung als ausgewiesen. Mit Urteil vom 23. Juli 2012 sprach es dem Kläger nach Abzug von begründeten Verrechnungsforderungen Fr. 6'010.70 nebst Zins zu. In diesen Punkten akzeptierten in der Folge beide Parteien das Urteil. Die Forderung für Überzeitentschädigung wies das Kantonsgericht ab, auferlegte sämtliche Kosten dem Kläger und sprach dem Beklagten eine Parteientschädigung zu. In diesen Punkten focht der Kläger das Urteil mit Berufung beim Obergericht des Kantons Zug an. Er hielt an seiner Forderung für Überzeitentschädigung fest und beanstandete die Regelung der Kosten- und Entschädigungsfolgen. Mit Urteil vom 3. September 2013 wies das Obergericht die Berufung ab und bestätigte das Urteil des Kantonsgerichts.
B.
Mit Beschwerde in Zivilsachen verlangt der Kläger die Fr. 104'303.-- nebst Zins neu auch unter dem Titel "Überstunden". Eventualiter sei deren Anzahl zu schätzen und subeventualiter die Sache an das Obergericht zurückzuweisen. Sodann sei dessen Entscheid bezüglich der Partei- und Verfahrenskosten entsprechend dem Ausgang des Beschwerdeverfahrens abzuändern und es seien die Verfahrens- und Parteikosten der vorinstanzlichen Verfahren entsprechend dem Ausgang dieses Beschwerdeverfahrens neu zu regeln. Da die jeweilige Gegenpartei keine Einwände erhob, gab das Bundesgericht sowohl dem Gesuch des Beschwerdeführers um aufschiebende Wirkung als auch demjenigen des Beschwerdegegners um Sicherstellung der Parteikosten statt. Dieser schliesst auf kostenfällige Abweisung der Beschwerde. Das Obergericht beantragt unter Hinweis auf den angefochtenen Entscheid, die Beschwerde abzuweisen. Der Beschwerdeführer bemerkt zur Beschwerdeantwort, deren wesentlich grösserem Umfang im Vergleich zur Beschwerdeschrift sei bei der Kostenverteilung Rechnung zu tragen und der als Anhang beigefügte Schlussvortrag des Beschwerdegegners nicht zu berücksichtigen. Dieser hat unter Hinweis auf die Beschwerdeantwort auf Gegenbemerkungen verzichtet.

Erwägungen:
1.
Die Parteien haben ihre Argumente vor Bundesgericht in ihren Rechtsschriften vorzubringen. Blosse Verweise auf die Akten sind unbeachtlich (vgl. <ref-ruling> E. 3.1 S. 399 f. mit Hinweisen). Es genügt nicht, auf im kantonalen Verfahren vorgebrachte Beanstandungen zu verweisen oder Teile der Eingaben im kantonalen Verfahren in die Rechtsschrift an das Bundesgericht zu kopieren (Urteil des Bundesgerichts 4A_709/2011 vom 31. Mai 2012 E. 1.1 und 1.4). Diese Regeln gelten auch für die Beschwerdeantwort (vgl. Urteil des Bundesgerichts 4A_721/2012 vom 16. Mai 2013 E. 1.1). Der Anhang 1 zur Beschwerdeantwort, der den Schlussvortrag des Beschwerdegegners vor dem Kantonsgericht enthält, kann daher nicht als Teil der Beschwerdeantwort berücksichtigt werden.
2.
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Die Feststellung des Sachverhaltes kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 1.2.2 S. 252).
3.
Die Vorinstanz ging davon aus, die Parteien hätten mündlich vereinbart, Arbeitseinsätze an einem freien Tag seien pauschal mit Fr. 200.-- abzugelten, die vom Beschwerdegegner auch geleistet worden seien. Darüber hinaus könne der Beschwerdeführer keine Ansprüche erheben, da er die Umstände nicht dargelegt habe, die dem Gericht eine Schätzung (<ref-law>) der Anzahl der Überstunden erlauben würden. In den von ihm eingereichten monatlichen Arbeitsstundenplänen seien jeweils der Arbeitsbeginn und das Arbeitsende aufgeführt. Ruhe- und Pausenzeiten seien darin aber nicht enthalten. Dass der Beschwerdeführer während der ganzen Zeitspanne nie in den Genuss von Pausenzeiten von länger als 15 Minuten gekommen sei, schloss die Vorinstanz in Würdigung der Unterlagen aus. Ohne Angaben zu den Ruhe- und Pausenzeiten lasse sich die vom Beschwerdeführer geleistete Arbeitszeit nicht schätzen.
4.
Der Beschwerdeführer rügt als willkürlich, dass die Vorinstanz aus seiner Aussage, lediglich während der (für den eingeklagten Anspruch nicht relevanten) ersten zwei Jahren sei für Arbeitseinsätze an freien Tagen pauschal eine Entschädigung von Fr. 200.-- vereinbart worden, geschlossen hat, diese Regelung habe während der ganzen Arbeitsdauer gegolten. Die Parteien hätten nie eine entsprechende Vereinbarung für die gesamte Arbeitsdauer geschlossen.
4.1. Willkürlich ist ein Entscheid nach konstanter Rechtsprechung nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Das Bundesgericht hebt einen Entscheid wegen Willkür vielmehr nur auf, wenn er offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Dabei genügt es nicht, wenn sich nur die Begründung des angefochtenen Entscheides als unhaltbar erweist. Eine Aufhebung rechtfertigt sich nur dann, wenn der Entscheid auch im Ergebnis verfassungswidrig ist (<ref-ruling> E. 2.1 S. 18 f.; <ref-ruling> E. 2.1 S. 9 mit Hinweisen).
4.2. Zur Begründung einer Willkürrüge genügt es nicht, wenn der Beschwerdeführer eine von derjenigen der Vorinstanz abweichende Auffassung vertritt. Er muss die Beweiswürdigung vielmehr als offensichtlich unhaltbar ausweisen. Diesen Anforderungen genügen die Vorbringen in der Beschwerdeschrift nicht. Die Vorinstanz trug der Tatsache Rechnung, dass der Beschwerdeführer zunächst die vom Beschwerdegegner behauptete Vereinbarung generell bestritten hatte. Erst im späteren Verlauf der Befragung habe er eingeräumt, während der ersten zwei Jahre sei für Arbeitseinsätze an freien Tagen pauschal eine Entschädigung von Fr. 200.-- vereinbart gewesen. Wenn die Vorinstanz mit Blick auf dieses Aussageverhalten und die Tatsache, dass der Beschwerdeführer keine Begründung dafür angeben konnte, weshalb die Vereinbarung nur während der ersten beiden Jahre gegolten haben sollte, die Behauptung des Beschwerdegegners für ausgewiesen erachtete, kann von Willkür keine Rede sein.
5.
Auch die Annahme, die Fr. 200.-- seien tatsächlich ausbezahlt worden, erachtet der Beschwerdeführer als willkürlich. Keiner der befragten Zeugen habe aus eigener unmittelbarer Wahrnehmung bestätigen können, dass dem Beschwerdeführer bereits sämtliche Überzeit entschädigt worden sei. Die Rüge ist unbegründet. Da der Beschwerdegegner die anderen, im Gegensatz zum Beschwerdeführer nicht fest angestellten Chauffeure für ihre unregelmässigen Arbeitseinsätze in bar ausbezahlte, um den administrativen Aufwand gering zu halten, erachtete es die Vorinstanz als erwiesen, dass er den Beschwerdeführer in der gleichen Weise für die unregelmässigen Einsätze sofort in bar entschädigte. Dieser Schluss ist nicht offensichtlich unhaltbar, wären doch sonst für die Zahlungen an den Beschwerdeführer die administrativen Umtriebe angefallen, die der Beschwerdegegner bei den übrigen Chauffeuren zu vermeiden suchte.
6.
Der Beschwerdeführer ist der Auffassung, die Vorinstanz habe <ref-law> nicht korrekt angewendet. Er nennt die Beweismittel, die er beigebracht hat, und vergleicht diese mit Fällen, in denen das Bundesgericht oder kantonale Gerichte eine Schätzung der Überstunden nach <ref-law> vorgenommen haben. Er macht geltend, er habe mehr beigebracht als für eine Schätzung notwendig sei. Obwohl die Vorinstanz selbst davon ausgehe, dass er zahlreiche Überstunden beziehungsweise Überzeitstunden geleistet habe, sei keine Schätzung erfolgt. Dies obwohl die Gegenpartei die Beweisführung vereitelt habe, indem sie es unterlassen habe, jedwelche Kontrollunterlagen herauszugeben.
6.1. Eine Anwendung von <ref-law> setzt voraus, dass ein strikter Beweis nach der Natur der Sache nicht möglich oder nicht zumutbar ist. Die Herabsetzung des Beweismasses darf im Ergebnis nicht zu einer Umkehr der Beweislast führen. Die beweispflichtige Partei hat alle Umstände, die für die Verwirklichung des behaupteten Sachverhalts sprechen, soweit möglich und zumutbar zu behaupten und zu beweisen (<ref-ruling> E. 2b/aa S. 276 f. mit Hinweisen).
6.2. Nach den Feststellungen der Vorinstanz hat der Beschwerdegegner seine Kontroll- und Aufzeichnungspflichten nicht nur in Bezug auf den Beschwerdeführer, sondern im Allgemeinen nicht oder nur sehr mangelhaft wahrgenommen. Er bezweckte damit nach Auffassung der Vorinstanz aber nicht, die Beweisführung zu verunmöglichen. Ergeben sich indessen aus derartigen Pflichtverstössen für den Arbeitnehmer Beweisschwierigkeiten, sind an den Nachweis der Überstunden keine unrealistisch hohen Anforderungen zu stellen (vgl. Urteil des Bundesgerichts 4C.146/2003 vom 28. August 2003 E. 5.2.1). Auch die Vorinstanz kam zum Schluss, dass insoweit die Voraussetzungen für eine Schätzung nach <ref-law> erfüllt wären. Sie sah sich indessen ohne Angaben zu den Ruhe- und Pausenzeiten ausserstande, die geleistete Arbeitszeit zu schätzen. Sie ging mithin davon aus, der Beschwerdeführer habe insoweit die Umstände, die für die Verwirklichung des behaupteten Sachverhalts sprechen, nicht hinreichend behauptet oder bewiesen, obwohl ihm dies möglich und zumutbar gewesen wäre.
6.3. Das Bundesgericht hat im zit. Urteil 4C.146/2003 E. 5.2.1, auf das sich der Beschwerdeführer beruft, zwar festgehalten, mit Blick auf die Kontroll- und Aufzeichnungspflichten des Arbeitgebers sei es nicht realistisch, vom Arbeitnehmer zu verlangen, dass er selbst eine genaue Aufstellung seiner Überstunden beibringe. Es hielt in diesem Entscheid aber auch fest, der Arbeitnehmer könne sehr wohl abschätzen und nach entsprechenden substanziierten Behauptungen mit Zeugen nachweisen, ob und gegebenenfalls in welchem ungefähren Umfang in einem Betrieb Überstunden geleistet worden seien. Diesen Anforderungen war der Arbeitnehmer im zitierten Entscheid nachgekommen. Wenn der Beschwerdeführer monatliche Arbeitsstundenpläne einreicht, auf denen jeweils der Arbeitsbeginn und das Arbeitsende aufgeführt sind, und die Vorinstanz in Würdigung der Umstände davon ausgeht, er sei in den Genuss von Ruhe- und Pausenzeiten gekommen, die bei Berechnung der Überstunden oder der Überzeit zu berücksichtigen sind, verletzt es kein Bundesrecht, für eine Schätzung nach <ref-law> genauere Angaben zu den Ruhe- und Pausenzeiten zu verlangen. Weshalb es dem Beschwerdeführer, der die Ruhepausen tatsächlich eingelegt hat, nicht möglich oder zuzumuten sein sollte, diesbezüglich nähere Angaben zu machen, tut er nicht dar und ist nicht ersichtlich. Dass er im kantonalen Verfahren entsprechende, substanziierte Angaben gemacht hätte oder sich die Dauer der Ruhe- und Pausenzeiten aus den übrigen von ihm eingereichten Dokumenten hätte ablesen lassen, zeigt er nicht auf. Damit ist nicht zu beanstanden, dass die Vorinstanz mangels hinreichender Angaben des Beschwerdeführers keine Schätzung vorgenommen hat.
7.
Schliesslich beanstandet der Beschwerdeführer noch die Kostenverlegung im kantonalen Verfahren. Ihm seien vor der ersten Instanz alle Kosten auferlegt worden, obwohl er zu 5 % obsiegt habe. Die Vorinstanz habe diese Verteilung mit Blick auf § 38 Abs. 5 der Zivilprozessordnung für den Kanton Zug vom 3. Oktober 1940 (ZPO/ZG) nicht beanstandet, da der Referent den Parteien einen Vergleichsvorschlag unterbreitet habe, wonach der Beschwerdeführer Fr. 8'000.-- hätte erhalten sollen. Der Beschwerdeführer ist der Auffassung, die Gerichtskosten und die Parteientschädigung seien gemäss Art. 106 Abs. 2 der Schweizerischen Zivilprozessordnung (ZPO; SR 272) nach Obsiegen und Unterliegen aufzuerlegen.
7.1. Gemäss <ref-law>/ZG sind die Gerichtskosten in der Regel der unterliegenden Partei aufzuerlegen (Abs. 1). Hat kein Teil ganz obsiegt, so sind sie in dem Verhältnis zu teilen, in welchem die Parteien unterlegen sind (Abs. 2). Wenn eine Partei durch das Urteil nicht wesentlich mehr erhält, als ihr von der Gegenpartei für den Fall gütlicher Beilegung des Streites angeboten wurde, kann sie zu allen Kosten verurteilt werden (Abs. 5). Der Beschwerdeführer geht davon aus, <ref-law>/ZG verstosse gegen Bundesrecht. Die Schweizerische Zivilprozessordnung ist aber erst am 1. Januar 2011 in Kraft getreten. Für Verfahren, die in diesem Zeitpunkt bereits rechtshängig waren, gilt nach <ref-law> das bisherige Verfahrensrecht bis zum Abschluss vor der betroffenen Instanz. Der Beschwerdeführer legt nicht dar, weshalb <ref-law> auf das im Jahre 2010 bereits hängige erstinstanzliche Verfahren zur Anwendung kommen sollte. Bereits insoweit ist seine Rüge nicht hinreichend begründet.
7.2. Hinzu kommt, dass in der Beschwerde nur die Anpassung der Kosten- und Entschädigungsfolgen gemäss dem Ausgang des Beschwerdeverfahrens beantragt wird. Da der Beschwerde mit Bezug auf den eingeklagten Anspruch kein Erfolg beschieden ist, besteht aber kein Anlass für eine Anpassung. Soweit der Beschwerdeführer entgegen dem Wortlaut der Rechtsbegehren die Kostenregelung unabhängig vom Erfolg der Beschwerde in der Sache anfechten will, hätte er entweder einen bezifferten Antrag stellen (Urteile des Bundesgerichts 4A_225/2011 vom 15. Juli 2011 E. 2.6.2; 5A_34/2009 vom 26. Mai 2009 E. 11.3, nicht publ. in: <ref-ruling>; 4A_43/2008 vom 4. März 2008 E. 2, publ. in: Praxis 97/2008 Nr. 121 S. 757 f.) oder darlegen müssen, weshalb das Bundesgericht, sollte es der Auffassung des Beschwerdeführers folgen, nicht selbst einen Entscheid fällen könnte (<ref-ruling> E. 3.1 mit Hinweisen). Von Letzterem kann grundsätzlich nicht ausgegangen werden, wenn eine Verteilung der Kosten nach <ref-law> und damit nach Bundesrecht verlangt wird (<ref-law>).
8.
Damit ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang wird der Beschwerdeführer kosten- und entschädigungspflichtig, wobei die Entschädigung aus der zu diesem Zweck bei der Gerichtskasse hinterlegten Sicherheitsleistung ausgerichtet wird. Die Gerichtsgebühr richtet sich nach Streitwert, Umfang und Schwierigkeit der Sache, Art der Prozessführung und der finanziellen Lage der Parteien (<ref-law>). Die Parteientschädigung wird bei Streitsachen mit Vermögensinteresse grundsätzlich nach den Begehren, die vor Bundesgericht streitig sind, bemessen (Art. 3 f. des Reglements vom 31. März 2006 über die Parteientschädigung und die Entschädigung für die amtliche Vertretung im Verfahren vor dem Bundesgericht [SR 173.110.210.3]). Im zu beurteilenden Fall kommt dem Umfang der Beschwerdeantwort für die Höhe der Kosten und der Entschädigung keine massgebende Bedeutung zu, weshalb er entgegen der Auffassung des Beschwerdeführers bei der Kostenverteilung nicht zu berücksichtigen ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3.
Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 6'000.-- zu entschädigen. Diese Entschädigung wird aus der an die Gerichtskasse bezahlten Sicherheitsleistung ausgerichtet.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zug, I. Zivilabteilung, schriftlich mitgeteilt.
Lausanne, 31. März 2014
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Luczak