Sachverhalt:
A.
B._ (Kläger, Beschwerdegegner) und A._ (Beklagter, Beschwerdeführer) waren im Jahr 2004 Aktionäre der französischen Gesellschaft C._ SAS. Neben diesen beiden beteiligte sich die niederländische Gesellschaft D._ BV an der C._ SAS. Der Kläger war zu dieser Zeit Gesellschafter der D._ BV und Mitglied des Aufsichtsrats der C._ SAS. Der Beklagte war Mitglied der Geschäftsleitung der C._ SAS.
Im Frühjahr 2006 verkaufte die D._ BV ihre Beteiligung an der C._ SAS an den Beklagten. Um den Kaufpreis zu bezahlen, bat dieser den Kläger um ein Darlehen. Am 29. März 2006 schlossen der Kläger und der Beklagte einen schriftlichen Darlehensvertrag ab. Der Kläger verpflichtete sich darin, dem Beklagten ein Darlehen von EUR 100'000.-- zu gewähren. Das Darlehen sollte in vier jährlichen Raten von jeweils EUR 25'000.-- mit Zins zu 4 % zurückbezahlt werden. Im Falle einer verspäteten Rückzahlung wurde ein Verzugszins von 5 % vereinbart.
Mit Zahlungsbefehl vom 11. April 2014 leitete der Kläger ein Vollstreckungsverfahren gegen den Beklagten auf Rückzahlung der Darlehenssumme ein. Während und nach Abschluss dieses Verfahrens leistete der Beklagte drei Zahlungen von insgesamt EUR 59'668.-- an den Kläger.
B.
Am 1. Februar 2017 gelangte der Kläger an das Regionalgericht Prättigau/Davos. Nach den vollstreckungsrechtlich geltend gemachten Rückzahlungen im Betrag von EUR 59'668.-- verbleibe noch ein offener Rückzahlungsbetrag von EUR 133'866.-- (Darlehensschuld und Zins bis 19. Oktober 2016). Der Beklage sei daher zu verpflichten, ihm diesen Betrag zuzüglich Zins von 4 % und Verzugszins von 5 % seit dem 20. Oktober 2016 zu bezahlen.
Das Regionalgericht ging mit Urteil vom 19. Oktober 2017 von einer Rückzahlung der Darlehenssumme bis auf einen noch ausstehenden Betrag von EUR 10'250.-- aus. Es hiess die Klage teilweise gut und verpflichtete den Beklagten, dem Kläger EUR 10'250.-- zuzüglich Zins von 9 % seit dem 20. Oktober 2016 zu bezahlen.
Dagegen erhob der Kläger Berufung an das Kantonsgericht Graubünden. Das Kantonsgericht erwog im Urteil vom 19. November 2018, der Bestand der Rückzahlungspflicht sei nicht mehr umstritten. Es gehe daher einzig um die Frage, ob die Verpflichtung des Beklagten auf Rückerstattung des Darlehens durch Tilgung (teilweise) untergegangen sei. Der Beklagte leite aus der Rückerstattung Rechte ab und habe damit die Rückerstattung des Darlehens zu beweisen und das Gericht nach dem Regelbeweismass von dieser Tatsache vollends zu überzeugen. Das Kantonsgericht kam zum Schluss, dass die Erstinstanz bei der vorliegenden Beweislage die Rückzahlung des Darlehens nicht als genügend bewiesen hätte ansehen dürfen. Entsprechend hiess das Kantonsgericht die Berufung gut. Es hob den Entscheid des Regionalgerichts auf und verpflichtete den Beklagten, dem Kläger den Betrag von EUR 133'866.-- zuzüglich Zins von 4 % und Verzugszins von 5 % seit dem 20. Oktober 2016 zu bezahlen.
C.
Gegen den Entscheid des Kantonsgerichts erhob der Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht. Er beantragte, das Urteil des Kantonsgerichts sei aufzuheben, die Berufung sei abzuweisen und die Prozesskosten seien zu Lasten des Beschwerdegegners zu verlegen. Eventualiter sei das Urteil des Kantonsgerichts aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Mit Präsidialverfügung vom 8. Februar 2019 wurde der Beschwerde mangels Opposition die aufschiebende Wirkung erteilt. Es wurden keine Vernehmlassungen zur Beschwerde eingeholt.

Erwägungen:
1.
Vor Bundesgericht beanstandet der Beschwerdeführer einzig die Beweiswürdigung durch die Vorinstanz. Das Bundesgericht greift in die Beweiswürdigung des Sachgerichts nur ein, wenn diese willkürlich ist. Willkür liegt nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern nur, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft; dabei ist erforderlich, dass der Entscheid nicht nur in der Begründung, sondern auch im Ergebnis willkürlich ist (<ref-ruling> E. 2.1 S. 18 f.; <ref-ruling> E. 3.2.5 S. 339).
Dies ist insbesondere dann der Fall, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat. Dass die von Sachgerichten gezogenen Schlüsse nicht mit der eigenen Darstellung der beschwerdeführenden Partei übereinstimmen, belegt keine Willkür (<ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 4.2). Inwiefern die Beweiswürdigung willkürlich sein soll, ist in der Beschwerde klar und detailliert aufzuzeigen (<ref-ruling> E. 2.2; <ref-ruling> E. 1.3 S. 262). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem eine freie Sachverhaltsprüfung zukäme (vgl. <ref-ruling> E. 2b).
2.
2.1. Der Beschwerdeführer bringt vor, die Vorinstanz setze sich mit keinem Wort mit der Tatsache auseinander, dass die E-Mails vom 28. März 2012 und 14. April 2012 in einem Abstand von 17 Tagen geschrieben worden seien. Die chronologische Reihenfolge bzw. der zeitliche Bezug zueinander sei jedoch ein zentraler Aspekt, der von der Vorinstanz ausser Acht gelassen worden sei. Der Beschwerdegegner habe in der E-Mail vom 28. März 2012 die geleistete Teil-Rückzahlung vorbehaltlos anerkannt und in der darauf folgenden E-Mail vom 14. April 2012 detailliert dargelegt, welche Teilzahlungen er in der vorgängigen E-Mail gemeint habe. Sodann sei zu berücksichtigen, dass der Beschwerdegegner eine geschäftsgewandte Person sei. "Geradezu abwegig" sei, wenn die Vorinstanz in völlig unbegründete Spekulationen verfalle und in den Raum stelle, die in der E-Mail vom 28. März 2012 anerkannten Rückzahlungen könnten ganz andere Zahlungen betreffen als die Aufsichtsratshonorare, die in der E-Mail vom 14. April 2012 erwähnt wurden. Diese These entbehre der Grundlage. Der Beschwerdegegner habe nie geltend gemacht, dass es andere Zahlungen gegeben habe, als die in der E-Mail vom 14. April 2012 erwähnten Aufsichtsratshonorare.
2.2. Die Vorinstanz ging zunächst auf den Inhalt der beiden E-Mails vom 28. März und 14. April 2012 und die Erwägungen der Erstinstanz ein. Sie kam anschliessend zum Schluss, dass der Ausdruck "certains paiements que tu m'as fait" im E-Mail vom 28. März 2012 zwar durchwegs so verstanden werden könne, dass gewisse (persönliche) Zahlungen geleistet worden seien. Jedoch sei auch nicht ausgeschlossen, dass damit die Honorare gemeint seien, welche im (behaupteten) Vergleichsvorschlag von der Forderung des Beschwerdegegners abgezogen werden sollten. Auch sei nicht ausgeschlossen, dass damit andere Zahlungen als die im Rahmen des Vollstreckungsverfahrens freiwillig geleisteten gemeint gewesen seien, jedoch von den Parteien vor der Erstinstanz nicht thematisiert worden seien.
2.3. Ohne zu entscheiden, ob der Beschwerdeführer mit den obigen Ausführungen den Begründungsanforderungen vor Bundesgericht genügen würde (vgl. Erwägung 1), gehen seine Rügen fehl: Entgegen seiner Auffassung stellte die Vorinstanz fest, dass der Beschwerdegegner Gesellschafter der D._ BV und Mitglied des Aufsichtsrats der C._ SAS war. Sie zog damit seine Stellung und Geschäftsgewandtheit in ihre Beweiswürdigung mit ein. Die Vorinstanz legte alsdann den Inhalt der beiden E-Mails unmittelbar nacheinander dar, würdigte die beiden E-Mails gemeinsam und berücksichtigte damit die chronologische Reihenfolge und den zeitlichen Bezug der E-Mails zueinander.
Die Vorinstanz stellte sodann nicht fest, dass es neben den Honorarzahlungen für die Aufsichtsratstätigkeit bei der C._ SAS keine anderen Zahlungen zwischen den Parteien gegeben hätte. Solches ergibt sich auch nicht aus den vom Beschwerdeführer zitieren Vorbringen des Beschwerdegegners in der Berufungsschrift vom 15. Januar 2018, insbesondere nicht aus Rz. 19. Der Beschwerdegegner erklärte an dieser Stelle nicht, dass es neben den Honorarzahlungen keine anderen Zahlungen gegeben hätte. Vielmehr bestritt er bloss, dass es abgesehen von den im Vollstreckungsverfahren vom Beschwerdeführer geleisteten EUR 59'688.-- weitere Rückzahlungen des Darlehens durch den Beschwerdeführer gegeben habe. Unter diesen Umständen ist es nicht offensichtlich unrichtig, wenn die Vorinstanz erwog, dass es nicht ausgeschlossen sei, dass mit dem Ausdruck "certains paiements" andere Zahlungen gemeint gewesen, jedoch von den Parteien vor der Erstinstanz nicht thematisiert worden seien.
3.
Der Beschwerdeführer würdigt vor Bundesgericht die Zeugenaussage des Präsidenten des Aufsichtsrats der C._ SAS und den Nachtrag zum Aktionärsbindungsvertrag vom 15. September 2004 anders als die Vorinstanz. Er bringt dazu vor, dass dies alleine noch nicht belege, dass die Aufsichtsratshonorare zur Rückzahlung des Darlehens gedient hätten. Die Vorinstanz habe aber in "eklatanter Weise" unterlassen, das "Zusammenspiel" der verschiedenen Beweismittel in der Beweiswürdigung zu berücksichtigen.
Damit zeigt der Beschwerdeführer nicht hinreichend auf, inwiefern die vorinstanzliche Beweiswürdigung im oben genannten Sinn willkürlich wäre (vgl. Erwägung 1), sodass darauf nicht einzutreten ist. Nur der Vollständigkeit halber sei aber erwähnt, dass die Vorinstanz entgegen der Auffassung des Beschwerdeführers sehr wohl das Zusammenspiel der verschiedenen Beweismittel beachtete. Sie legte zwar für die jeweiligen Beweismittel dar, aus welchen Gründen sie entgegen der Erstinstanz nicht für die Behauptung des Beschwerdeführers sprechen würden. Sie kam aber anschliessend unter Berücksichtigung der gesamten Beweislage zum Ergebnis, dass der Beschwerdeführer die Rückzahlung des Darlehens nicht nachgewiesen habe (vorinstanzliche Erwägung 6.1).
4.
Die Beschwerde ist damit abzuweisen, soweit auf sie eingetreten werden kann. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Der Beschwerdegegner hatte sich einzig zum Gesuch um aufschiebende Wirkung zu äussern und liess sich diesbezüglich nicht vernehmen. Es ist ihm damit kein entschädigungspflichtiger Aufwand entstanden, der zu entschädigen wäre (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 5'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht von Graubünden, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 14. März 2019
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger