Sachverhalt:
A.
Mit Verfügungen vom 20. September 2016 erteilte der Einzelrichter am Bezirksgericht Kreuzlingen C._ in der Betreibung Nr. xxx des Betreibungsamtes U._ gegen A._ und in der Betreibung yyy gegen B._ je die provisorische Rechtsöffnung für Fr. 53'783.10 nebst 15 % Zins seit 2. Juni 2016.
B.
A._ und B._ (Kläger, Beschwerdeführer) reichten am 17. Oktober 2016 Aberkennungsklage beim Bezirksgericht Kreuzlingen ein. Sie beantragten, es sei festzustellen, dass die Forderung von C._ (Beklagter, Beschwerdegegner), für welche die provisorische Rechtsöffnung erteilt worden sei, nicht bestehe. Mit Entscheid vom 26. Februar 2018 wies das Bezirksgericht die Aberkennungsklage ab.
Die dagegen von den Klägern erhobene Berufung hiess das Obergericht des Kantons Thurgau mit Entscheid vom 4. April 2019 teilweise gut. Das Obergericht stellte fest, dass die Forderung, für die der Einzelrichter des Bezirksgerichts Kreuzlingen mit den Entscheiden vom 20. September 2016 provisorische Rechtsöffnung in den Betreibungen Nr. xxx und yyy des Betreibungsamts U._ im Betrag von Fr. 53'783.10 zuzüglich 15 % Zins seit 2. Juni 2016 erteilte, im Betrag von Fr. 42'102.25 zuzüglich 15 % Zins seit 2. Juni 2016 bestehe. Im Mehrbetrag bestehe die Forderung nicht.
C.
Dagegen erhoben die Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht. Sie beantragten, das Urteil des Obergerichts sei aufzuheben. Es sei festzustellen, dass die Forderung, für die der Einzelrichter des Bezirksgerichts Kreuzlingen dem Beschwerdegegner mit Entscheiden vom 20. September 2016 provisorische Rechtsöffnung erteilte, nicht bestehe. Eventualiter sei die Sache zur weiteren Abklärung an die Vorinstanz zurückzuweisen.
Auf das Einholen von Vernehmlassungen wurde verzichtet.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen sind erfüllt und geben zu keinen Bemerkungen Anlass. Unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und <ref-law>; vgl. Erwägung 2) ist daher auf die Beschwerde einzutreten.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116).
Macht die beschwerdeführende Partei eine Verletzung des Willkürverbots von <ref-law> geltend, genügt es nicht, wenn sie einfach behauptet, der angefochtene Entscheid sei willkürlich (<ref-ruling> E. 3 S. 352; <ref-ruling> E. 5.5). Willkür liegt nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern nur, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 2.1; <ref-ruling> E. 3.2.5 S. 339). Dass die von Sachgerichten gezogenen Schlüsse nicht mit der eigenen Darstellung der beschwerdeführenden Partei übereinstimmen, belegt keine Willkür (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Erforderlich ist zudem, dass der Entscheid nicht nur in der Begründung, sondern auch im Ergebnis willkürlich ist (<ref-ruling> E. 2.1 S. 19 mit Hinweisen).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
3.
Die Parteien schlossen am 22. August 2011 einen Privatkreditvertrag ab. Darin anerkannten die Beschwerdeführer, vom Beschwerdegegner "als Privatkredit den Betrag von CHF 117'000.00, zuzüglich 11.9 % Zins p.a. CHF 36'666.00, Total CHF 153'666.00" erhalten zu haben und dem Beschwerdegegner zu schulden.
Strittig war vor der Vorinstanz, ob die Beschwerdeführer dem Beschwerdegegner aus diesem Vertrag noch Fr. 53'783.10 nebst Verzugszins schulden. Die Beschwerdeführer machten geltend, der Privatkreditvertrag gebe nicht die tatsächliche Vereinbarung zwischen den Parteien und damit nicht deren wirklichen Willen wieder.
Die Vorinstanz kam zum Schluss, dass von den Fr. 117'000.-- "Privatkredit" gemäss schriftlichem Vertrag unbestrittener- und erwiesenermassen nur Fr. 100'000.-- Darlehen seien. Insofern hätten sich die Parteien tatsächlich übereinstimmend verstanden und sich in diesem Verständnis auch tatsächlich geeinigt. Ebenso sei ein tatsächlicher Konsens betreffend den Zins von Fr. 36'666.-- erstellt. Auch müssten sich die Parteien offensichtlich einig gewesen sein, dass weitere Fr. 17'000.-- geschuldet seien, insgesamt also Fr. 153'666.--. Nur so lasse sich das nachträgliche Zahlungsverhalten der Beschwerdeführer interpretieren. Bei den Fr. 17'000.--- handle es sich neben den Fr. 36'666.-- "Zins im engeren Sinn" um "Darlehenszins im weiteren Sinn". Der Zins für das Darlehen von Fr. 100'000.-- betrage damit Fr. 53'666.--. Das ergebe einen effektiven Jahreszins von 20.91 %. Ein solch hoher Zins sei sittenwidrig. Der Zins sei daher wenigstens auf den erlaubten Höchstzinssatz von 18 % herabzusetzen. Entsprechend betrage die Schuld der Beschwerdeführer nicht Fr. 153'666.--, sondern Fr. 143'013.--. Abzüglich der geleisteten Zahlungen ergebe dies einen Fehlbetrag von Fr. 42'102.25.
4.
4.1. Dagegen stellen sich die Beschwerdeführer vor Bundesgericht auf den Standpunkt, dass es für den Nachweis, ob die Parteien in ihrem Willen übereinstimmten, nicht allein auf die Höhe der nachträglich bezahlten Raten ankommen könne. Entscheidend sei, ob die Parteien bei Vertragsschluss einen gemeinsamen Willen gehabt haben. Die Feststellung dieses Willens sei eine Tatfrage. An das Bundesgericht könne indessen eine vorinstanzliche Feststellung weitergezogen werden, die offensichtlich unrichtig sei. Dies sei vorliegend der Fall. Die vorinstanzliche Beweiserhebung zur Vertragseinigung genüge sodann den "Beweisanforderungen" nicht und die Auslegung des Vertragswillens sei "fehlerhaft".
4.2. Der Inhalt eines Vertrages bestimmt sich in erster Linie durch subjektive Auslegung, das heisst nach dem übereinstimmenden wirklichen Parteiwillen (<ref-law>; <ref-ruling> E. 3.3 S. 49). Diese subjektive Vertragsauslegung beruht auf Beweiswürdigung, die vorbehältlich der Ausnahmen von Art. 97 und 105 BGG der bundesgerichtlichen Überprüfung entzogen ist (<ref-ruling> E. 5.2.1).
Die Beschwerdeführer bezeichnen die vorinstanzliche Beweiswürdigung lediglich als "fehlerhaft" und "offensichtlich unrichtig", da es für einen übereinstimmenden wirklichen Willen nicht nur auf das nachträgliche Zahlungsverhalten ankomme. Damit beanstanden sie die Feststellung des übereinstimmenden wirklichen Willens durch die Vorinstanz nicht hinreichend. Vielmehr hätten sie an der ausführlichen Beweiswürdigung der Vorinstanz ansetzen müssen und im Einzelnen aufzeigen sollen, inwiefern sie offensichtlich unrichtig ist (dazu Erwägung 2.1). Es bleibt damit bei dem von der Vorinstanz festgestellten übereinstimmenden Willen der Parteien.
Steht eine tatsächliche Willensübereinstimmung fest, bleibt für eine Auslegung nach dem Vertrauensgrundsatz kein Raum (<ref-ruling> E. 3.1; <ref-ruling> E. 1a S. 73). Auf die Ausführungen der Beschwerdeführer zur Auslegung nach dem Vertrauensprinzip braucht damit nicht eingetreten zu werden.
5.
5.1. Die Beschwerdeführer bringen vor, der Beschwerdegegner habe zu beweisen, dass er die Darlehenssumme tatsächlich überwiesen habe und zu welchem Zeitpunkt. Auch die Zinspflicht könne in der Regel erst ab dem Zeitpunkt zu laufen beginnen, ab dem die entsprechende Geldsumme ausbezahlt worden sei. Der Beschwerdegegner sei im vorinstanzlichen Verfahren diesen Beweis schuldig geblieben. Die Vorinstanz gehe alsdann zu Unrecht davon aus, dass die im Privatkreditvertrag statuierte Zinspflicht unabhängig davon gelte, ob den Beschwerdeführern die Summe überhaupt ausbezahlt worden sei.
5.2. Entgegen der Auffassung der Beschwerdeführer legte die Vorinstanz sehr wohl dar, dass die Darlehenssumme von Fr. 100'000.-- vom Beschwerdegegner ausbezahlt wurde. Sie erwog nämlich, es sei erstellt, dass der Beschwerdegegner den Beschwerdeführern den Betrag von Fr. 20'126.85 bar ausbezahlt habe. Die Vorinstanz erwog im Weiteren, dass die Parteien für den darüber hinausgehenden Betrag im Umfang von Fr. 79'152.15 übereingekommen seien, dass die Darlehensvaluta direkt an die Gläubiger der Beschwerdeführer ausgerichtet werde. Auch diesbezüglich sei erstellt, dass der Beschwerdegegner Schulden der Beschwerdeführer im Betrag von insgesamt Fr. 79'152.15 bezahlt habe. Diese beiden Beträge würden eine Summe von Fr. 99'279.-- ergeben. Die Vorinstanz legte schliesslich dar, wie die Differenz von Fr. 721.-- zu Fr. 100'000.-- zu erklären sei. Die Rüge der Beschwerdeführer, dass der Beschwerdegegner den Beweis für die Auszahlung schuldig geblieben sei, erweist sich somit als unzutreffend.
Die vorinstanzliche Beweiswürdigung, dass der Darlehensbetrag von Fr. 100'000.-- ausbezahlt wurde, beanstanden die Beschwerdeführer nicht hinreichend. Sie behaupten bloss, dass dem Beschwerdegegner der Beweis nicht gelungen sei, und sie präsentieren dem Bundesgericht eine eigene, von der Berechnung der Vorinstanz abweichende Kalkulation (Erwägung 2.1).
Soweit die Beschwerdeführer mit ihren Ausführungen den Zinsenlauf in Frage stellen möchten, geht ihre Rüge fehl: Die Vorinstanz kam zum Schluss, dass sowohl ein tatsächlicher Konsens über die Darlehensvaluta von Fr. 100'000.-- als auch über den Zins von Fr. 53'666.-- feststehe (dazu Erwägung 3 und 4). Diesen Erwägungen stellen die Beschwerdeführer bloss ihre eigene Berechnung entgegen und behaupten, dass "in der Regel" die Zinspflicht erst ab dem Zeitpunkt der Auszahlung der Darlehenssumme zu laufen beginne. Damit beanstanden sie die vorinstanzliche Beweiswürdigung nicht hinreichend (Erwägung 2.1).
6.
Die Beschwerdeführer rügen schliesslich, dass die Vorinstanz auf Seite 25 des angefochtenen Entscheids "offensichtlich aktenwidrig" rechne. Die monatliche Rate betrage nicht Fr. 2'433.55, sondern Fr. 2'561.10.
Auch diese Rüge ist unbegründet. Richtig ist zwar, dass die Beschwerdeführer jeweils Raten von Fr. 2'561.10 zahlten, wie die Vorinstanz auch zutreffend feststellte. Die Vorinstanz erwog aber, dass der vereinbarte Zinssatz zu hoch und daher herabzusetzen sei. Mit dem reduzierten Zinssatz gerechnet betrage die Monatsrate für den Kredit Fr. 2'433.55. Von dieser herabgesetzten Monatsrate spricht die Vorinstanz an der beanstandeten Stelle. Von Aktenwidrigkeit kann keine Rede sein.
7.
Nach dem Ausgeführten ist die Beschwerde abzuweisen, soweit auf sie überhaupt eingetreten werden kann. Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer in solidarischer Haftung kostenpflichtig (Art. 66 Abs. 1 und 5 BGG). Der Beschwerdegegner hat keinen Anspruch auf eine Parteientschädigung, da ihm aus dem bundesgerichtlichen Verfahren kein Aufwand erwachsen ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern in solidarischer Haftung auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 17. Oktober 2019
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger