Sachverhalt:
A.
B._ (Kläger, Beschwerdegegner) überwies am 19. Dezember 2006 den Betrag von Fr. 200'000.-- auf ein Konto von A._ (Beklagter, Beschwerdeführer). Dieser überwies den Betrag am nächsten Tag auf ein Konto der C._ GmbH, deren Gesell schafter er zu diesem Zeitpunkt war. Es liegen verschiedene Verträge vor (Kaufvertrag, Rückkaufvertrag, Mietvertrag, Darlehensvertrag), deren Abschluss vom Beklagten bestritten wird.
Am 21. Februar 2011 erliess das Richteramt Solothurn-Lebern (im Verfahren SLZAG.2009.30) eine Abschreibungsverfügung, in der ein Vergleich zwischen den Parteien festgehalten wurde. Darin stellten die Parteien übereinstimmend fest, aus dem Darlehensvertrag vom 14. Dezember 2006 sei kein Geld vom Kläger an den Beklagten geflossen, sodass die Betreibung des Klägers zu Unrecht erfolgt sei. Der Kläger ziehe die entsprechende Betreibung und der Beklagte seine negative Feststellungsklage zurück. Ausdrücklich vorbehalten wurde im Vergleich eine Forderung aus Kauf- und Rückkaufvertrag.
B.
Mit Klage vom 18. Dezember 2013 beim Amtsgericht Bucheggberg-Wasseramt beantragte der Kläger, der Beklagte sei kostenfällig zu verpflichten, ihm einen Betrag vom Fr. 200'000.-- nebst Zins zu bezahlen.
Mit Beschluss vom 24. November 2014 trat das Amtsgericht auf die Klage ein. Mit Verfügung vom 13. Februar 2015 wurden die Parteien - nach mehreren Fristerstreckungsgesuchen des Beklagten - zur Instruktionsverhandlung mit Zeugenbefragung vorgeladen, wovon sich der Beklagte dispensieren liess. Mit Eingabe vom 19. Mai 2015 ersuchte der Beklagte um Sistierung des Verfahrens wegen der von ihm gegen den Kläger eingeleiteten Strafuntersuchung, woraufhin das Zivilverfahren antragsgemäss sistiert wurde. Nachdem das Strafverfahren eingestellt und eine dagegen erhobene Beschwerde des Beklagten abgewiesen wurde, hob der Amtsgerichtspräsident die Sistierung auf und setzte die Hauptverhandlung auf den 20. November 2018 an. Am Tag vor der Verhandlung reichte der damalige Vertreter des Beklagten Belege für Flugtickets ein und führte aus, der Beklagte sei dringend in die Türkei und nach Vietnam zu Geschäftsterminen gerufen worden. Er könne daher an der Verhandlung nicht teilnehmen. Da eine Parteibefragung vorgesehen sei, werde das Gericht ersucht, die Verhandlung abzusagen und einen neuen Termin anzusetzen. Mit Verfügung vom selben Tag wurde dieses Gesuch abgewiesen.
Mit Urteil vom 20. November 2018 verpflichtete das Amtsgericht den Beklagten, dem Kläger Fr. 200'000.-- nebst Zins zu bezahlen. Es erachtete den Abschluss eines Kauf- und eines Rückkaufvertrags über das Inventar der D._ Bar in U._ zum Preis von Fr. 200'000.-- zwischen dem Kläger und dem Beklagten als erwiesen an. Der Kläger habe sich selbstständig machen wollen und habe zu diesem Zweck mit dem Beklagten einen Kauf- und später, als daraus nichts wurde, einen Rückkaufvertrag abgeschlossen.
Eine dagegen gerichtete Berufung wies das Obergericht des Kantons Solothurn mit Urteil vom 19. März 2020 ab.
C.
Mit Beschwerde in Zivilsachen beantragt der Beklagte dem Bundesgericht, das Urteil vom 19. März 2020 sei kostenfällig aufzuheben und die Sache sei zur erneuten Behandlung an die Vorinstanz zurückzuweisen. Eventualiter sei die Klage vom 18. Dezember 2013 vollumfänglich abzuweisen.
Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1.
1.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1 S. 245 f.). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist dabei, dass auf die Begründung des angefochtenen Entscheids eingegangen und im Einzelnen aufgezeigt wird, worin eine vom Bundesgericht überprüfbare Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerde an das Bundesgericht nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 116, 86 E. 2 S. 89).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 S. 17 f. mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5 S. 401). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vor instanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
1.3. Zu beachten ist, dass das Bundesgericht in die Beweiswürdigung des Sachgerichts nur eingreift, wenn diese willkürlich ist. Willkür liegt nach der Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern bloss, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 4.1 S. 566; <ref-ruling> E. 2.1 S. 211; je mit Hinweisen). Die Beweiswürdigung ist mithin nicht schon dann willkürlich, wenn sie nicht mit der Darstellung der beschwerdeführenden Partei übereinstimmt, sondern bloss, wenn sie offensichtlich unhaltbar ist (<ref-ruling> E. 4.1 S. 566; <ref-ruling> E. 4.2.1 S. 362). Dies ist dann der Fall, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (<ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 4.2 S. 234). Inwiefern die Beweiswürdigung willkürlich sein soll, ist in der Beschwerde klar und detailliert aufzuzeigen (BGE <ref-ruling> E. 2.2 S. 246). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem freie Sachverhaltsprüfung zukäme (vgl. <ref-ruling> E. 2.3 S. 266 f.; <ref-ruling> E. 2b S. 88).
1.4. In der Beschwerde wird die Tragweite der dargelegten Anforderungen verkannt. Der Beschwerdeführer setzt sich zwar vordergründig mit dem angefochtenen Entscheid auseinander, indem er diesen zusammenfasst und anschliessend unter dem Titel "Willkürliche Feststellung des Sachverhalts" kommentiert. Er beschränkt sich aber weitgehend darauf, den vorinstanzlichen Erwägungen seine abweichende Einschätzung entgegenzusetzen, wobei er wie vor einer ersten Instanz argumentiert und in pauschaler Weise auf Beweismittel in den Akten verweist. Dabei missachtet er die Bindung des Bundesgerichts in tatsächlicher Hinsicht (<ref-law>). Er zeigt insbesondere nicht auf, dass er die entsprechenden Tatsachen bereits bei den Vorinstanzen prozesskonform eingebracht hat. Präzise Aktenhinweise auf seine Berufung fehlen. Insgesamt übt er im Wesentlichen appellatorische Kritik am angefochtenen Entscheid, die den Begründungsanforderungen nicht genügt (<ref-ruling> E. 2.3 S. 266 mit Hinweisen).
2.
Der Beschwerdeführer rügt eine Verletzung seines Anspruchs auf rechtliches Gehör (<ref-law>), weil sein Gesuch um Verschiebung der erstinstanzlichen Hauptverhandlung abgewiesen und die Parteibefragung auch von der Vorinstanz nicht nachgeholt worden sei.
2. Die Vorinstanz erwog, er habe in seinem Verschiebungsgesuch weder wichtige geschäftliche Gründe dargetan, noch kein oder ein leichtes Verschulden geltend gemacht. Im Gegenteil, lasse sich hinter seinem Verhalten eher eine systematische Verzögerungstaktik vermuten. Indem er ohne hinreichende Gründe der Hauptverhandlung ferngeblieben sei, sei er säumig geworden. Eine Verletzung des rechtlichen Gehörs sei nicht auszumachen. Seinen Antrag im vorinstanzlichen Verfahren eine Partei- und Zeugenbefragung durchzuführen, wies sie mit der Begründung ab, die Parteien hätten bereits eingehend Gelegenheit gehabt, sich zu äussern. Auch habe eine Zeugenbefragung stattgefunden. Es sei weder ersichtlich noch werde rechtsgenüglich geltend gemacht, welche zusätzlichen Erkenntnisse aus einer weiteren Partei- und Zeugenbefragung zu gewinnen wären.
2. Der Beschwerdeführer setzt sich in seiner Beschwerde nicht hinreichend mit der obigen Begründung auseinander, welche eine sachgerechte Anfechtung ohne Weiteres ermöglicht (vgl. <ref-ruling> E. 4.3.2 S. 436). Soweit er mit Verweis auf die Höhe der Streitsumme erneut ausführt, die Parteibefragung wäre durch die Vorinstanz nachzuholen gewesen, ohne aber darzulegen, zu welchen Fragen er denn anzuhören gewesen wäre und welche Relevanz bzw. welche Auswirkungen diese Anhörung auf den Verfahrensausgang gehabt hätte, genügt er den Rügeanforderungen nicht.
3.
Umstritten ist, ob zwischen den Parteien ein Kauf- (und später) ein Rückkaufvertrag über das Inventar der D._ Bar in U._ abgeschlossen worden ist.
3.1. Die Vorinstanz hielt fest, die Erstinstanz habe ausgeführt, nachdem im Vergleich geklärt worden sei, dass der Darlehensvertrag zwischen dem Beschwerdegegner und der C._ GmbH als Rechtsgrund für die Zahlung in der Höhe von Fr. 200'000.-- an den Beschwerdeführer ausgeschlossen sei, äussere sich dieser widersprüchlich und unglaubhaft, wenn er geltend mache, er habe die Zahlung vom Beschwerdegegner gestützt auf genau diesen Darlehensvertrag erhalten. Seine Behauptung, der Beschwerdegegner habe sein Pensionskassenguthaben beziehen wollen, um es im Rahmen eines ungesicherten Darlehens gewinnbringend in die C._ GmbH zu investieren, sei weder naheliegend noch belegt.
Die Vorinstanz erwog, der Beschwerdeführer wiederhole grösstenteils seine Ausführungen vor der Erstinstanz. Er mache geltend, er habe mit dem Beschwerdegegner weder einen Mietvertrag noch einen Kauf- oder Rückkaufvertrag abgeschlossen. Der Beschwerdegegner habe nie die Absicht gehabt, sich selbstständig zu machen, er habe einzig seine Pensionskassengelder anlegen wollen; die Erstinstanz blende den Sachverhalt aus. Worin die falschen Feststellungen des Sachverhalts bestehen sollen, oder inwiefern seine Sachverhaltserläuterungen in der Berufungsschrift überhaupt prozessrelevant seien, erläutere er indes nicht. Die Erstinstanz habe ausführlich und begründet erklärt, dass sie seine Sachverhaltsdarstellung als nicht stichhaltig, unglaubhaft und widersprüchlich erachte. Sie sei aufgrund der Würdigung der Rechtsschriften, der Partei- und Zeugenbefragung zur Überzeugung gelangt, der Beschwerdegegner habe sich selbstständig machen wollen. Er habe zu diesem Zweck mit dem Beschwerdeführer einen Kauf- und später, als daraus nichts wurde, einen Rückkaufvertrag über das Barinventar abgeschlossen. Diese Schlussfolgerungen seien nicht zu beanstanden. Entgegen dem Beschwerdeführer habe sich die Erstinstanz ausführlich mit der Frage auseinandergesetzt, ob und wozu diese Verträge abgeschlossen worden seien und ob er diese eigenhändig unterzeichnet habe.
3.2. Der Beschwerdeführer rügt, die Vorinstanz habe den Sachverhalt willkürlich festgestellt bzw. eine willkürliche Beweiswürdigung vorgenommen. In Tat und Wahrheit habe der Beschwerdegegner der C._ GmbH ein Darlehen in der Höhe von Fr. 200'000.-- gewährt. Damit das Pensionskassengeld habe bezogen werden können, habe dieser eine selbstständige Tätigkeit fingiert, wozu entsprechende Kauf- und Mietverträge benötigt worden seien. Er habe diese nie unterzeichnet.
Der Beschwerdeführer genügt den Rügeanforderungen nicht, sondern übt bloss appellatorische Kritik (vgl. bereits hiervor E. 1.4). Wenn er im Übrigen in seiner Beschwerde argumentiert, die fragliche Überweisung von Fr. 200'000.-- durch den Beschwerdegegner sei aufgrund des Darlehensvertrages zwischen der C._ GmbH und dem Beschwerdegegner überwiesen worden, will er auf den Vergleich zurückkommen, in dem die Parteien festhielten, aus dem Darlehensvertrag vom 14. Dezember 2006 sei kein Geld vom Beschwerdegegner an den Beschwerdeführer geflossen und eine Forderung aus Kauf- oder Rückkaufvertrag ausdrücklich vorbehielten. Diesbezüglich ist es unter Willkürgesichtspunkten nicht zu beanstanden, wenn die Vorinstanz mit der Erstinstanz festhielt, der Beschwerdeführer äussere sich widersprüchlich und unglaubwürdig. Wenn er in seiner Beschwerde dazu ausführt, die fragliche Summe sei letztlich nicht an ihn, sondern über ihn (indirekt) an die C._ GmbH geflossen, vermag er keine willkürliche Beweiswürdigung darzutun. Im Fall, dass die Zahlung aufgrund des Darlehensvertrags indirekt über ihn ausbezahlt worden wäre, wäre im Vergleich eine entsprechende Klarstellung zu erwarten. Ebenso ist es nicht willkürlich, wenn die Vorinstanz nicht davon ausgeht, der Beschwerdegegner habe sein Pensionskassenguthaben im Rahmen eines ungesicherten Darlehens in die C._ GmbH investieren wollen.
4.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit überhaupt darauf eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kostenpflichtig (<ref-law>). Eine Parteientschädigung ist nicht geschuldet, da keine Vernehmlassung eingeholt wurde.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 6'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 3. Juli 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Gross