Sachverhalt:
A.
A._ (Beklagter, Beschwerdeführer) und B._ (Kläger, Beschwerdegegner) sind ehemalige Lebens- und Geschäftspartner. Am 6. Januar 2005 anerkannte der Kläger vor einem deutschen Notar, der in U._ domizilierten C._ GmbH (nachfolgend: GmbH), deren einziger Gesellschafter der Beklagte war, EUR 43'486.73 nebst Zins zu schulden. Am 29. Juli 2005 trat die GmbH sämtliche Rechte an dem notariellen Schuldanerkenntnis dem Beklagten ab. Im April 2008 gründeten die Parteien die Kollektivgesellschaft D._ (nachfolgend: Kollektivgesellschaft) mit Sitz in V._. Ende März 2015 schied der Beklagte aus der Kollektivgesellschaft aus, was zu deren Auflösung führte. Fortan betrieb der Kläger unter der Firma E._ die Geschäfte als Einzelunternehmung.
Am 19. September 2017 leitete der Beklagte beim Betreibungsamt W._ gegen den Kläger gestützt auf dessen Schuldanerkennung Betreibung über den Betrag von Fr. 49'931.45 nebst Zins ein. Mit Urteil vom 26. Januar 2018 wurde dem Beklagten angeblich Rechtsöffnung erteilt. Am 5. Februar 2018 erklärte der Kläger die Verrechnung der in Betreibung gesetzten Forderung mit einer ihm zustehenden Gegenforderung über rund Fr. 131'400.--.
B.
Am 11. Mai 2018 reichte der Kläger beim Einzelgericht für SchKG-Klagen am Bezirksgericht Zürich Klage ein und beantragte, es sei festzustellen, dass die in Betreibung gesetzte Forderung nicht bestehe. Mit Urteil vom 6. Dezember 2019 hiess das Einzelgericht die Klage gut, stellte fest, dass die in Betreibung gesetzte Forderung nicht besteht und hob die Betreibung auf. Es ging davon aus, dass die Forderung des Beklagten über Fr. 49'931.45 zuzüglich Zins zwar bestanden habe, jedoch durch Verrechnung mit der Forderung des Klägers gegenüber dem Beklagten aus von diesem unrechtmässig getätigten Entnahmen aus dem Konto der Einzelunternehmung im Betrag von Fr. 93'576.95 untergegangen sei.
Mit Urteil vom 11. August 2020 wies das Obergericht des Kantons Zürich die vom Beklagten erhobene Berufung kostenfällig ab.
C.
Mit Beschwerde in Zivilsachen vom 14. September 2020 beantragt der Beklagte dem Bundesgericht, das Urteil des Obergerichts des Kantons Zürich vom 11. August 2020 sei kostenfällig aufzuheben. Eventuell sei es aufzuheben und die Sache zu neuem Entscheid an das Obergericht zurückzuweisen. Ausserdem stellt er ein Gesuch um Gewährung der unentgeltlichen Rechtspflege.
Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Die Beschwerdeschrift hat ein Rechtsbegehren zu enthalten (<ref-law>). Die beschwerdeführende Partei muss grundsätzlich einen Antrag in der Sache stellen; ein blosser Antrag auf Rückweisung an die Vorinstanz zu neuer Entscheidung oder ein ausschliesslicher Aufhebungsantrag genügt in der Regel nicht. Ein Rückweisungsantrag reicht ausnahmsweise aus, wenn das Bundesgericht bei Gutheissung nicht selbst in der Sache entscheiden könnte, weil die erforderlichen Sachverhaltsfeststellungen der Vorinstanz fehlen (<ref-ruling> E. 1.2 S. 135; <ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1 S. 489 f. mit weiteren Hinweisen). Vorliegend stellte der Beschwerdeführer in Ziffer 1 seines Rechtsbegehrens lediglich einen Aufhebungsantrag. Aus der Begründung ergibt sich jedoch, dass er die Abweisung der negativen Feststellungsklage beantragt. Damit liegt insgesamt ein genügendes Rechtsbegehren vor. Die übrigen Eintretensvoraussetzungen geben keinen Anlass zu Bemerkungen. Auf die Beschwerde ist - vorbehältlich einer genügenden Begründung (<ref-law>) - einzutreten.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1 S. 245 f.). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist dabei, dass auf die Begründung des angefochtenen Entscheids eingegangen und im Einzelnen aufgezeigt wird, worin eine vom Bundesgericht überprüfbare Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerde an das Bundesgericht nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 116, 86 E. 2 S. 89).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 S. 17 f. mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117, 264 E. 2.3 S. 266). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
Der Beschwerdeführer legt in längeren Ausführungen den Sachverhalt dar, wobei er weitgehend die vorstehenden Anforderungen nicht erfüllt. Insofern sind seine Darlegungen unbeachtlich und es ist der von der Vorinstanz festgestellte Sachverhalt massgebend.
2.3. Zu beachten ist, dass das Bundesgericht in die Beweiswürdigung des Sachgerichts nur eingreift, wenn diese willkürlich ist. Willkür liegt nach der Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern bloss, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 4.1 S. 566; <ref-ruling> E. 2.1 S. 18 f.; je mit Hinweisen). Die Beweiswürdigung ist mithin nicht schon dann willkürlich, wenn sie nicht mit der Darstellung der beschwerdeführenden Partei übereinstimmt, sondern bloss, wenn sie offensichtlich unhaltbar ist (<ref-ruling> E. 4.1 S. 566; <ref-ruling> E. 4.2.1 S. 362). Dies ist dann der Fall, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (<ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 4.2 S. 234). Inwiefern die Beweiswürdigung willkürlich sein soll, ist in der Beschwerde klar und detailliert aufzuzeigen (BGE <ref-ruling> E. 2.2 S. 246). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem freie Sachverhaltsprüfung zukäme (vgl. <ref-ruling> E. 2.3 S. 266 f.; <ref-ruling> E. 2b S. 88)
3.
Die Vorinstanz stellte fest, es sei unbestritten, dass der Beschwerdeführer vom Konto der Einzelunternehmung zwischen April 2015 bis Ende Mai 2017 insgesamt Fr. 93'576.95 durch Bar- oder Kontobezüge entnommen habe, davon Fr. 43'598.43 als Honorar und Fr. 49'978.52 als Auslagenersatz. Beide Parteien gingen sodann übereinstimmend davon aus, dass nach der Auflösung der Kollektivgesellschaft zumindest ein auftragsrechtliches Verhältnis zwischen ihnen bestanden habe, aufgrund dessen der Beschwerdeführer zu administrativen und steuerrechtlichen Tätigkeiten für die Einzelunternehmung verpflichtet gewesen sei. Mit der Erstinstanz ging die Vorinstanz sodann davon aus, dass eine konkludente Einigung bestanden habe, wonach der Beschwerdeführer grundsätzlich zu privaten Bezügen berechtigt gewesen sei. Damit eine Verrechnung mit der erheblich geringeren Forderung aus Schuldanerkennung entfiele, müsste der Beschwerdeführer aber berechtigte Ansprüche seinerseits von über Fr. 44'000.-- substanziieren können.
3.1. Weiter erwog die Vorinstanz, da der Beschwerdegegner eine gesellschaftsrechtliche Beteiligung (als stiller Gesellschafter) des Beschwerdeführers verneint und Letzterer diesbezüglich keine hinreichend konkreten Behauptungen aufgestellt habe, komme zur Rechtfertigung der Bezüge nur ein Anspruch des Beschwerdeführers aus Auftragsrecht in Frage.
3.2. Der Beschwerdeführer habe keine Angaben zur Höhe eines konkludent vereinbarten Honorars gemacht. Vielmehr wiederhole er pauschal, die bereits unter der Existenz der Kollektivgesellschaft gegoltene Abrede, das Honorar laufend vom Konto zu beziehen, habe kraft konkludenten Verhaltens auch nach April 2015 weiterbestanden. Der Beschwerdeführer habe es insbesondere unterlassen, anhand seiner Privatbezüge bis April 2015 aufzuzeigen, dass sich die Belastungen ab April 2015 in etwa im gleichen Rahmen wie zuvor verhielten und die Bezüge jeweils der Hälfte des Geschäftsergebnisses entsprochen hätten. Es fehlten zudem Behauptungen zu den Geschäftsergebnissen der Einzelunternehmung in den Jahren 2015 bis 2017, sodass selbst bei Annahme einer gesellschaftlichen Verflechtung - welche die Vorinstanz aber wie erwähnt verneinte - nicht überprüft werden könnte, ob die Bezüge mit dem dem Beschwerdeführer zustehenden Anteil übereinstimmten. Es bleibe damit im Dunkeln, in welchem Umfang und nach welchen Kriterien der Beschwerdeführer bis April 2015 und danach befugt gewesen sei, private Kosten über das Firmenkonto zu decken. Insbesondere sei auch nicht erkennbar, was der Beschwerdeführer aus der zum Beweis offerierten Beilage 7 ableiten wolle. Dabei handle es sich um eine Sammelbeilage bestehend aus 52 Anlagen, welche zum Teil wiederum Sammelanlagen darstellten. Dies treffe insbesondere auf die Anlagen 33 und 44 der Beilage 7 zu, welche zahlreiche Kontoblätter bzw. E-Mails enthielten. Erläuterungen oder konkrete Bezugnahmen dazu fehlten in den Rechtsschriften. Die Beilagen seien nicht selbsterklärend. Eine konkludent geschlossene auftragsrechtliche Honorarvereinbarung sei nicht rechtsgenügend substanziiert worden. Die Vorinstanz stützte sich dabei auf die bundesgerichtliche Rechtsprechung, wonach die Parteien ihrer Behauptungs- und Substanziierungslast grundsätzlich in den Rechtsschriften selbst nachkommen müssen und blosse Verweise auf eingereichte Akten nicht genügen (vgl. Urteile 4A_209/2019 vom 8. Oktober 2019 E. 7.2.2.1 und 9.2; 4A_281/2017 vom 22. Januar 2018 E. 5).
Die Erstinstanz habe dargelegt, es fehlten jegliche Angaben zum getätigten zeitlichen Aufwand, weshalb auch kein übliches oder angemessenes Honorar festgelegt werden könne. Dazu äussere sich der Beschwerdeführer in der Berufung nicht weiter. Es wäre ihm - so die Vorinstanz - zumutbar gewesen, eine Tabelle mit Angabe des Datums, einer Beschreibung der verrichteten Tätigkeit sowie der aufgewendeten Zeit zu erstellen. Auch aus der erwähnten Beilage 7 ergebe sich aus den bereits dargelegten Gründen nichts zu seinen Gunsten. Die Angaben der Parteien zum benötigten Aufwand gingen sodann erheblich auseinander.
Schliesslich erwog die Vorinstanz, der Beschwerdeführer habe eine allfällige Genehmigung seiner privaten Bezüge durch den Beschwerdegegner nicht hinreichend konkretisiert. Eine solche dürfte sich, soweit nachvollziehbar, im Übrigen nur auf wenige tausend Franken beziehen. Es bestehe Einigkeit zwischen den Parteien, dass der Beschwerdeführer dem Beschwerdegegner die Buchhaltungsunterlagen und Steuererklärungen nicht herausgegeben habe, sodass anzunehmen sei, dass Letzterem eine detaillierte Übersicht über die privaten Bezüge des Beschwerdeführers gefehlt habe, zumal dieser dem Konto sowohl private als auch geschäftliche Kosten belastet habe. Daran ändere auch der Einwand des Beschwerdeführers nichts, der Beschwerdegegner habe die Rechnungsunterlagen gar nicht herausverlangt.
3.3. Hinsichtlich des Auslagenersatzes sei die Erstinstanz davon ausgegangen, gewisse Positionen hätten keinen Auslagencharakter. Im Wesentlichen fehlten aber konkrete Behauptungen zu den auftragsbezogenen Kosten. Auch im Berufungsverfahren lege der Beschwerdeführer nicht dar, wo er im erstinstanzlichen Verfahren die Höhe der einzelnen Auslagen beziffert habe.
4.
Der Beschwerdeführer rügt eine Verletzung des Anspruchs auf rechtliches Gehör. Die Vorinstanz habe nicht begründet, weshalb sie nicht prüfen müsse, ob der Beschwerdeführer seine auftrags- oder gesellschaftsrechtlichen Pflichten korrekt erfüllt habe und ob und in welchem Umfang der Beschwerdegegner von den Bezügen des Beschwerdeführers Kenntnis gehabt und diese genehmigt habe.
Die Rüge ist hinsichtlich der Schlechterfüllung unbehelflich. Zwar hatte der Beschwerdegegner gemäss den Feststellungen der Vorinstanz im erstinstanzlichen Verfahren geltend gemacht, der Beschwerdeführer habe seine vertraglichen Pflichten nicht oder nur schlecht erbracht und dem Beschwerdegegner keine Buchhaltungen und Steuererklärungen abgegeben. Und sie stellte auch fest, in tatsächlicher Hinsicht bestehe Einigkeit, dass der Beschwerdeführer die Buchhaltungen und Steuererklärungen dem Beschwerdegegner nicht herausgegeben habe. Da die Vorinstanz aber einen Anspruch auf Honorar und Auslagenersatz mangels entsprechender Substanziierung grundsätzlich verneinte, wurde die Frage der pflichtwidrigen Erfüllung gegenstandslos, was offensichtlich ist und deshalb nicht weiter begründet werden musste.
Nicht ohne Weiteres nachvollziehbar ist indessen die Aussage der Vorinstanz, es sei nicht zu beurteilen, ob und in welchem Umfang der Beschwerdegegner von den Bezügen des Beschwerdeführers Kenntnis gehabt und ob er diese genehmigt habe. Die Vorinstanz meint damit offenbar, es müsse nicht beurteilt werden, ob jeder einzelne Bezug genehmigt worden sei. Der Beschwerdeführer behauptet denn auch nicht, der Beschwerdegegner hätte jeweils einzelne Bezüge bewilligt, sondern bezieht die von ihm behauptete Genehmigung pauschal auf das konkludente Verhalten des Beschwerdegegners zwischen 2015 und 2017. Dazu nahm die Vorinstanz aber Stellung (vgl. E. 3.2 hiervor). Eine Verletzung des rechtlichen Gehörs liegt folglich nicht vor.
5.
Was der Beschwerdeführer gegen die vorinstanzliche Begründung vorbringt, ist nicht geeignet, diese als rechtsfehlerhaft auszuweisen.
5.1. Der Beschwerdeführer behauptet eine konkludente Vereinbarung "obligationenrechtlicher und/oder gesellschaftsrechtlicher Natur (stille Gesellschaft) ". Die Vorinstanz führte - wie erwähnt - aus, der Beschwerdeführer habe im kantonalen Verfahren nicht substanziiert, woraus sich ein gesellschaftsrechtliches Verhältnis ergebe (E. 3.1 hiervor). Für eine rechtsgenügliche Rüge müsste der Beschwerdeführer nun darlegen, welche konkreten Umstände er im kantonalen Verfahren rechtzeitig vorgebracht hat, aus denen sich der Wille ergeben hätte, auch nach Auflösung der Kollektivgesellschaft weiterhin mit dem Beschwerdegegner als Gesellschafter zusammenzuarbeiten. Der Beschwerdeführer leitet diesen "animus societatis" aber wie bereits vor Vorinstanz lediglich daraus ab, dass der Beschwerdegegner weiterhin Kontobelastungen gebilligt habe. Bereits die Vorinstanz hat ihm zu Recht entgegengehalten, dass damit der Wille, als Gesellschafter zusammenzuarbeiten, nicht genügend substanziiert sei. Von einer willkürlichen Beweiswürdigung, wie der Beschwerdeführer sie geltend macht, kann mithin nicht die Rede sein. Mit der Vorinstanz ist somit - mangels Nachweises eines Gesellschaftsverhältnisses - von einem Auftrag (<ref-law>) auszugehen. Der Beschwerdeführer müsste eine konkrete Honorarvereinbarung nachweisen oder Tatsachen vorbringen, aufgrund derer sich ein übliches bzw. angemessenes Honorar bestimmen liesse.
5.2. Wie bereits vor Vorinstanz, wiederholt der Beschwerdeführer lediglich seine Behauptung, die bis April 2015 (Auflösung der Kollektivgesellschaft) gehandhabte Regelung einer 50:50-Aufteilung von Gewinn und Verlust habe auch im Zeitraum von über zwei Jahren zwischen 2015 und 2017 weiter gegolten, da der Beschwerdegegner dieser nicht widersprochen und sie dadurch (konkludent) gebilligt habe. Demzufolge habe der Beschwerdegegner in diesem Zeitraum auch nicht den analog den Vorjahren getätigten Barentnahmen und Überweisungen widersprochen, obwohl er als Kontoinhaber ständig Einsicht in das Bankkonto gehabt habe. Er habe das Konto der Kollektivgesellschaft vielmehr noch bis Mai 2017 aufrechterhalten. Wäre er mit den Bezügen nicht einverstanden gewesen, hätte er es unverzüglich sperren lassen können.
Mit dieser Argumentation verkennt der Beschwerdeführer, dass die Zulässigkeit von Kontobelastungen als solche nicht umstritten war. Die Vorinstanz stellte nämlich unter Hinweis auf die Erstinstanz ausdrücklich fest, es habe eine konkludente Einigung bestanden, welche den Beschwerdeführer gestützt auf Auftragsrecht grundsätzlich zu privaten Bezügen berechtigte. Damit ist aber noch nicht nachgewiesen, dass der Beschwerdegegner die gesamten Bezüge konkludent als Honoraranspruch (und Auslagenanspruch) anerkannt hätte.
Der Beschwerdeführer beruft sich auf die Steuererklärung 2016 des Beschwerdegegners, welche er gestützt auf <ref-law> im Beschwerdeverfahren einreiche und die der Beschwerdegegner im Zusammenhang mit dem Gesuch um unentgeltliche Rechtspflege im erstinstanzlichen Verfahren eingebracht habe. In dieser sei die vom Beschwerdegegner erstmals in der Klage geltend gemachte Forderung von Fr. 93'576.95 nicht enthalten. Damit habe der Beschwerdegegner implizit bestätigt, dass die frühere Praxis einer 50:50-Aufteilung von Gewinn und Verlust und der Zulässigkeit der analog den Vorjahren getätigten Barentnahmen und Überweisungen weiterhin gelten sollte. Dass erst der Entscheid der Vorinstanz Anlass geboten hätte, dieses Dokument nachträglich einzureichen, legt der Beschwerdeführer nicht dar und ist auch nicht ersichtlich. Die Voraussetzungen von <ref-law> sind damit nicht gegeben. An anderer Stelle begründet der Beschwerdeführer denn auch selbst die Berücksichtigung dieses Dokuments nicht mit <ref-law>, sondern führt aus, die Steuererklärung sei der Vorinstanz zur Würdigung vorgelegen "nicht nur für das Gesuch betreffend die unentgeltliche Rechtspflege, sondern auch materiell-rechtlich im Zusammenhang mit der Beurteilung des Bestands der vom Beschwerdegegner behaupteten Verrechnungsforderung". Damit möchte der Beschwerdeführer offenbar geltend machen, die Vorinstanz hätte - ohne dass dieses Aktenstück mit entsprechenden Behauptungen zum Sachverhalt in den Zivilprozess eingeführt worden wäre - dieses von sich aus aus dem Verfahren betreffend unentgeltliche Rechtspflege beiziehen müssen. Diese Auffassung findet indes keine Stütze im Prozessrecht. Im Übrigen kann aus der Nichterwähnung einer Forderung in einer Steuerklärung nicht ohne Weiteres abgeleitet werden, der Steuerpflichtige bestätige damit, es bestehe keine entsprechende Forderung.
Nicht weiter einzugehen ist auch auf den Einwand des Beschwerdeführers, sein hälftiger Gewinnanspruch für den Zeitraum von März 2015 bis Mai 2017 würde sich auf Fr. 97'005.40 belaufen und damit die Bezüge in Höhe von Fr. 93'576.95 übersteigen. Denn auch hierfür beruft er sich auf die Steuererklärung des Beschwerdegegners von 2016 und setzt voraus, dass eine konkludente Einigung einer hälftigen Gewinnverteilung nachgewiesen ist.
5.3. Hinsichtlich der Frage nach der Höhe eines üblichen oder angemessenen Honorars verweist der Beschwerdeführer - wie bereits vor der Vorinstanz - darauf, dass er den zu entschädigenden Arbeitsaufwand mit 1'306 E-Mails und 628 Schreiben nachgewiesen habe; aufgrund des schieren Umfangs der Dokumenten- und Datenmenge seien genauere Angaben nicht möglich gewesen. Er erklärt aber nicht, wie dem Gericht eine Beurteilung dieser unübersichtlichen Datenmenge mangels wenigstens annäherungsweise substanziierter Angaben zu Art und Umfang einzelner Tätigkeiten hätte möglich sein sollen bzw. wie die Gegenpartei in der Lage hätte sein sollen, diese substanziiert zu bestreiten, wenn er selbst offenbar zu einer Quantifizierung des Aufwands nicht in der Lage gewesen sein soll. Dass der Beschwerdeführer wegen der "persönlichen Verknüpfung" während des laufenden Vertragsverhältnisses - wie behauptet - keine Aufzeichnungen anfertigte, vermag daran nichts zu ändern.
5.4. Die Vorinstanz führte schliesslich zutreffend aus, die Erstinstanz habe keine unzulässige antizipierte Beweiswürdigung vorgenommen, wenn sie auf die angebotenen Parteibefragungen verzichtet habe, da die Abnahme von Beweisen substanziierte Tatsachenbehauptungen voraussetze, über die Beweis abgenommen werden könne. Die unsubstanziierten Ausführungen des Beschwerdeführers dazu genügen den Rügeerfordernissen nicht.
6.
Der Beschwerdeführer moniert sodann, der Entscheid der Vorinstanz, dem Beschwerdegegner die unentgeltliche Rechtspflege zu gewähren, sei unbegründet und unhaltbar.
Im Verfahren um unentgeltliche Rechtspflege kann das Gericht zwar die Gegenpartei anhören (<ref-law>). Es wird dies tun, wenn es sich daraus bessere Erkenntnisse verspricht (vgl. <ref-ruling> E. 4.2 S. 342). Das ändert aber nichts daran, dass der Prozessgegner im Verfahren um unentgeltliche Rechtspflege keine Parteistellung hat (<ref-ruling> E. 4.2 S. 343; Urteile 4A_269/2020 vom 18. August 2020 E. 3.1.4; 5A_29/2013 vom 4. April 2013 E. 1.1 mit Hinweis), es sei denn, er habe die Sicherstellung der Parteientschädigung verlangt und die unentgeltliche Rechtspflege solle auch die Leistung der Sicherheit umfassen (<ref-law>). Da Letzteres vorliegend nicht zutrifft, ist der Beschwerdeführer in diesem Punkt nicht zur Beschwerde legitimiert. Seine Ausführungen sind folglich nicht zu hören.
7.
Die Beschwerde in Zivilsachen ist abzuweisen, soweit darauf einzutreten ist.
Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren ist abzuweisen, weil die Beschwerde als von vornherein aussichtslos erscheint (<ref-law>).
Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Der Beschwerdegegner hat keinen Anspruch auf eine Parteientschädigung, da ihm aus dem bundesgerichtlichen Verfahren kein Aufwand erwachsen ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird abgewiesen.
3.
Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 5. Januar 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Bittel