Sachverhalt:
A.
B._ (Klägerin, Beschwerdegegnerin) wollte im Jahr 2016 von A._ (Beklagter, Beschwerdeführer) eine Wohnung im Stockwerkeigentum erwerben. Dafür leistete sie eine Anzahlung über Fr. 70'000.--. In der Folge kam der Kaufvertrag nicht zu Stande. Am 15. September 2017 erhob die Klägerin Klage am Bezirksgericht Meilen. Sie forderte vom Beklagten ihre geleistete Anzahlung zurück und klagte auf Feststellung des Nichtbestands der Forderung des Beklagten aus culpa in contrahendo, welche dieser zur Verrechnung stellte. Mit Urteil vom 6. März 2018 hiess das Bezirksgericht die Klage teilweise gut.
Dagegen erhob der Beklagte Berufung an das Obergericht des Kantons Zürich. Das Obergericht setzte ihm mit Verfügung vom 13. Juni 2018 Frist an zur Leistung eines Kostenvorschusses von Fr. 9'200.--. Da er den Kostenvorschuss innert Frist nicht leistete, gewährte ihm das Obergericht mit Verfügung vom 4. Juli 2018 eine "einmalige Nachfrist" von fünf Tagen, um den Kostenvorschuss zu zahlen. Der Beklagte nahm diese Verfügung am 12. Juli 2018 in Empfang.
Mit Eingabe vom 17. Juli 2018 stellte er den Antrag, es sei ihm für die Zahlung des Kostenvorschusses die Möglichkeit der Zahlung in vier Raten zu gewähren. Mit Verfügung vom 18. Juli 2018 trat das Obergericht auf den Antrag mangels Begründung nicht ein. Der Beklagte nahm diese Verfügung am 27. Juli 2018 entgegen. Am 16. August 2018 stellte er erneut einen Antrag um Gewährung der Ratenzahlung. Mit Verfügung vom 17. August 2018 wurde der Antrag abgewiesen. Die Verfügung wurde vom Obergericht gleichentags als Gerichtsurkunde und mittels A-Post an den Beklagten versandt.
Mit Beschluss vom 23. August 2018 trat das Obergericht auf die Berufung des Beklagten nicht ein, da er den Kostenvorschuss nicht geleistet hatte.
B.
Mit Eingabe vom 5. September 2018 beantragte der Beklagte am Obergericht, es sei die Frist zur Leistung des Kostenvorschusses wiederherzustellen. Es sei ihm eine kurze Nachfrist zur Zahlung des Kostenvorschusses zu gewähren.
Mit Beschluss vom 14. November 2018 wies das Obergericht das Gesuch um Wiederherstellung der Nachfrist zur Leistung des Kostenvorschusses von Fr. 9'200.-- ab.
C.
Dagegen erhob der Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht. Er beantragte, es sei der Beschluss des Obergerichts aufzuheben und ihm eine Nachfrist zur Leistung des Prozesskostenvorschusses zu gewähren. Eventualiter sei das Wiederherstellungsgesuch zur Neubeurteilung an das Obergericht zurückzuweisen.
Es wurde keine Vernehmlassungen zur Beschwerde eingeholt.
Mit Eingabe vom 28. Januar 2019 beantragte der Beschwerdeführer, es sei nach <ref-law> auf die Erhebung des Kostenvorschusses zu verzichten. Mit Schreiben vom 1. Februar 2019 wurde dem Beschwerdeführer mitgeteilt, dass keine besonderen Gründe für einen Verzicht vorliegen würden und dem Gesuch daher nicht entsprochen werden könne. In der Folge leistete der Beschwerdeführer innert Nachfrist den Kostenvorschuss für das bundesgerichtliche Verfahren.

Erwägungen:
1.
Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-law>; <ref-ruling> E. 2.1 mit Hinweisen).
1.1. Mit Beschluss vom 23. August 2018 wurde auf die Berufung des Beschwerdeführers nicht eingetreten, da er den Kostenvorschuss nicht bezahlt hatte. Daraufhin ersuchte er am 5. September 2018 bei der Vorinstanz um Wiederherstellung der Nachfrist zur Leistung des Kostenvorschusses. Mit dem angefochtenen Beschluss hat die Vorinstanz dieses Gesuch abgewiesen und damit das Verfahren beendet. Es liegt daher ein Endentscheid im Sinne von <ref-law> vor (Urteil 4A_260/2016 vom 5. August 2016 E. 1.1). Dieser hat zum Verlust der Rechtsmittelmöglichkeit gegen den Entscheid der Erstinstanz und damit zum definitiven Rechtsverlust des Beschwerdeführers geführt. Der Entscheid ist daher ungeachtet der Bestimmung von <ref-law> mit Beschwerde am Bundesgericht anfechtbar (<ref-ruling> E. 6 mit Hinweisen; zit. Urteil 4A_260/2016 E. 1.1).
1.2. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind und zu keinen Bemerkungen Anlass geben, ist unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) auf die Beschwerde einzutreten.
2.
Gemäss <ref-law> kann das Gericht auf Gesuch einer säumigen Partei eine Nachfrist gewähren oder zu einem Termin erneut vorladen, wenn die Partei glaubhaft macht, dass sie kein oder nur ein leichtes Verschulden trifft. Das Versäumnis muss auf einem fehlenden oder leichten Verschulden beruhen. Das leichte Verschulden umfasst jedes Verhalten, das - ohne dass es akzeptierbar oder entschuldbar wäre - nicht zum schwerwiegenden Vorwurf gereicht. Dabei ist Tatfrage, wie sich die die Wiederherstellung begehrende Partei verhalten hat, während Rechtsfrage ist, ob das tatsächlich festgestellte Verhalten als leichtes Verschulden zu qualifizieren ist (Urteile 4A_52/2019 vom 20. März 2019 E. 3.1; 4A_9/2017 vom 6. März 2017 E. 2.1; 5A_94/2015 vom 6. August 2015 E. 6.1).
Beim Entscheid darüber, ob die gesuchstellende Partei ein bloss leichtes Verschulden im Sinne von <ref-law> trifft, handelt es sich um einen Ermessensentscheid (Urteile 4A_52/2019 vom 20. März 2019 E. 3.1; 4A_334/2016 vom 7. Juli 2016 E. 4.2). Ermessensentscheide prüft das Bundesgericht mit Zurückhaltung. Es schreitet nur ein, wenn die Vorinstanz grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgegangen ist, wenn Tatsachen berücksichtigt wurden, die keine Rolle hätten spielen dürfen, oder wenn umgekehrt Umstände ausser Betracht geblieben sind, die zwingend hätten beachtet werden müssen. In derartige Ermessensentscheide wird ferner eingegriffen, wenn sich diese als offensichtlich unbillig, als in stossender Weise ungerecht erweisen (<ref-ruling> E. 11.2; <ref-ruling> E. 2.1.3., 669 E. 3.1 S. 671, je mit Hinweisen).
3.
3.1. Die Vorinstanz erwog, dem Beschwerdeführer sei seit dem Empfang der Verfügung vom 4. Juli 2018 bewusst gewesen, dass die Nachfrist zur Leistung des Kostenvorschusses am 20. August 2018 ablaufen werde. Er hätte daher sicherstellen müssen, dass er spätestens bis am 20. August 2018 Kenntnis davon habe, ob sein Gesuch um Ratenzahlung gutgeheissen werde oder ob er den Kostenvorschuss als einmalige Zahlung zu tätigen habe. Entsprechend könne sein Verschulden nicht als leicht im Sinne von <ref-law> bezeichnet werden. Sodann bestreite der Beschwerdeführer nicht, dass er die mittels A-Post am 17. August 2018 versandte Verfügung vom gleichen Tag innerhalb der bis am 20. August 2018 laufenden Nachfrist erhalten habe. Somit hätte der Beschwerdeführer noch die Möglichkeit gehabt, den Kostenvorschuss von Fr. 9'200.-- innert Frist zu leisten.
3.2. Die Vorinstanz ging damit davon aus, dass der Beschwerdeführer die abschlägige Verfügung vom 17. August 2018 innert der bis zum 20. August 2018 laufenden Nachfrist erhalten hat. Dagegen trägt der Beschwerdeführer vor Bundesgericht neu vor, dass er die per A-Post versandte Verfügung vom 17. August 2018 nicht erhalten habe. Er habe erst aufgrund des hier angefochtenen Beschlusses der Vorinstanz über das Wiederherstellungsgesuch die vorgängige Verfügung vom 17. August 2018 "nochmals genau angeschaut" und festgestellt, dass die Verfügung auch mit A-Post versandt worden sei.
Neue Tatsachen und Beweismittel dürfen vor Bundesgericht nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; <ref-ruling> E. 4.4.3 S. 129 mit Hinweisen), was in der Beschwerde näher darzulegen ist (<ref-ruling> E. 2.2.1 S. 226; <ref-ruling> E. 3 S. 395). Diesen Anforderungen genügt der Beschwerdeführer nicht, denn er zeigt nicht hinreichend auf, dass erst der angefochtene Entscheid der Vorinstanz über das Fristwiederherstellungsgesuch zu seiner neuen Behauptung Anlass gegeben hat. Vielmehr hätte er die Behauptung, dass er die Verfügung vom 17. August 2018 nicht innert der Nachfrist erhalten habe, bereits in seinem Fristwiederherstellungsgesuch vom 5. September 2018 an die Vorinstanz vorbringen können. Es handelt sich damit um ein unzulässiges Novum, das im bundesgerichtlichen Verfahren nicht berücksichtigt werden kann.
3.3. Entsprechend ist für das bundesgerichtliche Verfahren mit der Vorinstanz davon auszugehen, dass der Beschwerdeführer innert der laufenden Nachfrist die abschlägige Verfügung der Vorinstanz erhalten hat. Er konnte damit innerhalb der Nachfrist zur Kenntnis nehmen, dass sein Gesuch um Ratenzahlung von der Vorinstanz abgewiesen wurde und er den Kostenvorschuss als einmalige Zahlung zu leisten hatte. Der Beschwerdeführer bringt vor Bundesgericht nicht hinreichend vor, dass er nach dem Empfang der Verfügung keine Möglichkeit gehabt hätte, den Kostenvorschuss innert Frist zu leisten. Die Vorinstanz ging daher zu Recht davon aus, dass das Verschulden des Beschwerdeführers nicht mehr als leicht qualifiziert werden kann. <ref-law> ist nicht verletzt.
Ob dem Beschwerdeführer darüberhinaus ein Verschulden vorzuwerfen wäre, da er sich nicht telefonisch bei der Vorinstanz über den Stand seines Ratenzahlungsgesuchs informierte, braucht nach dem Gesagten nicht entschieden zu werden. Ebensowenig braucht beurteilt zu werden, ob ihm die Vorinstanz mit Verfügung vom 17. August 2018 eine Notfrist zur Leistung des Kostenvorschusses hätte ansetzen müssen. Im Übrigen hätte der Beschwerdeführer Letzteres, wie schon die Vorinstanz im angefochtenen Beschluss erwog, "am Bundesgericht mit der Beschwerde gemäss Bundesgesetz über das Bundesgericht" rügen müssen. Der Beschwerdeführer hätte mithin gegen die Verfügung vom 17. August 2018 oder spätestens gegen den Endentscheid der Vorinstanz (Nichteintreten auf Berufung) Beschwerde an das Bundesgericht erheben und beanstanden sollen, dass ihm die Vorinstanz keine Notfrist ansetzte. Gleiches gilt für das Vorbringen, dass die Vorinstanz die Verfügung vom 17. August 2018 nicht hätte mittels A-Post verschicken dürfen.
4.
Nach dem Gesagten ist die Beschwerde abzuweisen, soweit auf sie eingetreten werden kann. Bei diesem Ausgang des Verfahrens ist der Beschwerdeführer kostenpflichtig (<ref-law>). Mit Blick auf den geringen Aufwand für den vorliegenden Entscheid wird eine reduzierte Gerichtsgebühr erhoben. Der Beschwerdegegnerin ist aus dem bundesgerichtlichen Verfahren kein entschädigungspflichtiger Aufwand erwachsen, weshalb ihr keine Parteientschädigung zuzusprechen ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'500.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 29. April 2019
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger