Sachverhalt:
A.
Mit Entscheid vom 17. Juli 2018 hiess das Zivilgericht Basel-Stadt eine Klage von B._ (Kläger, Beschwerdegegner) gegen A._ (Beklagter, Beschwerdeführer) in einer Mietsache gut. Der Entscheid enthält einen längeren "Hinweis zur Erläuterung des Entscheids" und eine Rechtsmittelbelehrung, wonach eine schriftliche Begründung nachgeliefert werde, wenn eine Partei dies innert der nicht erstreckbaren Frist von zehn Tagen seit der Eröffnung des Entscheids verlange (<ref-law>).
Am 3. September 2018 sandte das Zivilgericht diesen unbegründeten Entscheid zusammen mit einem Begleitschreiben als Gerichtsurkunde (GU) an den Beklagten. Am Tag darauf, 4. September 2018, legte ihm die Post die Abholeinladung in den Briefkasten. Nach Ablauf der siebentägigen Abholfrist wurde das Schreiben von der Post mit dem Vermerk "nicht abgeholt" an das Zivilgericht retourniert. Am 18. September 2018 verschickte das Zivilgericht den Entscheid mit einem Begleitschreiben erneut. Diese Zweitzustellung erfolgte mit A-Post. Der Beklage erhielt das zweite Schreiben am 19. September 2018.
B.
Mit Eingabe vom 25. September 2018 (Poststempel vom 26. September 2018) ersuchte der Beklagte das Zivilgericht sinngemäss um Begründung des Entscheids vom 17. Juli 2018. Mit Verfügung vom 27. September 2018 trat der Zivilgerichtspräsident auf dieses Gesuch nicht ein, da es nicht rechtzeitig gestellt worden sei.
Dagegen erhob der Beklagte mit Eingabe vom 17. Oktober 2018 Berufung an das Appellationsgericht des Kantons Basel-Stadt. Darin machte er im Wesentlichen geltend, dass er die Briefe des Zivilgerichts "umstandsbedingt aus mehreren erheblichen Gründen" nicht habe abholen können. Mit Eingabe vom 8. November 2018 bat der nunmehr anwaltlich vertretene Beklagte, dass er unter Berücksichtigung des Replikrechts Stellung nehmen könne. Der Verfahrensleiter teilte ihm mit, die Berufung könne nicht mehr ergänzt werden. Mit Entscheid vom 2. Januar 2019 wies das Appellationsgericht die Berufung ab.
C.
Gegen den Entscheid des Appellationsgerichts erhob der Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht. Er beantragte, es sei der Entscheid des Appellationsgerichts aufzuheben. Das Zivilgericht sei anzuweisen, auf das Gesuch des Beschwerdeführers vom 25. September 2018 um schriftliche Begründung des Urteils vom 17. Juli 2018 einzutreten. Es habe das Urteil schriftlich zu begründen.
Das Appellationsgericht beantragte die Abweisung der Beschwerde. Der Beschwerdegegner liess sich nicht vernehmen.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen sind erfüllt, insbesondere auch das Streitwerterfordernis von <ref-law> mit einem Streitwert von Fr. 22'970.--, und geben zu keinen Bemerkungen Anlass. Unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) ist daher auf die Beschwerde einzutreten.
2.
Die Vorinstanz erwog, aufgrund der Zustellungsfiktion gelte der erstinstanzliche Entscheid vom 17. Juli 2018 als am 11. September 2018 zugestellt, am siebten Tag nach dem erfolglosen Zustellungsversuch. Ein Gesuch um schriftliche Begründung des Entscheids hätte damit spätestens am 21. September 2018 gestellt werden müssen. Der nachträgliche Versand des Entscheids per A-Post am 18. September 2018 ändere nichts daran. Der Beschwerdeführer habe aufgrund der nachträglichen Zustellung per A-Post nicht in guten Treuen annehmen dürfen, dass damit eine neue Rechtsmittelfrist ausgelöst werde. Da er das Gesuch um schriftliche Begründung erst am 26. September 2018 und damit verspätet gestellt habe, sei die Erstinstanz darauf richtigerweise nicht eingetreten.
3.
Der Beschwerdeführer anerkennt, dass die Frist grundsätzlich mit Ablauf der siebentägigen Abholfrist zu laufen beginnt. Die Frist könne jedoch ausnahmsweise gestützt auf den verfassungsmässigen Anspruch auf Vertrauensschutz (<ref-law> und <ref-law>) verlängert werden, wenn noch vor ihrem Ende eine entsprechende vertrauensbegründende Auskunft erteilt werde. Ihm sei der Entscheid mit Schreiben vom 18. September 2018 und somit vor Ablauf der zehntätigen Frist nochmals zugestellt worden. Damit habe sich die Frist für das Gesuch um schriftliche Begründung des Entscheids bis am 30. September 2018 verlängert. Sein Gesuch vom 25. September 2018 sei somit innert (verlängerter) Frist erfolgt. Ihm sei mit der Zustellung vom 18. September 2018 mit keinem Wort mitgeteilt worden, dass der Entscheid bereits vorgängig zugestellt worden sei und dass die Rechtsmittelfrist bereits am Laufen sei. Zudem sei in der Zustellung vom 18. September 2018 ebenfalls die Zustellung an die Gegenanwältin erwähnt. Er habe damit davon ausgehen können, dass die Zustellung vom 18. September 2018 nicht nur an ihn, sondern auch an die Gegenanwältin zugestellt worden sei und somit die zehntägige Frist nun erstmals zu laufen beginne. Zu berücksichtigen sei auch, dass er als juristischer Laie zu jenem Zeitpunkt nicht anwaltlich vertreten und seine Kenntnisse dementsprechend beschränkt gewesen seien.
4.
4.1. Die Schweizerische Zivilprozessordnung regelt die gerichtliche Zustellung in <ref-law>. Die Zustellung von Vorladungen, Verfügungen und Entscheiden erfolgt durch eingeschriebene Postsendung oder auf andere Weise gegen Empfangsbestätigung (<ref-law>). Sie ist erfolgt, wenn die Sendung vom Adressaten oder von einer angestellten oder im gleichen Haushalt lebenden, mindestens 16 Jahre alten Person entgegengenommen wurde. Vorbehalten bleiben Anweisungen des Gerichts, eine Urkunde dem Adressaten persönlich zuzustellen (<ref-law>). Eine eingeschriebene Postsendung, die nicht abgeholt worden ist, gilt am siebten Tag nach dem erfolglosen Zustellungsversuch als zugestellt, soweit der Empfänger mit der Sendung rechnen musste (<ref-law>). Holt der Adressat die eingeschriebene Sendung nicht innerhalb der siebentägigen Abholungsfrist ab, behilft sich die Zivilprozessordnung somit mit einer Fiktion: Der Adressat wird so behandelt, wie wenn er die Sendung am letzten Tag der Frist abgeholt hätte (sog. Zustell- oder Zustellungsfiktion; <ref-ruling> E. 4.1 S. 18 f.; <ref-ruling> E. 3.1 S. 227).
4.2. Die Zustellfiktion tritt bereits mit dem ersten erfolglosen Zustellungsversuch ein (Roger Weber, in: Paul Oberhammer/Tanja Domej/ Ulrich Haas [Hrsg.], Kurzkommentar ZPO, 2. Aufl. 2014, N. 7 zu <ref-law>; Nina J. Frei, Berner Kommentar Schweizerische Zivilprozessordnung, 2012, N. 19 zu <ref-law>). Retourniert die Post die Sendung nach Ablauf der siebentägigen Abholfrist, unternimmt das Gericht in der Praxis häufig einen zweiten Zustellversuch mit gewöhnlicher Postsendung. Greift die Zustellfiktion, ist das Gericht jedoch nicht zu einem zweiten Zustellversuch verpflichtet (Urteil 5D_77/2013 vom 7. Juli 2013 E. 2.2; vgl. auch Urteile 2A.339/2006 vom 31. Juli 2006 E. 4.2; 1P.505/1998 vom 28. Oktober 1998 E. 2c, publ. in SJ 1999 I S. 145 ff.). Ein allfälliger weiterer Versand und die spätere Entgegennahme der Sendung vermögen an der Zustellfiktion grundsätzlich nichts zu ändern. Sie sind im Prinzip unbeachtlich (<ref-ruling> E. 4b/aa S. 94; <ref-ruling> E. 3a S. 190; <ref-ruling> E. 4a S. 132; <ref-ruling> E. 2b S. 101).
4.3. Das Bundesgericht hat aber in öffentlich- und strafrechtlichen Angelegenheiten einschränkend ausgeführt, dass sich die Rechtsmittelfrist gestützt auf den Grundsatz des Vertrauensschutzes verlängern kann (Art. 5 Abs. 3 und <ref-law>, <ref-law>). Das kann der Fall sein, wenn das Gericht noch vor Ende der Frist eine entsprechende vertrauensbegründende Auskunft erteilt oder durch sein (widersprüchliches) Verhalten ein derartiges Vertrauen erweckt. Eine solche Auskunft kann insbesondere darin bestehen, dass das Gericht dem Betroffenen den Entscheid mit vorbehaltloser Rechtsmittelbelehrung vor Ablauf der Frist erneut zustellt (<ref-ruling> E. 4b/aa S. 94; <ref-ruling> E. 3a S. 190 f.; <ref-ruling> E. 4; Urteile 2C_1038/2017 vom 18. Juli 2018 E. 5.3.1 f.; 6B_701/2016 vom 23. Mai 2017 E. 3.3; 9C_102/2016 vom 21. März 2016 E. 2; 8C_374/2014 vom 13. August 2014 E. 3.3; 8C_184/2010 vom 27. April 2010 E. 3.2; 1C_152/2008 vom 17. Juni 2008 E. 2.1; 2P.121/2000 vom 6. Juni 2000 E. 1b/aa).
4.4.
4.4.1. Auch in Zivilsachen hat das Bundesgericht unter Geltung der kantonalen Zivilprozessordnungen die Möglichkeit des Vertrauensschutzes bejaht, wenn das Gericht der Partei den Entscheid mit vorbehaltloser Rechtsmittelbelehrung vor Ablauf der Frist erneut zustellt (Urteil 4A_246/2009 vom 6. August 2009 E. 3.2; Barbara Merz, Die Praxis zur thurgauischen Zivilprozessrechnung, 2. Aufl. 2007, N. 7 zu <ref-law>/TG).
4.4.2. Daran ist unter Geltung der Schweizerischen Zivilprozessordnung festzuhalten: Eine eingeschriebene Postsendung, die nicht abgeholt worden ist, gilt aufgrund der Zustellfiktion in <ref-law> grundsätzlich am siebten Tag nach dem erfolglosen Zustellungsversuch als zugestellt, sofern die Person mit einer Zustellung rechnen musste (Erwägung 4.1). Ein weiterer Versand und die spätere Entgegennahme der Sendung vermögen daran grundsätzlich nichts zu ändern (Erwägung 4.2). Vorbehalten bleibt der Vertrauensschutz (Art. 5 Abs. 3 und <ref-law>, <ref-law>). Danach kann sich die Frist verlängern, wenn das Gericht der Partei noch vor dem Ende der Frist eine vertrauensbegründende Auskunft erteilt oder das Gericht durch sein (widersprüchliches) Verhalten ein derartiges Vertrauen erweckt. Eine solche Auskunft kann etwa darin bestehen, dass der Partei der Entscheid mit vorbehaltloser Rechtsmittelbelehrung vor Ablauf der Frist erneut zugestellt wird (Erwägung 4.3; Frei, a.a.O., N. 23 zu <ref-law>; Urteil des Kantonsgerichts Graubünden vom 21. März 2017, PKG 2017 Nr. 7 S. 73 ff., E. 1.3 f.).
4.4.3. Beim Vertrauensschutz handelt es sich aber nicht um einen Automatismus. Vorausgesetzt ist, dass die Person, die sich auf den Vertrauensschutz beruft, berechtigterweise auf diese Grundlage vertrauen durfte und gestützt darauf nachteilige Dispositionen getroffen hat, die sie nicht mehr ohne Nachteil rückgängig machen kann (im Einzelnen: <ref-ruling> E. 3.6.2; <ref-ruling> E. 3.6.2).
4.4.4. Möchte das Gericht einen zweiten Zustellversuch unternehmen, nachdem der Entscheid bereits aufgrund der Zustellfiktion nach <ref-law> als rechtskonform zugestellt gilt, ist es ein Leichtes, dafür zu sorgen, dass keine Verwirrung um den Beginn der Frist entsteht. Dazu genügt ein kurzes Begleitschreiben, das Klarheit schafft und allfällige Missverständnisse bezüglich dem Fristenlauf zum Vornherein ausräumt. Das Gericht kann etwa den Hinweis anbringen, dass es sich um eine Zweitzustellung handelt, die an der Zustellfiktion und am Beginn des Fristenlaufs nichts ändert (Frei, a.a.O., N. 23 zu <ref-law>; Merz, a.a.O., N. 7 zu <ref-law>/TG).
5.
5.1. Die Erstinstanz sandte den Entscheid vom 17. Juli 2018 am 3. September 2018 ein erstes Mal an den Beschwerdeführer. Sie bediente sich dabei der Zustellung als Gerichtsurkunde. Am 4. September 2018 wurde dem Beschwerdeführer von der Post die Abholeinladung in den Briefkasten gelegt. Mit Ablauf der siebentägigen Abholfrist, d.h. am 11. September 2018, galt der Entscheid aufgrund der Zustellfiktion nach <ref-law> als zugestellt, da der Beschwerdeführer unbestrittenermassen mit der Zustellung des Entscheids rechnen musste. Damit hat die zehntägige Frist nach <ref-law> am 12. September 2018 zu laufen begonnen und endete am 21. September 2018.
Der Entscheid wurde vom Gericht mit Schreiben vom 18. September 2018 dem Beschwerdeführer erneut zugestellt. Dieses Mal per A-Post. Das Schreiben wurde ihm am 19. September 2018 zugestellt und damit zu einem Zeitpunkt, als die durch die erste Zustellung ausgelöste Frist noch lief. Die Erstinstanz hat mit der erneuten Zustellung des Entscheids per A-Post an den Beschwerdeführer, der die ursprüngliche Rechtsmittelbelehrung enthielt (10 Tage seit der Eröffnung), in einer konkreten Situation gegenüber dem Beschwerdeführer eine Auskunft erteilt, für die sie zweifellos zuständig war. Der Beschwerdeführer reichte sodann sein Gesuch um Begründung des Entscheids am 26. September 2018 innerhalb von 10 Tagen seit der zweiten Zustellung und nicht seit der Zustellfiktion ein und tätigte damit eine nicht wieder ohne Nachteil rückgängig zu machende Disposition. Zu beurteilen bleibt aber, ob der Beschwerdeführer berechtigterweise darauf vertrauen durfte, die zweite Zustellung per A-Post habe eine neue Frist ausgelöst.
5.2. Die Erstinstanz sandte den Entscheid in der Sendung vom 18. September 2018 zusammen mit einem Begleitschreiben an den Beschwerdeführer. In diesem Schreiben wird nicht ausdrücklich erwähnt, dass es sich um eine Zweitzustellung handelt. Es wird dem Beschwerdeführer bloss mitgeteilt, dass er anbei den Entscheid vom 17. Juli 2018 erhalte. Angeführt werden sodann die Beilagen des Schreibens, und dass dieses Schreiben an die Rechtsvertreterin des Beschwerdegegners und an den Beschwerdeführer gehe.
Das Begleitschreiben der Sendung vom 18. September 2018 ist aber mit "Basel, 3. September 2018" datiert. Aus dieser Datierung und dem Umstand, dass ihm einen Tag nach dem 3. September 2018 ein Abholschein für eine Gerichtsurkunde in den Briefkasten gelegt wurde, hätte der Beschwerdeführer bei gebührender Sorgfalt erkennen können und müssen, dass ihm die Erstinstanz den Entscheid vom 17. Juli 2018 bereits am 4. September 2018 zuzustellen versuchte. Unter diesen Umständen des Einzelfalls konnte der Beschwerdeführer, auch als Laie, nicht mehr unbesehen davon ausgehen, dass ihm der Entscheid vom 17. Juli 2018 erstmals am 19. September 2018 mit A-Post zugestellt wurde. Zumindest hätte der Beschwerdeführer in dieser Situation allen Grund zu einer Nachfrage bei der Erstinstanz über den Fristenlauf gehabt (vgl. BGE <ref-ruling> E. 4b S. 19; Urteil 2P.121/2000 vom 6. Juni 2000 E. 1b/bb), zumal auf dem Begleitschreiben die Direktwahl des zuständigen Mitarbeiters angegeben ist, so dass ihm dies leicht möglich gewesen wäre. Die Vorinstanz ist damit zu Recht davon ausgegangen, dass der Beschwerdeführer nicht in guten Treuen annehmen durfte, die zweite Zustellung per A-Post habe eine neue Rechtsmittelfrist ausgelöst. Die Voraussetzungen des Vertrauensschutzes sind damit nicht gegeben.
Ob die blosse Zustellung eines Entscheids mit gewöhnlicher Post (<ref-law>) überhaupt ein Vertrauen im oben genannten Sinn begründen könnte, braucht nach dem Gesagten nicht beurteilt zu werden (vgl. Urteil 5D_77/2013 vom 7. Juni 2013 E. 2.2; Francesco Trezzini, in: Commentario pratico al Codice di diritto processuale civile svizzero, 2. Aufl. 2017, N. 19 zu <ref-law>).
6.
Nach dem Gesagten ist die Beschwerde abzuweisen. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (<ref-law>). Dem Beschwerdegegner, der sich nicht vernehmen liess und der vor Bundesgericht nicht durch einen extern mandatierten Anwalt vertreten ist, steht keine Parteientschädigung zu (Art. 68 Abs. 1 und 2 BGG; <ref-ruling> E. 4).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt, Dreiergericht, schriftlich mitgeteilt.
Lausanne, 14. Mai 2019
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger