Sachverhalt: A. Mit Vertrag vom 21. Juni 2006 verkaufte A._ (Verkäufer) das Inventar des Lebensmittelgeschäfts "X._" an B._ (Käufer), der sich gleichzeitig verpflichtete, per 1. Juli 2006 das Ladengeschäft in der Liegenschaft C._ zu mieten. Noch am gleichen Tag schloss der Käufer mit der Y._ AG als Vermieterin einen entsprechenden Mietvertrag ab und bezahlte ihr eine Kaution von Fr. 3'000.--. In der Folge erhielt der Käufer jedoch keine Bewilligung des Amtes für Wirtschaft und Arbeit, um ein Lebensmittelgeschäft zu führen. Die Parteien vereinbarten deshalb die Rückabwicklung des Vertrages vom 21. Juni 2006 und unterzeichneten zusammen mit D._ als Vertreter der Vermieterin am 26. Juni 2006 ein handschriftlich verfasstes Schriftstück mit folgenden Angaben: "Besprechung im Laden, C._-Strasse, in E._: Anwesend: Hr. A._, Hr. B._, Hr. D._ bez.: 3'000.-- Kaution 7'000.-- zu bez.: 4'000.-- Bar Hr. A._ von Hr. B._ an Herrn A._ 4'000.-- bis 15.7.2006 an Konto Y._ AG EZS" Das Ladenlokal wurde per 1. Juli 2006 weitervermietet. In der Folge verlangte der Verkäufer vom Käufer aus der Rückabwicklung des Vertrages vom 21. Juli 2006 Fr. 4'000.--, setzte diesen Betrag in Betreibung und erhielt dafür provisorische Rechtsöffnung. B. Am 16. März 2007 erhob der Käufer Aberkennungsklage, welche das Zivilgericht Basel-Stadt am 27. April 2007 abwies. Das Appellationsgericht des Kantons Basel-Stadt hiess eine dagegen gerichtete Beschwerde des Käufers teilweise gut, hob das angefochtene Urteil auf und wies die Streitsache zur weiteren Beweisabnahme an das Zivilgericht zurück. Nach der Einvernahme des Zeugen D._ wies das Zivilgericht die Klage mit Urteil vom 28. Mai 2008 erneut ab. In Gutheissung einer dagegen erhobenen Beschwerde des Käufers hiess das Appellationsgericht die Aberkennungsklage am 7. Januar 2009 gut. C. Der Verkäufer (Beschwerdeführer) erhob subsidiäre Verfassungsbeschwerde mit den Anträgen, das Urteil des Appellationsgerichts vom 7. Januar 2009 sei aufzuheben und die Aberkennungsklage des Käufers (Beschwerdegegner) vom 17. März 2007 sei abzuweisen. Eventuell sei das angefochtene Urteil aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Der Beschwerdeführer stellte zudem ein Gesuch um aufschiebende Wirkung, das mit Präsidialverfügung vom 12. März 2009 abgewiesen wurde. Der Beschwerdegegner und das Appellationsgericht schliessen auf Abweisung der Beschwerde.