Sachverhalt:
A. Mit Vertrag vom 21. Juni 2006 verkaufte A._ (Verkäufer) das Inventar des Lebensmittelgeschäfts "X._" an B._ (Käufer), der sich gleichzeitig verpflichtete, per 1. Juli 2006 das Ladengeschäft in der Liegenschaft C._ zu mieten. Noch am gleichen Tag schloss der Käufer mit der Y._ AG als Vermieterin einen entsprechenden Mietvertrag ab und bezahlte ihr eine Kaution von Fr. 3'000.--. In der Folge erhielt der Käufer jedoch keine Bewilligung des Amtes für Wirtschaft und Arbeit, um ein Lebensmittelgeschäft zu führen. Die Parteien vereinbarten deshalb die Rückabwicklung des Vertrages vom 21. Juni 2006 und unterzeichneten zusammen mit D._ als Vertreter der Vermieterin am 26. Juni 2006 ein handschriftlich verfasstes Schriftstück mit folgenden Angaben:
"Besprechung im Laden, C._-Strasse, in E._:
Anwesend: Hr. A._, Hr. B._, Hr. D._
bez.: 3'000.-- Kaution
7'000.--
zu bez.: 4'000.-- Bar
Hr. A._
von Hr. B._ an Herrn A._
4'000.-- bis 15.7.2006
an Konto Y._ AG EZS"
Das Ladenlokal wurde per 1. Juli 2006 weitervermietet. In der Folge verlangte der Verkäufer vom Käufer aus der Rückabwicklung des Vertrages vom 21. Juli 2006 Fr. 4'000.--, setzte diesen Betrag in Betreibung und erhielt dafür provisorische Rechtsöffnung.
B. Am 16. März 2007 erhob der Käufer Aberkennungsklage, welche das Zivilgericht Basel-Stadt am 27. April 2007 abwies. Das Appellationsgericht des Kantons Basel-Stadt hiess eine dagegen gerichtete Beschwerde des Käufers teilweise gut, hob das angefochtene Urteil auf und wies die Streitsache zur weiteren Beweisabnahme an das Zivilgericht zurück. Nach der Einvernahme des Zeugen D._ wies das Zivilgericht die Klage mit Urteil vom 28. Mai 2008 erneut ab. In Gutheissung einer dagegen erhobenen Beschwerde des Käufers hiess das Appellationsgericht die Aberkennungsklage am 7. Januar 2009 gut.
C. Der Verkäufer (Beschwerdeführer) erhob subsidiäre Verfassungsbeschwerde mit den Anträgen, das Urteil des Appellationsgerichts vom 7. Januar 2009 sei aufzuheben und die Aberkennungsklage des Käufers (Beschwerdegegner) vom 17. März 2007 sei abzuweisen. Eventuell sei das angefochtene Urteil aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Der Beschwerdeführer stellte zudem ein Gesuch um aufschiebende Wirkung, das mit Präsidialverfügung vom 12. März 2009 abgewiesen wurde.
Der Beschwerdegegner und das Appellationsgericht schliessen auf Abweisung der Beschwerde.

Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Entscheid betreffend eine vermögensrechtliche Zivilstreitigkeit. Da der Streitwert Fr. 30'000.-- nicht erreicht und sich keine Rechtsfrage von grundsätzlicher Bedeutung stellt, ist die Beschwerde in Zivilsachen ausgeschlossen (<ref-law>). Damit steht die subsidiäre Verfassungsbeschwerde grundsätzlich offen (<ref-law>).
2. 2.1 Mit der Verfassungsbeschwerde kann die Verletzung von verfassungsmässigen Rechten gerügt werden (<ref-law>). Nach <ref-law> prüft das Bundesgericht die Verletzung von Grundrechten nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist. Wird eine Verletzung des Willkürverbots gemäss <ref-law> gerügt, ist zu beachten, dass die Beweiswürdigung nach der Rechtsprechung nur willkürlich ist, wenn das Sachgericht den ihm zustehenden Ermessensspielraum missbraucht, indem es zum Beispiel offensichtlich unhaltbare Schlüsse zieht oder erhebliche Beweise übersieht (<ref-ruling> E. 2.1. S. 9; <ref-ruling> E. 4b S. 40, mit Hinweisen). Zudem genügt es nicht, wenn der angefochtene Entscheid sich einzig in der Begründung als unhaltbar erweisen würde; vielmehr rechtfertigt sich eine Aufhebung wegen Willkür erst, wenn er auch im Ergebnis verfassungswidrig ist (<ref-ruling> E. 4 S. 58; <ref-ruling> E. 3.1 S. 153).
2.2 Das Appellationsgericht kam zum Ergebnis, der Beschwerdegegner habe beweisen können, dass der Rechtsgrund des abstrakten Schuldbekenntnisses vom 26. Juni 2006 entfallen sei. Gemäss den Aussagen des Zeugen D._ seien die Fr. 7'000.-- nur geschuldet gewesen, wenn der Beschwerdeführer seine Ferien hätte verschieben müssen und ihm hieraus ein Schaden entstanden wäre. Die Parteien hätten damit einzig die finanziellen Folgen einer Ferienverschiebung und nicht "irgendeines" Schadens abgelten wollen. Da unbestritten sei, dass der Beschwerdeführer seine Ferien nicht verschieben musste und ihm somit hieraus kein Schaden erwuchs, bestehe die dem abstrakten Schuldbekenntnis zugrunde liegende Forderung nicht.
2.3 Der Beschwerdeführer wirft dem Appellationsgericht vor, es habe Beweise willkürlich gewürdigt. Es habe nicht beachtet, dass ein Widerspruch vorliege, indem der Beschwerdegegner in seiner Beschwerde vom 7. Mai 2007 als Grund für die Vereinbarung vom 26. Juni 2006 einzig einen möglichen Schaden aus Nichtvermietung des Ladenlokals und nicht den vom Zeugen angegebenen Ersatz für möglicherweise zu verschiebende Ferien nenne.
2.4 Der Zeuge führte aus, da der Laden nahtlos habe weitervermietet werden können, sei kein Schaden entstanden, und die Sache sei erledigt. Damit bestätigte der Zeuge die Angabe des Beschwerdegegners, dass sich die Vereinbarung vom 26. Juni 2006 nur auf den schliesslich nicht eingetretenen Schaden des Beschwerdeführers aus der Nichtvermietung des Ladens und nicht auf einen möglichen Mindererlös beim Weiterverkauf des Inventars bezog. Demnach liegt entgegen der Annahme des Beschwerdeführers kein Widerspruch zwischen den Zeugenaussagen und den Ausführungen des Beschwerdegegners vor. Das Appellationsgericht ist daher zumindest im Ergebnis nicht in Willkür verfallen, wenn es davon ausging, der Rechtsgrund der Vereinbarung vom 26. Juni 2006 sei entfallen.
2.5 Weiter macht der Beschwerdeführer geltend, das Verhandlungsprotokoll vom 28. Mai 2008 habe gemäss der Klarstellung des Zivilgerichts in seiner Vernehmlassung vom 2. Juli 2008 entscheidende Aussagen des Zeugen D._ nicht wiedergegeben. Fraglich sei, ob deshalb nicht die Klarheit und Unmissverständlichkeit der Aussagen des Zeugen D._ anzuzweifeln sei.
Mit diesen Vorbringen zeigt der Beschwerdeführer nicht rechtsgenüglich auf, inwiefern das Appellationsgericht in Willkür verfallen sein soll, wenn es auf die Wiedergabe der Aussagen des Zeugen in der Vernehmlassung des Zivilgerichts vom 2. Juli 2008 abstellte, zumal der Beschwerdeführer nicht geltend macht, er habe diesbezüglich eine Berichtigung verlangt.
3. 3.1 Schliesslich führte das Appellationsgericht aus, der Beschwerdeführer habe die prozessuale Eventualmaxime verletzt, indem er den Vertrag vom 3. Juli 2006 über den Weiterverkauf des Inventars erst im Beschwerdeverfahren eingereicht habe. Aus diesem Vertrag gehe ohnehin nicht klar hervor, wie der geltend gemachte Mindererlös zustande gekommen sei. Insbesondere sei nicht erstellt, dass die beiden Verkäufe über ein und denselben Inventarumfang erfolgt seien. Bezüglich des Weiterverkaufs des Inventars an den Dritten sei ein Schaden weder nachvollziehbar dargetan noch rechtsgenüglich erstellt.
3.2 Der Beschwerdeführer lässt diese Erwägung des Appellationsgerichts bezüglich der ungenügenden Substanziierung des Schadens unangefochten. Auf seine Kritik an der Anwendung der Eventualmaxime ist daher mangels Rechtserheblichkeit nicht einzutreten.
4. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesen Ausgang des Verfahrens wird der Beschwerdeführer für das bundesgerichtliche Verfahren kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3. Der Beschwerdeführer hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 1'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt, Ausschuss, schriftlich mitgeteilt.
Lausanne, 8. April 2009
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Gelzer