Sachverhalt:
A. Y._ führte mit Z._ bis Juni 2005 eine Beziehung. Auch nach deren Auflösung wohnten beide in zwei getrennten Wohnungen in derselben Liegenschaft in W._. Am 24. Oktober 2005 liess Y._ ihren Schlüsselbund aussen an ihrer Wohnungstür stecken. Z._ zog den Schlüssel vom Schloss ab und behielt ihn. In der Folge entwendete er acht Paar Schuhe von Y._. Diese stellte am 16. November 2005 Strafantrag wegen unrechtmässiger Aneignung. Am 4. Dezember 2005 verschaffte sich Z._ mit dem entwendeten Schlüsselbund Zugang zu den Geschäftsräumen an der V._ und entwendete EDV-Hardware. Am 5. Dezember 2005 erstattete Y._ Strafanzeige wegen Hausfriedensbruch.
B. Dr. X._, Advokat, (Beschwerdeführer) vertrat Y._ im Forderungsprozess aus unerlaubter Handlung. Er stellte dem Zivilgericht Basel-Stadt mit Teilklage vom 1. Juli 2008 den Antrag, es sei Z._ zur Bezahlung von Fr. 250'000.-- nebst Zins zu verurteilen. Eine Mehrforderung wurde ausdrücklich vorbehalten. Y._ ersuchte um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung. Diese wurde ihr mit Verfügung vom 22. Oktober 2008 bewilligt. Mit Urteil vom 12. August 2010 hiess das Zivilgericht die Klage im Umfang von Fr. 3'608.20 nebst gestaffeltem Zins gut; die Mehrforderung wies es ab.
Für seine diesbezüglichen Bemühungen machte der Beschwerdeführer mit Honorarnote vom 12. August 2010 einen Aufwand von Fr. 17'305.50 geltend. Mit Schreiben vom 24. September 2010 stellte der Zivilgerichtspräsident eine Kürzung des Anwaltshonorars in Aussicht und lud den Beschwerdeführer zur Stellungnahme ein. Dieser liess sich am 28. Oktober 2010 vernehmen und machte, ausgehend von einem Grundhonorar von Fr. 14'300.--, einen Aufwand im Betrag von Fr. 18'590.-- zuzüglich Auslagen von Fr. 400.-- und Mehrwertsteuer geltend. Im Urteil vom 12. August 2010, das mit schriftlicher Begründung am 14. Dezember 2010 eröffnet wurde, sprach das Zivilgericht dem Beschwerdeführer ein Honorar von Fr. 11'000.-- inklusive Auslagen und Mehrwertsteuer aus der Gerichtskasse zu.
Der Beschwerdeführer erhob gegen die Festsetzung des Honorars für die unentgeltliche Verbeiständung Beschwerde an das Appellationsgericht des Kantons Basel-Stadt. Er beantragte, sein Honorar auf Fr. 18'990.-- zuzüglich Mehrwertsteuer zu erhöhen. Mit Urteil vom 16. August 2011 wies das Appellationsgericht die Beschwerde ab.
C. Der Beschwerdeführer beantragt dem Bundesgericht mit subsidiärer Verfassungsbeschwerde, das Urteil des Appellationsgerichts vom 16. August 2011 respektive Ziffer 3 Abs. 4 des Urteilsdispositivs des Zivilgerichts vom 12. August 2010 vollumfänglich aufzuheben und dem Beschwerdeführer stattdessen ein armenrechtliches Honorar in der Höhe von Fr. 20'433.25 (inkl. MWSt), eventualiter von Fr. 17'305.50, subeventualiter von Fr. 11'190.40 zuzusprechen. Eventualiter sei die Sache zur Neubeurteilung an das Appellationsgericht zurückzuweisen. Dabei sei dieses aufzufordern, sein Urteil seinerseits aufzuheben und zur Neubeurteilung an das Zivilgericht zurückzuweisen.
Das Appellationsgericht beantragt, die Beschwerde abzuweisen. Das Zivilgericht verzichtete auf Stellungnahme.
Der Beschwerdeführer verzichtete seinerseits auf eine Replik zur Vernehmlassung des Appellationsgerichts.

Erwägungen:
1. Angefochten ist der Entscheid der letzten kantonalen Instanz über die Höhe des Honorars des unentgeltlichen Rechtsbeistandes im erstinstanzlichen Forderungsprozess betreffend unerlaubte Handlung. Der Entscheid über die Entschädigung des unentgeltlichen Rechtsbeistandes ist öffentlich-rechtlicher Natur. Da der Beschwerdeführer im Rahmen eines Zivilverfahrens als unentgeltlicher Rechtsbeistand eingesetzt wurde, ist das angefochtene Urteil ein im Sinne von Art. 72 Abs. 2 lit. b BGG unmittelbar mit Zivilrecht in Zusammenhang stehender öffentlich-rechtlicher Entscheid, so dass es grundsätzlich der Beschwerde in Zivilsachen unterliegt (Urteil 5D_145/2007 vom 5. Februar 2008 E. 1.1). Diese ist vorliegend indessen nicht gegeben, weil der Streitwert die Grenze von 30'000 Franken nicht erreicht (Art. 74 Abs. 1 lit. b BGG). Die erhobene subsidiäre Verfassungsbeschwerde erweist sich demnach als das zulässige Rechtsmittel (Art. 113 BGG). Die übrigen Sachurteilsvoraussetzungen, insbesondere die Beschwerdelegitimation des in eigenem Namen Beschwerde führenden Rechtsbeistandes (Art. 115 BGG; Urteile 5D_145/2007 vom 5. Februar 2008 E. 1.3; 8C_797/2010 vom 11. Januar 2011 E. 2.2), sind ebenfalls erfüllt, weshalb unter Vorbehalt einer hinreichenden Begründung (Art. 106 Abs. 2 BGG) auf die Beschwerde einzutreten ist.
Anfechtungsobjekt bildet indessen einzig das Urteil des Appellationsgerichts. Soweit der Beschwerdeführer beantragt, es sei Ziffer 3 Abs. 4 des Urteilsdispositivs des Zivilgerichts vom 12. August 2010 aufzuheben, kann auf die Beschwerde nicht eingetreten werden. Aus demselben Grund ist er nicht zu hören mit Rügen, die er direkt an die Adresse des Zivilgerichts richtet.
2. Mit subsidiärer Verfassungsbeschwerde kann die Verletzung von verfassungsmässigen Rechten gerügt werden (Art. 116 BGG). Die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht kann das Bundesgericht nur insofern prüfen, als eine solche Rüge in der Beschwerde präzise vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.3.1; <ref-ruling> E. 2.2; <ref-ruling> E. 3.2 S. 444). Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. Unerlässlich ist, dass die Verfassungsbeschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von verfassungsmässigen Rechten liegt. Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Standpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE <ref-ruling> E. 2.1 und E. 2.2).
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 118 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie auf einer Rechtsverletzung im Sinne von Art. 116 BGG, mithin auf einer Verletzung von verfassungsmässigen Rechten, beruht (Art. 118 Abs. 2 BGG).
Der Beschwerdeführer erwähnt diverse "Inkongruenzen zum im Urteil wiedergegebenen Sachverhalt", wobei er willkürliche Auslassungen rügt. Inwiefern seine Ausführungen allerdings entscheiderhebliche Sachverhaltselemente betreffen sollen, ist über weite Strecken nicht zu erkennen und wird jedenfalls in der Beschwerde nicht aufgezeigt. Ob die Rügen willkürlicher Darstellung des Sachverhalts im Übrigen hinlänglich substantiiert und begründet sind, wird im Folgenden nur zu prüfen sein, wenn sie im Zusammenhang mit den einzeln geltend gemachten Verletzungen verfassungsmässiger Rechte relevant sein sollten.
3. Der Beschwerdeführer rügt eine Verletzung von Art. 6 Ziff. 1 EMRK, weil über seine Honorarforderung zu keinem Zeitpunkt öffentlich verhandelt und der Entscheid über die Honorarforderung nicht öffentlich verkündet worden sei.
Wie es sich damit verhält, namentlich ob die Verfahrensgarantien von Art. 6 Ziff. 1 EMRK auf den blossen Nebenpunkt des Honorars des unentgeltlichen Rechtsbeistandes angesichts dessen öffentlich-rechtlichen Charakters zur Anwendung gelangen, braucht nicht vertieft zu werden. Der Beschwerdeführer, der in Kenntnis der Praxis der baselstädtischen Gerichte weder im erstinstanzlichen Verfahren eine öffentliche Verhandlung verlangte noch namentlich bei der Vorinstanz entsprechende Einwände vorbrachte, hat seine entsprechende Rüge jedenfalls verwirkt. Denn wer einen Verfahrensmangel bereits früher hätte geltend machen können, verwirkt den Anspruch auf seine spätere Anrufung (<ref-ruling> E. 2.2 mit Hinweisen).
4. Der Beschwerdeführer rügt sodann in formeller Hinsicht, das Zivilgericht habe beim Entscheid über seine Honorarforderung die Begründungspflicht nach § 12 lit. b KV/BS (SR 131.222.1) bzw. Art. 29 Abs. 2 BV verletzt. Die Vorinstanz habe dies zu Unrecht nicht anerkannt. Ausserdem habe sie ihrerseits die Begründungspflicht verletzt, weil sie unbesehen die Einschätzung der Erstinstanz übernommen habe, die Klageposition bezüglich Schaden aus dem Datenverlust sei unzulänglich substantiiert und bewiesen worden, ohne die Argumente des Beschwerdeführers in der Replik vom 8. Februar 2011 zu erwähnen, geschweige denn sich mit ihnen auseinanderzusetzen.
4.1 Der verfassungsmässige Anspruch auf rechtliches Gehör umfasst das Recht des Betroffenen, sich vor Erlass eines in seine Rechtsstellung eingreifenden Akts zur Sache äussern zu können (<ref-ruling> E. 6b mit Hinweisen). Er verlangt von der Behörde, dass sie seine Vorbringen tatsächlich hört, ernsthaft prüft und in ihrer Entscheidfindung angemessen berücksichtigt (<ref-ruling> E. 2.2.1; <ref-ruling> E. 2c mit Hinweisen). Dies gilt für alle form- und fristgerechten Äusserungen, Eingaben und Anträge, die zur Klärung der konkreten Streitfrage geeignet und erforderlich erscheinen (<ref-ruling> E. 3c S. 3). Die Begründung muss so abgefasst sein, dass der Betroffene den Entscheid gegebenenfalls sachgerecht anfechten kann. Sie muss kurz die wesentlichen Überlegungen nennen, von denen sich das Gericht hat leiten lassen und auf die es seinen Entscheid stützt. Nicht erforderlich ist, dass sich die Begründung mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt (<ref-ruling> E. 2.2.1 S. 188 mit Hinweisen).
4.2 Die Festsetzung des Honorars des unentgeltlichen Rechtsbeistandes muss in der Regel nicht oder dann lediglich summarisch begründet werden. Eine Begründungspflicht besteht, wenn der unentgeltliche Rechtsbeistand eine Kostennote einreicht und das Gericht die Entschädigung abweichend davon auf einen bestimmten nicht der Praxis entsprechenden Betrag festsetzt (Urteil 9C_991/2008 vom 18. Mai 2009 E. 3.1.2 m.w.H.).
4.3 Gemäss den Ausführungen der Vorinstanz reichte der Beschwerdeführer eine Honorarnote vom 12. August 2010 ein, womit er ein Honorar von Fr. 17'305.50 geltend machte (Fr. 15'740.40 Entschädigung nach Zeitaufwand, Fr. 342.80 Auslagen, Fr. 1'222.30 MWSt). Vor der Festsetzung des Honorars durch die hierfür zuständige Gerichtskammer wies der Zivilgerichtspräsident mit Schreiben vom 24. September 2010 beide Rechtsvertreter ausführlich darauf hin, dass es sich um ein Verfahren mit bestimmtem Streitwert handle und sich daher die Honorarabrechnung gemäss § 17 Abs. 2 Advokaturgesetz vom 15. Mai 2002 des Kantons Basel-Stadt (AdvG/BS; SG 291.100) nach der Honorarordnung für die Anwältinnen und Anwälte des Kantons Basel-Stadt (SG 291.400) zu richten habe. Entgegen den eingereichten Honorarnoten sei daher nicht der erbrachte Stundenaufwand massgeblich, sondern der Streitwert, und das Honorar könne bei hohem Streitwert bis auf die Hälfte des Gebührenansatzes gekürzt werden (§ 17 Abs. 2 AdvG/BS). Darauf und dass sie ihren Aufwand auf das absolut Erforderliche zu beschränken hätten, seien die Rechtsvertreter schon in der Verfügung vom 22. Oktober 2008 hingewiesen worden. Sodann erläutere der Zivilgerichtspräsident ausführlich, wie das Honorar gemäss der Honorarordnung nach seiner Auffassung zu berechnen wäre und lud die Parteivertreter zur Stellungnahme ein. Der Beschwerdeführer liess sich am 28. Oktober 2010 vernehmen. Er machte ein Grundhonorar von Fr. 14'300.-- geltend, welches aufgrund des zweiten Schriftenwechsels um 30% auf Fr. 18'590.-- zu erhöhen sei. Ferner verlangte er Auslagen von Fr. 400.-- und die Mehrwertsteuer. In seiner Stellungnahme führte er aus, weshalb seiner Meinung nach keine Kürzung des Grundhonorars nach § 17 Abs. 2 AdvG/BS zum Zuge kommen dürfe.
In der schriftlichen Begründung des Urteils vom 12. August 2010, womit die Zivilgerichtskammer über die Honorarfestsetzung beschloss, wird hiezu ausgeführt, entsprechend der Auffassung der (vom Beschwerdeführer vertretenen) Y._ sei von einem Grundhonorar von Fr. 14'300.-- auszugehen. Dieser Betrag sei jedoch in Anwendung von § 17 Abs. 2 2. Halbsatz AdvG/BS auf die Hälfte zu reduzieren, wobei für die Begründung dieser Reduktion auf Erwägung 19.3 der Urteilsbegründung verwiesen wurde. Ferner rechnete das Gericht einen Zuschlag von 30% für den zweiten Schriftenwechsel hinzu und rundete den so errechneten Betrag von Fr. 9'295.-- auf Fr. 11'000.-- auf, womit die Auslagen und die Mehrwertsteuer berücksichtigt waren.
Das Zivilgericht wich demnach vom Honorar, wie es der Beschwerdeführer mit Schreiben vom 28. Oktober 2010 gefordert hatte, in dem Punkt ab, dass es entgegen der Meinung des Beschwerdeführers die hälftige Kürzung des Grundhonorars gestützt auf § 17 Abs. 2 2. Halbsatz AdvG/BS vornahm. Für die diesbezügliche Begründung verwies es auf die vorangehenden Erwägungen, wo mit Bezug auf die Gerichtsgebühr sowie das Honorar der Vertreterin des Beklagten ausgeführt wird, der grösste Teil der geltend gemachten Streitwertsumme entfalle auf den sich aus dem Diebstahl ergebenden Datenverlust, und dieser sei nur unzulänglich substantiiert und bewiesen worden. Somit habe die Klägerin 1 in erheblichem Umfang überklagt. Das Zivilgericht gab demnach für die Abweichung vom beantragten Honorar eine Begründung und kam damit den bundesgerichtlichen Anforderungen an die Begründungspflicht nach (Erwägung 4.1.und 4.2). Dass es nicht auch noch die vom Beschwerdeführer in der Eingabe vom 28. Oktober 2010 gegen eine Kürzung vorgetragenen Argumente ausdrücklich widerlegte, schadet nicht. Wie die Vorinstanz nachvollziehbar dafür hält, gab das Zivilgericht, indem es entgegen der Meinung des Beschwerdeführers eine Kürzung vornahm, implizite zu verstehen, dass es die vom Beschwerdeführer vorgebrachten Argumente für nicht überzeugend hielt. Das muss unter dem Aspekt der verfassungsrechtlichen Begründungspflicht betreffend die Festsetzung des Honorars des unentgeltlichen Rechtsbeistandes genügen. Die Vorinstanz verneinte mithin zu Recht, dass die aus dem Gehörsanspruch fliessende Begründungspflicht verletzt wurde.
4.4 Der Vorinstanz kann auch keine Verletzung der Begründungspflicht vorgeworfen werden. Sie war entgegen der Meinung des Beschwerdeführers nicht gehalten, die Frage der hinlänglichen Substantiierung der Schadensposition für den Datenverlust zu prüfen. Diese Frage hatte das Zivilgericht abschliessend beurteilt, nachdem dessen Urteil vom 12. August 2010 in der Sache nicht angefochten wurde.
5. Der Beschwerdeführer sieht das Diskriminierungsverbot verletzt, weil Erfolg bzw. Misserfolg in einem streitigen Verfahren im Besonderen im Bereich der unentgeltlichen Rechtspflege kein zulässiges Kriterium für eine Kürzung des Honoraranspruchs des Beschwerdeführers darstelle. Die Kürzungsmöglichkeit nach § 17 Abs. 2 2. Halbsatz AdvG/BS dürfe nur dann Platz greifen, wenn ein Missverhältnis zwischen Aufwand und Ertrag zur Debatte stehe. Hier sei dies aber nicht der Fall gewesen.
5.1 § 17 AdvG/BS regelt das Honorar für Offizialvertretungen und Offizialverteidigungen. Nach Abs. 1 ist dem amtlich bestellten Rechtsvertreter ein angemessenes Honorar zuzusprechen. Der Anwältin oder dem Anwalt ist es untersagt, von der Klientschaft ein darüber hinausgehendes Honorar zu fordern. Absatz 2 bestimmt, dass sich das Honorar in Zivilsachen mit bestimmtem Streitwert nach der Honorarordnung richtet; bei hohem Streitwert kann es bis auf die Hälfte des Gebührenansatzes gekürzt werden. In allen anderen Verfahren wird ein angemessenes Honorar unter Berücksichtigung des Zeitaufwandes vergütet. Die Auslagen und die Mehrwertsteuer, sofern sie im Einzelfall geschuldet ist, werden zusätzlich entschädigt (Abs. 3).
5.2 Gemäss Art. 8 Abs. 2 BV darf niemand diskriminiert werden, namentlich nicht wegen seiner Herkunft und seiner religiösen, weltanschaulichen oder politischen Überzeugung. Eine Diskriminierung liegt vor, wenn eine Person ungleich behandelt wird allein aufgrund ihrer Zugehörigkeit zu einer bestimmten Gruppe, welche historisch oder in der gegenwärtigen sozialen Wirklichkeit tendenziell ausgegrenzt oder als minderwertig behandelt wird. Die Diskriminierung stellt eine qualifizierte Ungleichbehandlung von Personen in vergleichbaren Situationen dar, indem sie eine Benachteiligung von Menschen bewirkt, die als Herabwürdigung oder Ausgrenzung einzustufen ist, weil sie an Unterscheidungsmerkmalen anknüpft, die einen wesentlichen und nicht oder nur schwer aufgebbaren Bestandteil der Identität der betroffenen Personen ausmachen; insofern beschlägt das Diskriminierungsverbot auch Aspekte der Menschenwürde nach Art. 7 BV (<ref-ruling> E. 4.1 mit Hinweisen; vgl. auch <ref-ruling> E. 4.2).
Eine differenzierte Honorarregelung für privat bezahlte Anwälte und amtlich bestellte Anwälte knüpft nicht an ein im Sinne des Diskriminierungsverbots verpöntes Merkmal an. Die Berufung auf das Diskriminierungsverbot geht daher von vornherein fehl.
5.3 Sofern der Beschwerdeführer eine gegen Art. 8 Abs. 1 BV verstossende sachlich nicht gerechtfertigte Ungleichbehandlung geltend machen möchte, kann ihm auch darin nicht gefolgt werden. Das Bundesgericht erachtet es in ständiger Rechtsprechung als zulässig, dass das Honorar für amtliche Mandate im Vergleich zu demjenigen für freie Mandate herabgesetzt wird. Obwohl die Entschädigung des amtlichen Anwalts gesamthaft gesehen angemessen sein muss, darf sie tiefer angesetzt werden als bei einem privaten Rechtsanwalt (<ref-ruling> E. 5.2 S. 188; <ref-ruling> E. 7.3.4 und 8.6; <ref-ruling> E. 3a S. 3; <ref-ruling> E. 2b S. 134).
Was konkret die in § 17 Abs. 2 2. Halbsatz AdvG/BS vorgesehene Kürzungsmöglichkeit bei hohem Streitwert für das Honorar des unentgeltlichen Rechtsbeistandes anbelangt, so lässt sich diese Regelung sachlich rechtfertigen. Beim privat bezahlten Anwalt entscheidet der Mandant, ob er das mit seiner Rechtsvertretung verbundene Kostenrisiko übernehmen will, wenn er den Auftrag zur Einklagung einer hohen Streitsumme erteilt. Demgegenüber hat bei der unentgeltlichen Verbeiständung der zahlende Staat keinen Einfluss auf die Höhe des Streitwertes. Er beurteilt zwar beim Entscheid über die Bewilligung der unentgeltlichen Rechtspflege die Erfolgsaussichten der gestellten Begehren, doch kann im Stadium der Gesuchsbeurteilung nicht immer schon abschliessend gesagt werden, ob die eingeklagte Forderung in ihrer gesamten Höhe Aussicht auf Erfolg hat. Von daher kann es im Einzelfall gerechtfertigt sein, wenn von der Kürzungsmöglichkeit nach § 17 Abs. 2 2. Halbsatz AdvG/BS Gebrauch gemacht wird, um einem unnötig hohen Streitwert Rechnung zu tragen.
6. Aus demselben Grund geht auch die Berufung auf den Vertrauensschutz fehl. Der Beschwerdeführer ist der Ansicht, aufgrund der uneingeschränkten Bewilligung der unentgeltlichen Verbeiständung für den gesamten eingeklagten Forderungsbetrag habe er darauf vertrauen dürfen, dass diese im Rahmen der für den entsprechenden Streitwert vorgesehenen Bandbreite von Fr. 14'300.-- bis Fr. 30'000.-- (§ 4 Ziff. 12 Honorarordnung/BS) entschädigt würde und eine hälftige Kürzung des Honorars nicht Platz greife.
6.1 Die Prozesschancen als Beurteilungskriterium eines Gesuchs um unentgeltliche Rechtsverbeiständung sind in vorläufiger und summarischer Prüfung des Prozessstoffes abzuschätzen. Ob im Einzelfall genügende Erfolgsaussichten bestehen, beurteilt sich aufgrund der Verhältnisse im Zeitpunkt des Gesuchs (<ref-ruling> E. 5; <ref-ruling> E. 2.3.1; je mit Hinweisen). Bei einem klaren Überklagen (d.h. bei Geltendmachung einer offensichtlich überhöhten Forderung) wird in der Regel Aussichtslosigkeit des Begehrens anzunehmen sein. Nicht immer liegen aber zur Zeit der Gesuchsbeurteilung derart klare Verhältnisse vor, die eindeutig einen solchen Schluss zulassen.
So führt die Vorinstanz, vor welcher der Beschwerdeführer sich nicht auf den Vertrauensschutz berief, in der Vernehmlassung nachvollziehbar aus, dass dem Zivilverfahren ein Strafverfahren vorausgegangen sei, in dem der Beklagte den klägerischen Schadenersatzanspruch im Grundsatz anerkannt und sich zur Einräumung einer dinglichen Sicherheit verpflichtet habe. Bei dieser Ausgangslage habe es nicht opportun erschienen, dass der das Kostenerlassbegehren beurteilende Instruktionsrichter die bei weitem grösste Schadensposition von vornherein als unzulänglich substantiiert und bewiesen rügt. Es habe vielmehr angebracht erschienen, abzuwarten, ob der Beklagte diesen Einwand in der Klageantwort vorbringen - wie dies nach dem im Strafverfahren geschlossenen Vergleich durchaus möglich gewesen wäre - oder ob er die Forderung zumindest teilweise anerkennen würde.
Angesichts dieser Umstände durfte der Beschwerdeführer aufgrund der Tatsache, dass die unentgeltliche Verbeiständung uneingeschränkt gewährt wurde, nicht von vornherein annehmen, dass eine Kürzung des Honorars wegen hohem Streitwert gemäss § 7 Abs. 2 2. Halbsatz AdvG/BS unterbleiben würde. Er vermag sich daher nicht erfolgreich auf den Vertrauensschutz zu berufen.
7. Der Beschwerdeführer ist schliesslich der Ansicht, die Entschädigung für die amtliche Vertretung sei bei weitem nicht kostendeckend und verstosse daher u.a. gegen Art. 9 und Art. 27 BV.
7.1 Nach der Rechtsprechung des Bundesgerichts kommt den Kantonen bei der Bemessung des Honorars des amtlichen Anwalts ein weiter Ermessensspielraum zu. Das Bundesgericht greift nur ein, wenn die zuständige Behörde die kantonalen Bestimmungen, die den Umfang der Entschädigung umschreiben, willkürlich angewendet oder wenn sie ihr Ermessen überschritten oder missbraucht hat. Darüber hinaus kann die Festsetzung eines Honorars Art. 9 BV verletzen, wenn sie ausserhalb jedes vernünftigen Verhältnisses zu den vom Anwalt geleisteten Diensten steht und in krasser Weise gegen das Gerechtigkeitsgefühl verstösst (BGE <ref-ruling> E. 3a S. 2; <ref-ruling> E. 2b, mit Hinweisen). Bei der Beurteilung der konkreten Honorarfestsetzung ist auf die Umstände des Einzelfalles abzustellen. Mit dem Willkürverbot und indirekt auch mit der Wirtschaftsfreiheit (Art. 27 BV) nicht mehr vereinbar ist es, den amtlichen Rechtsvertretern bloss deren eigene Aufwendungen zu ersetzen. Die Entschädigung für Pflichtmandate ist so zu bemessen, dass es den Rechtsanwälten möglich ist, einen bescheidenen - nicht bloss symbolischen - Verdienst zu erzielen. Für strafrechtliche Offizialverteidiger geht das Bundesgericht als Faustregel von einem Honorar in der Grössenordnung von 180 Franken pro Stunde aus (BGE <ref-ruling> E. 8.5-8.7). In Fällen, in denen die kantonale Behörde den vom Anwalt in Rechnung gestellten Arbeitsaufwand als übersetzt bezeichnet, greift das Bundesgericht nur mit grosser Zurückhaltung ein. Es ist Sache der kantonalen Behörde, die Angemessenheit anwaltlicher Bemühungen zu beurteilen, wobei sie über ein beträchtliches Ermessen verfügt (BGE <ref-ruling> E. 2d S. 136). Für die Annahme einer Verletzung von Art. 9 BV genügt es nicht, wenn die kantonale Behörde, welche die Entschädigung festzusetzen hat, einen in Rechnung gestellten Posten irrtümlich würdigt oder sich auf ein unhaltbares Argument stützt. Der angefochtene Entscheid ist erst dann aufzuheben, wenn der dem amtlichen Anwalt zugesprochene gesamthafte Betrag willkürlich erscheint (<ref-ruling> E. 3d; Urteil 5P.298/2006 vom 16. Januar 2007 E. 5.1).
7.2 Der Beschwerdeführer stützt seine Rüge willkürlicher Honorarfestsetzung auf die Rechnung, wonach bei 104 Anwaltsstunden und einem Honorar von Fr. 10'223.05 rund Fr. 100.-- pro Anwaltsstunde resultierten. Er legt damit seiner Rechnung die von ihm geltend gemachten 104 Anwaltsstunden zugrunde. Demgegenüber erwog die Vorinstanz, dass das festgesetzte Honorar von rund Fr. 10'000.-- dividiert durch den Stundenansatz für unentgeltliche Rechtsvertretungen von Fr. 180.-- 55,55 Arbeitsstunden, d.h. 7 Arbeitstage, ergebe. Sie schloss, angesichts des eher einfachen Sachverhalts sowie der kaum substantiierten Widerklage und der rechtlich nicht komplexen Argumentation sei ein Arbeitsaufwand von ganzen 7 Arbeitstagen angemessen. Damit werde klar, dass der Beschwerdeführer bei einer Beschränkung auf die notwendigen und sinnvollen Bemühungen zu einem angemessenen Stundenansatz honoriert werde.
Mit diesen Erwägungen setzt sich der Beschwerdeführer nicht auseinander und zeigt nicht auf, inwiefern das Honorar im Ergebnis willkürlich festgesetzt worden sein soll. Insbesondere bringt er nichts vor, was die vorinstanzliche Gewichtung von Bedeutung und Schwierigkeit des dem Mandat zugrunde liegenden Falles bzw. den zugesprochenen Betrag (im Ergebnis) als willkürlich erscheinen liesse.
8. Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Verfahrensausgang wird der Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1 BGG). Eine Parteientschädigung ist nicht zu sprechen (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt, Ausschuss, schriftlich mitgeteilt.
Lausanne, 12. März 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Kölz