Sachverhalt: A. D._ (Beschwerdeführer) war bei der SUVA obligatorisch gegen Unfall versichert und über seine Arbeitgeberin bei der X._ AG (Beschwerdegegnerin) kollektiv für Krankheit taggeldversichert. Nachdem dem Beschwerdeführer mit Arztzeugnis vom 16. Juni 2003 bis zum 1. Juli 2003 eine Arbeitsunfähigkeit von 100 % attestiert worden war, erlitt er während dieser Zeitspanne einen Unfall, der zu Taggeldleistungen der SUVA führte. Aufgrund der von der SUVA erbrachten Leistungen kündigte die Beschwerdegegnerin dieser mit Schreiben vom 25. und 26. Juli 2005 an, man werde ihr für die Krankheit vom 16. Juni 2003 den Betrag von Fr. 27'599.-- überweisen entsprechend den unter Beachtung der 60-tägigen Wartefrist in der Zeit vom 15. August 2003 bis zum 30. April 2004 angefallenen Krankentaggeldern. Eine Kopie dieses Schreibens wurde der Vertretung des Beschwerdeführers zugestellt. Die Beschwerdegegnerin überwies den Betrag wie angekündigt. Dem Beschwerdeführer teilte die Beschwerdegegnerin mit Schreiben vom 26. Juli 2005 mit, sie werde ihm noch für die Zeit vom 1. Mai 2005 bis zum 14. Juni 2005 (45 Tage) ein Taggeld auf der Basis einer Arbeitsunfähigkeit von 61 % ausrichten. Ob diese Zahlung erfolgte, ist zwischen den Parteien umstritten. B. Mit Schreiben vom 18. April 2006 ersuchte der Beschwerdeführer die SUVA um Auszahlung der ihr von der Beschwerdegegnerin überwiesenen Krankentaggelder, da es sich bei den von der SUVA ausgerichteten Taggeldern um reine Unfalltaggelder gehandelt habe. Nachdem der Beschwerdeführer der SUVA zusätzlich ein ärztliches Attest hatte zukommen lassen, liess diese den Beschwerdeführer mit Schreiben vom 4. April 2007 wissen, sie werde den Betrag von Fr. 27'599.-- zurücküberweisen. Daraufhin ersuchte der Beschwerdeführer die Beschwerdegegnerin um eine neue Abrechnung. Sie kam diesem Wunsch mit Schreiben vom 18. April 2007 nach. In diesem Schreiben bestätigt sie den Zahlungseingang der Überweisung der SUVA. Sie stellt die Abgrenzung von krankheitsbedingter und unfallbedingter Arbeitsunfähigkeit gemäss dem der SUVA eingereichten Arztzeugnis dar sowie die Leistungen der SUVA und der IV. Unter dem Titel: "Unsere Offerte" zeigt sie ihre Berechnungsgrundlagen auf und stellt die von der SUVA geleisteten und die von ihr selbst zu übernehmenden Leistungen zusammen. Sie errechnet unter Abzug der Zahlung von Fr. 1'320.-- einen Saldo zu Gunsten des Beschwerdeführers von Fr. 14'435.--. Mit diesem Saldo zeigte sich der Beschwerdeführer indessen nicht einverstanden und kündigte die Durchsetzung der Restforderung auf dem Gerichtsweg an. Daraufhin distanzierte sich die Beschwerdegegnerin von ihrer "Offerte". C. Der Beschwerdeführer machte beim Zivilgericht Basel-Stadt am 15. Oktober 2007 eine Klage hängig, auf welche das Zivilgericht mit Urteil vom 17. Juli 2009 wegen sachlicher Unzuständigkeit nicht eintrat. Am 24. März 2010 gelangte der Beschwerdeführer an das Sozialversicherungsgericht des Kantons Basel-Stadt und verlangte von der Beschwerdegegnerin Fr. 38'850.-- nebst Zins seit Klageeinreichung. Am 1. Februar 2011 wies das Sozialversicherungsgericht die Klage ab, im Wesentlichen zufolge Verjährung. D. Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht, die Beschwerdegegnerin zu verpflichten, ihm Fr. 28'919.-- nebst Zins seit Klageeinreichung zu bezahlen. Die Beschwerdegegnerin beantragt, auf die Beschwerde nicht einzutreten und diese eventuell abzuweisen, beides unter Kosten- und Entschädigungsfolgen. Das Sozialversicherungsgericht schliesst auf Abweisung der Beschwerde.