Sachverhalt:
A. A.a A._ (Beschwerdeführer) erlitt im Oktober 2003 einen Unfall, der eine Arbeitsunfähigkeit zur Folge hatte. Bis zum 5. Juli 2004 erbrachte die Schweizerische Unfallversicherungsanstalt (SUVA) Leistungen. Danach war der Beschwerdeführer zufolge Krankheit weiterhin arbeitsunfähig, weshalb ihn die Genossenschaft Y._, als Arbeitgeberin am 8. September 2004 bei der X._ Krankenversicherung AG (Beschwerdegegnerin) zwecks Ausrichtung von Taggeldern meldete. Das Arbeitsverhältnis endete am 30. November 2004. Mit Wirkung ab 1. Dezember 2004 trat der Beschwerdeführer in die Einzel-Taggeldversicherung Z._ der X._ Gesundheitsorganisation über, welche ihm ab diesem Tag Taggelder ausrichtete.
A.b Mit Entscheid vom 5. März 2008 sprach die IV-Stelle Aargau dem Beschwerdeführer rückwirkend für die Zeit vom 1. Oktober 2004 bis zum 31. Juli 2005 eine Dreiviertelsrente und ab 1. August 2004 eine ganze Invalidenrente zu. Ebenfalls am 5. März 2008 stellte die IV-Stelle Aargau sodann fest, die X._ Gesundheitsorganisation habe Anspruch auf Verrechnung ihrer Taggeld-Leistungen mit Rentennachzahlungen der Invalidenversicherung. Der Betrag dieser Nachzahlungen wurde jedoch noch nicht beziffert.
B. Mit Klage vom 18. Juli 2008 beantragte der Beschwerdeführer dem Sozialversicherungsgericht des Kantons Zürich, es sei festzustellen dass die Beschwerdegegnerin und die X._ Gesundheitsorganisation aus Rentennachzahlungen der Eidgenössischen Invalidenversicherung (IV) nichts zugute hätte.
Mit Verfügung vom 19. September 2008 bezifferte die IV-Stelle Aargau den der X._ Gesundheitsorganisation unter dem Titel Rentennachzahlung der IV zustehenden Betrag auf Fr. 26'545.60.
Nachdem das Sozialversicherungsgericht mit Gerichtsverfügung vom 14. April 2009 die Beschwerdegegnerin als alleinige Beklagte ins Rubrum eingesetzt hatte, beantragte der Beschwerdeführer mit Replik vom 19. Juni 2009 in Abänderung seiner Rechtsbegehren, die Beschwerdegegnerin sei zu verpflichten, ihm mindestens Fr. 26'545.60 nebst Zins zu 5 % seit dem 10. September 2008 zu bezahlen.
Das Sozialversicherungsgericht hiess die Klage am 24. August 2010 teilweise gut und verpflichtete die Beschwerdegegnerin, dem Beschwerdeführer Fr. 10'431.65 nebst Zins zu bezahlen. Im Mehrbetrag wies es die Klage ab.
C. Der Beschwerdeführer beantrag dem Bundesgericht mit Beschwerde in Zivilsachen, eventuell mit subsidiärer Verfassungsbeschwerde, die Beschwerdegegnerin in Abänderung von Ziffer 1 des Urteils des Sozialversicherungsgerichts vom 24. August 2010 zu verpflichten, ihm Fr. 21'575.50 zuzüglich Zins zu 5 % ab 10. September 2008 zu bezahlen. Eventuell sei das Verfahren zur Ergänzung des Sachverhaltes und zu neuer Beurteilung an die Vorinstanz zurückzuweisen.
Die Beschwerdegegnerin verlangt, dass im Rahmen des Untersuchungsgrundsatzes eine reformatio in peius vorgenommen wird. Die Vorinstanz hat auf Vernehmlassung verzichtet.
Erwägungen:
1. 1.1 Streitig ist der Umfang der Leistungspflicht aus einer Zusatzversicherung zur sozialen Krankenversicherung. Derartige Zusatzversicherungen unterstehen gemäss Art. 12 Abs. 2 und 3 des Bundesgesetzes vom 18. März 1994 über die Krankenversicherung (KVG; SR 832.10) dem Versicherungsvertragsgesetz vom 2. April 1908 (VVG; SR 221.229.1). Streitigkeiten aus solchen Versicherungen sind privatrechtlicher Natur (BGE 133 III 439 E. 2.1 S. 442). Als Rechtsmittel an das Bundesgericht kommt daher die Beschwerde in Zivilsachen in Betracht.
1.2 In vermögensrechtlichen Angelegenheiten ist die Beschwerde in Zivilsachen grundsätzlich nur gegeben, wenn der Streitwert mindestens Fr. 30'000.-- beträgt (Art. 74 Abs. 1 lit. b BGG). Wird dieser Streitwert nicht erreicht, ist sie dennoch zulässig, wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (Art. 74 Abs. 2 lit. a BGG).
1.3 Bei der vorliegenden Streitsache handelt es sich um eine vermögensrechtliche Angelegenheit, deren Streitwert die Grenze von Fr. 30'000.-- nicht erreicht. Der Beschwerdeführer macht jedoch geltend, auf die Beschwerde in Zivilsachen sei dennoch einzutreten, weil sich eine Rechtsfrage von grundsätzlicher Bedeutung stelle. Seiner Meinung nach hat das Bundesgericht die Frage, was unter dem Begriff "arbeitslos im Sinne von Art. 10 AVIG" gemäss Art. 100 Abs. 2 VVG zu verstehen ist, nie "einlässlich" entschieden. Auch die Literatur gebe keine eindeutige Antwort auf diese Frage. Die Vorinstanz setze für die Anwendbarkeit von Art. 73 Abs. 1 KVG entgegen der von ihr selbst angeführten Rechtsprechung des Bundesgerichts (BGE 128 V 149 E. 3b) voraus, dass der Versicherte effektiv Arbeitslosenentschädigung bezogen habe, da sie seinen Taggeldanspruch für den Zeitraum, ab welchem er keine Arbeitslosenentschädigung mehr bezogen habe, nicht entsprechend Art. 73 Abs. 1 KVG auf 100%, sondern lediglich auf 79% festgesetzt habe.
1.4 Der Begriff der Rechtsfrage von grundsätzlicher Bedeutung im Sinne von Art. 74 Abs. 2 lit. a BGG ist restriktiv auszulegen. Soweit es bei der aufgeworfenen Frage lediglich um die Anwendung von Grundsätzen der Rechtsprechung auf einen konkreten Fall geht, handelt es sich nicht um eine Rechtsfrage von grundsätzlicher Bedeutung. Die Voraussetzung von Art. 74 Abs. 2 lit. a BGG ist hingegen erfüllt, wenn ein allgemeines und dringendes Interesse besteht, dass eine umstrittene Frage höchstrichterlich geklärt wird, um eine einheitliche Anwendung und Auslegung des Bundesrechts herbeizuführen und damit eine erhebliche Rechtsunsicherheit auszuräumen (BGE 135 III 1 E. 1.3 S. 4, 397 E 1.2; je mit Hinweisen). Nach seinem Wortlaut ("wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt") kann Art. 74 Abs. 2 lit. a BGG nur greifen, wenn die Beantwortung der vorgelegten Rechtsfrage im betreffenden Verfahren unerlässlich ist, wenn also das Bundesgericht den Rechtsstreit ohne deren Beantwortung nicht beurteilen könnte, denn an der abstrakten Erörterung einer Rechtsfrage besteht kein Rechtsschutzinteresse.
1.5 Nach Art. 100 Abs. 2 VVG sind für Versicherungsnehmer und Versicherte, die nach Art. 10 des Bundesgesetzes über die obligatorische Arbeitslosenversicherung und die Insolvenzentschädigung vom 25. Juni 1982 (AVIG) als arbeitslos gelten, Art. 71 Abs. 1 und 73 KVG sinngemäss anwendbar. Gemäss Art. 10 AVIG umfasst der Begriff der vollen Arbeitslosigkeit die Tatbestandsmerkmale des Fehlens eines Arbeitsverhältnisses, der Suche nach einer Vollzeitbeschäftigung (Abs. 1) und der Anmeldung beim Arbeitsamt zur Arbeitsvermittlung (Abs. 3). Dagegen setzt der Begriff der Arbeitslosigkeit als solcher das Element der Arbeitsfähigkeit nicht voraus (Urteil C_140/05 vom 1. Februar 2006 E. 3.2.2). Entsprechend liegt nach der Rechtsprechung des Bundesgerichts ein von der Krankentaggeldversicherung nach Art. 73 Abs. 1 KVG zu entschädigender Verdienstausfall vor, wenn eine Person zwar grundsätzlich Anspruch auf Arbeitslosentaggelder hat, zufolge Krankheit indessen vorübergehend vermittlungsunfähig ist und deshalb keine Arbeitslosentaggelder beziehen kann (BGE 128 V 149 E. 3b mit Hinweisen). Auf diese Rechtsprechung stützt sich auch die Vorinstanz (E. 4.6). Demnach gilt auch nach dem angefochtenen Urteil als arbeitslos, wer zwar keine Arbeitslosenentschädigung bezieht, zu deren Bezug aber berechtigt wäre, sofern er nicht erkrankt wäre. Insoweit geht es mithin nicht um die Klärung einer umstrittenen Rechtsfrage zur Herbeiführung einer einheitlichen Anwendung und Auslegung des Bundesrechts, sondern um die Anwendung von Grundsätzen der Rechtsprechung auf einen konkreten Fall. Der Beschwerdeführer hält sodann für fraglich, ob die Meldung beim Arbeitsamt am Wohnort des Versicherten gemäss Art. 10 Abs. 3 AVIG unerlässlich sei, macht aber selbst geltend, er habe diese Voraussetzung stets erfüllt, was damit im Einklang steht, dass er nach den verbindlichen Feststellungen der Vorinstanz entsprechende Leistungen bezogen hat. Er hat daher kein Rechtsschutzinteresse an der Beantwortung dieser Frage. Eine umstrittene Frage, die höchstrichterlicher Klärung bedarf, um eine erhebliche Rechtsunsicherheit auszuräumen, stellt sich nicht. Auf die Beschwerde in Zivilsachen ist somit nicht einzutreten.
1.6 Demnach ist die subsidiäre Verfassungsbeschwerde zulässig (Art. 113 BGG).
2. Vor Vorinstanz war nicht umstritten, dass die Beschwerdegegnerin berechtigt ist, die im Hinblick auf die Invalidenleistungen gestützt auf Art. 24 Ziff. 2 der Allgemeinen Versicherungsbedingungen (AVB) vorschüssig erbrachten Taggelder zurückzufordern und dass das Versicherungsverhältnis vom 1. Dezember 2004 bis zur Aussteuerung und Vertragsauflösung per 4. Juli 2006 gedauert hat. Die Vorinstanz hatte einzig Bestand und Höhe der Rückerstattungsforderung des Taggeldversicherers zufolge Überversicherung zu prüfen.
2.1 Die Grenze der Überentschädigung beim Zusammenfallen von Invalidenrenten- und Krankentaggeldleistungen liegt gemäss Art. 24 Ziff. 1 AVB bei der Höhe des versicherten Taggeldes, wie die Vorinstanz - insoweit unangefochten - annahm. Ausgehend von einer Arbeitsunfähigkeit für die Zeit vom 1. Dezember 2004 bis 9. Januar 2005 von 100 %, für die Zeit vom 10. Januar 2005 bis 31. Juli 2005 von 64 % und für die Zeit vom 1. August 2005 bis 4. Juli 2006 von 79 % setzte die Vorinstanz das Taggeld gestützt auf Art. 73 Abs. 1 KVG fest, auf den Art. 100 Abs. 2 VVG verweist. Sie erwog, diese Bestimmung gelange gemäss BGE 128 V 159 E. 3b dann zur Anwendung, wenn der Versicherte arbeitslos im Sinne von Art. 10 AVIG sei bzw. ohne Arbeitsunfähigkeit Anspruch auf Arbeitslosentaggelder hätte. Die Vorinstanz schloss aus dem Umstand, dass der Beschwerdeführer ab 10. Januar 2005 gemäss Verfügung der Arbeitslosenkasse Anspruch auf Arbeitslosenentschädigung hatte und für die Monate bis Juli 2005 bereits bezogene Arbeitslosenentschädigungen zurückerstatten musste, dass er in dieser Zeit arbeitslos im Sinne von Art. 10 AVIG gewesen sei. In Anwendung von Art. 73 Abs. 1 KVG, wonach bei einer Arbeitsunfähigkeit von mehr als 50% das volle Taggeld auszurichten ist, habe die Beschwerdegegnerin für die Zeit vom 1. Dezember 2004 bis 31. Juli 2005 Taggeldleistungen von 100% zu erbringen. Für die Zeit vom 1. August 2005 bis 4. Juli 2006 (Aussteuerung) verpflichtete die Vorinstanz die Beschwerdegegnerin jedoch lediglich zu Taggeldleistungen von 79%. Daraus ist abzuleiten, dass die Vorinstanz insoweit Art. 73 KVG für nicht anwendbar erachtete.
2.2 In der subsidiären Verfassungsbeschwerde rügt der Beschwerdeführer, die Vorinstanz habe einerseits das Willkürverbot (Art. 9 BV) und andererseits den Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) durch mangelhafte Begründung verletzt. Er bringt vor, falls die Vorinstanz dem Beschwerdeführer die Erhöhung seines Taggeldanspruchs auf 100% für die Zeit ab dem 1. August 2005 bis zum 4. Juli 2006 mangels effektiv bezogener Arbeitslosenentschädigung verweigert haben sollte, wäre ihre Argumentation in sich widersprüchlich und daher willkürlich, weil die Vorinstanz selbst davon ausgegangen sei, Arbeitslosigkeit im Sinne von Art. 10 AVIG sei auch gegeben, soweit der Versicherte ohne Arbeitsunfähigkeit Anspruch auf Arbeitslosentaggelder hätte. Gründe dafür, dass der Taggeldanspruch des Beschwerdeführers ab dem 1. August 2005 nur noch 79 % des vertraglich vereinbarten Wertes betragen soll, führe die Vorinstanz nicht an. Dass die Höhe des zu leistenden Taggeldes sinke, obwohl der Invaliditätsgrad steige und die Beschwerdegegnerin auch die höheren Leistungen der Invalidenversicherung an ihre Verpflichtungen anrechnen könne, erscheine absurd. Dies müsse zur Aufhebung des angefochtenen Entscheids wegen Willkür führen. Da die Vorinstanz ohne nähere Prüfung davon ausgegangen sei, die Voraussetzungen für die Anwendung von Art. 73 Abs. 1 KVG seien ab dem 1. August 2005 nicht mehr erfüllt gewesen, verletze sie auch die Pflicht zur genügenden Feststellung des massgebenden Sachverhalts von Amtes wegen gemäss Art. 85 Abs. 2 des Bundesgesetzes betreffend die Aufsicht über die privaten Versicherungseinrichtungen (VAG) wie auch den verfassungsmässigen Anspruch auf ein nachvollziehbar begründetes Urteil.
2.3 Der Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) verlangt insbesondere, dass die Gerichte die rechtserheblichen Vorbringen der Parteien anhören und bei der Entscheidfindung berücksichtigen (BGE 124 I 241 E. 2 S. 242). Damit sich die Parteien ein Bild über die Erwägungen des Gerichts machen können, ist sein Entscheid zu begründen. Die Begründung muss kurz die Überlegungen nennen, von denen sich das Gericht hat leiten lassen und auf die sich sein Entscheid stützt. Nicht erforderlich ist hingegen, dass sich der Entscheid mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Es genügt, wenn der Entscheid gegebenenfalls sachgerecht angefochten werden kann (BGE 133 III 439 E. 3.3 S. 445 mit Hinweisen).
2.4 Die Vorinstanz legt in der Tat nicht dar, welche Gründe sie zum Schluss bewogen, ab dem 1. August 2005 gelange Art. 73 Abs. 1 KVG nicht zur Anwendung. Hätte die Vorinstanz in rechtlicher Hinsicht einzig dem tatsächlichen Bezug von Arbeitslosentaggeldern Bedeutung zugemessen, wäre der angefochtene Entscheid mit Blick auf den Hinweis auf BGE 128 V 149 E. 3b widersprüchlich und damit willkürlich, zumal die Vorinstanz selbst ausführt, Art. 73 Abs. 1 KVG sei auch einschlägig, wenn die versicherte Person, wäre sie nicht erkrankt, Anspruch auf Arbeitslosentaggelder hätte (E 4.6). Sollte die Vorinstanz aus dem von ihr erwähnten Bezug von Arbeitslosenentschädigung während der Vorperioden auf die Arbeitslosigkeit im Sinne von Art. 73 Abs. 1 KVG geschlossen haben, wäre dies nicht zu beanstanden. Daraus darf aber nicht der Umkehrschluss in dem Sinne gezogen werden, dass der Beschwerdeführer bereits deshalb nicht als arbeitslos gelten kann, weil er ab dem 1. August 2005 keine Arbeitslosenentschädigung mehr bezogen hat. Andernfalls bliebe ausser Acht, dass Arbeitslosigkeit auch anzunehmen wäre, sofern er zwar grundsätzlich zum Bezug von Arbeitslosentaggeldern berechtigt, zufolge Krankheit indessen vorübergehend vermittlungsunfähig war und deshalb keine Arbeitslosentaggelder bezog. Zur diesbezüglich entscheidenden Frage, weshalb ab dem 1. August 2005 keine Arbeitslosentaggelder mehr flossen, schweigt sich das angefochtene Urteil aus, und es ist nicht Sache des Bundesgerichts, hierüber Vermutungen anzustellen. Jedenfalls konnte der Beschwerdeführer den angefochtenen Entscheid mit Bezug auf die Festsetzung der Taggeldleistungen auf lediglich 79 % für die Zeit vom 1. August 2005 bis 4. Juli 2006 durch die Vorinstanz nicht sachgerecht anfechten. Die Rüge der Verletzung des Anspruchs auf rechtliches Gehör (Art. 29 Abs. 2 BV) erweist sich als begründet.
3. Aus den dargelegten Gründen ist auf die Beschwerde in Zivilsachen nicht einzutreten. Die subsidiäre Verfassungsbeschwerde ist gutzuheissen, das angefochtene Urteil aufzuheben und die Sache zur Ergänzung des Sachverhalts und neuer Entscheidung an die Vorinstanz zurückzuweisen. Bei diesem Verfahrensausgang wird die Beschwerdegegnerin für das bundesgerichtliche Verfahren kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde in Zivilsachen wird nicht eingetreten.
2. Die subsidiäre Verfassungsbeschwerde wird gutgeheissen, das Urteil des Sozialversicherungsgerichts des Kantons Zürich vom 24. August 2010 aufgehoben, und die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
3. Die Gerichtskosten von Fr. 1'500.-- werden der Beschwerdegegnerin auferlegt.
4. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
5. Dieses Urteil wird den Parteien und dem Sozialversicherungsgericht des Kantons Zürich, II. Kammer, schriftlich mitgeteilt.
Lausanne, 2. Februar 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Gelzer