Sachverhalt:
A. A.a Dr. med. dent. A._ (Versicherter) führte eine Zahnarztpraxis in Y._. Er schloss im Jahr 1996 bei der Z._ AG eine für die Mitglieder der Interessengemeinschaft medizinischer Berufe (IG med) angebotene Taggeld-Kollektivversicherung (Nr. 8.028.988) ab. Im Erneuerungsantrag vom 22. Juni 2004 bezüglich dieser Versicherung hat der Versicherte bestätigt, die Allgemeinen Versicherungsbedingungen (AVB) MC 04 und das "Merkblatt zum Rahmenvertrag Nr. 1180" erhalten zu haben. In der Police vom 3. September 2004 wurde ein Taggeld von 100 % des versicherten Lohnes in der Höhe von Fr. 87'600.--, zahlbar nach einer Wartefrist von 90 Tagen pro Fall vereinbart. Diese Police bezeichnet das "Merkblatt zum Rahmenvertrag Nr. 1180" zwischen der IG med und der "Z._ AG" als integrierenden Bestandteil. Das "Merkblatt für die Kollektive Krankentaggeldversicherung für die Mitglieder der Interessen-Gemeinschaft medizinischer Berufe" nahm in Ziff.1.1 auf den Rahmenvertrag Nr. 1180 Bezug und sah in Ziff. 2.2 mit der Überschrift "Leistungsanspruch/Leistungsdauer" in Abs. 3 Satz 1 folgende Regelung vor:
"In Abänderung von AVB Artikel D4 reduzieren sich die versicherten Leistungen infolge psychischer Erkrankungen und deren Folgen nach 180 Tagen auf die Hälfte des versicherten Taggeldes."
Des weiteren wurden in der Police vom 3. September 2004 die Allgemeinen Bedingungen MC 04 als anwendbar erklärt. Es handelt sich dabei um die "Allgemeinen Versicherungsbedingungen (AVB) Kollektive Lohnausfallversicherung MC 04" der Z._ AG, welche im Kapitel "Überentschädigung" in Art. D 10 4 unter der Überschrift "Anrechnung von Sozialversicherungsleistungen" wie folgt lauten:
"Die 'Z._ AG' ergänzt den durch die Leistungen der Invalidenversicherung nicht ersetzten Teil bis zur Höhe des in der Police vereinbarten Taggeldes. Die 'Z._ AG' macht ihre Leistungszahlungen davon abhängig, dass der Fall der IV gemeldet worden ist und die Anmeldung nicht zurückgezogen wird.
Bis zum Entscheid der IV erbringt die 'Z._ AG' ungekürzte Taggelder im Sinne von Vorschussleistungen, vorausgesetzt, die versicherte Person erklärt sich schriftlich damit einverstanden, dass die für denselben Zeitraum zur Ausrichtung gelangenden Nachzahlungen der IV direkt an die 'Z._ AG' ausgerichtet werden, soweit sich nach den vorliegenden Bestimmungen eine Überentschädigung ergeben sollte. Zusatzrenten für den Ehegatten (<ref-law>) und Kinderrenten (<ref-law>) werden für die Überentschädigungsberechnung voll angerechnet.
Die 'Z._ AG' hat ein direktes Rückforderungsrecht gegenüber der IV, die nachträglich Leistungen erbringt. Die 'Z._ AG' kann von der IV verlangen, dass deren Leistungsnachzahlungen bis zur Höhe der Vorschussleistungen verrechnet und direkt an die 'Z._ AG' ausbezahlt werden.
Bei Anspruch auf Umschulung ergänzt die 'Z._ AG' den durch die IV-Taggelder nicht ersetzten Teil bis zur Höhe des in der Police vereinbarten Taggeldes."
Der Versicherte verfügte bei der Z._ AG unter der Nr. 8.022.867 über eine weitere Taggeld-Kollektivversicherung, welche ein versichertes Jahreseinkommen von Fr. 87'600.--, eine Leistungsdauer von 730 Tagen und eine Wartefrist von 60 Tagen vorsah.
Per 1. Januar 2007 übernahm die X._ AG (Versicherung) die Taggeldversicherungen der Z._ AG und führte die Policen Nr. 8.028.988 und 8.022.867 des Versicherten mit den neuen Vertragsnummern 60029370 und 60032218 weiter.
A.b Am 25. Januar 2007 teilte der Versicherte der Versicherung bezogen auf diese Taggeldversicherungen mit, er sei seit dem 17. November 2006 wegen Krankheit arbeitsunfähig. In seinem Bericht vom 26. Februar 2007 diagnostizierte der behandelnde Arzt eine mittel- bis schwergradige depressive Episode. Aufgrund der ärztlich attestierten Arbeitsunfähigkeit erbrachte die Versicherung nach Ablauf der sechzig- bzw. neunzigtägigen Wartefrist aus beiden Taggeldversicherungen die vereinbarten Leistungen. Mit Brief vom 7. Juni 2007 teilte die Versicherung dem Versicherten mit, gemäss einer Regelung für psychische Erkrankungen in einem Merkblatt für Mitglieder der IG med würden die Taggelder nach dem Vertrag Nr. 60029370 ab dem 16. Mai 2007 auf die Hälfte des versicherten Taggeldes reduziert.
Im Dezember 2007 meldete sich der Versicherte bei der Invalidenversicherung an und erteilte der Versicherung die Zustimmung zur direkten Verrechnung einer allfälligen Rückforderung vorschussweise erbrachter Taggelder mit einer allfälligen Rentennachzahlung der Sozialversicherungsanstalt des Kantons Zürich (SAV), IV-Stelle.
Vom 29. Dezember 2007 bis zum 18. Januar 2008 war der Versicherte in einer psychiatrischen Klinik hospitalisiert. Nach seinem Austritt wurde er zu 90 % arbeitsunfähig geschrieben. Am 6. Juni 2008 teilte er der Versicherung mit, er sei seit dem 18. Januar 2008 wegen einer Nervenlähmung am rechten Arm isoliert betrachtet zu 50 % arbeitsunfähig, die depressionsbedingte Arbeitsunfähigkeit betrage nach wie vor 90 %. Ab dem 26. Juni 2008 attestierte ihm sein behandelnder Arzt eine vollumfängliche Arbeitsunfähigkeit. Am 10. September 2008 schrieb ihm die Versicherung, sie könne für den neuen per 18. Januar 2008 gemeldeten Fall keine (weiteren) Leistungen erbringen, da er schon wegen seines psychischen Leidens zu 100 % arbeitsunfähig sei. Mit Schreiben vom 11. November 2008 erklärte sie ihm, sie werde die Taggelddeckung ab dem 15. November 2008 aufheben, nachdem die maximale Leistungsdauer von 730 Tagen erreicht worden sei.
Der Versicherte wandte mit anwaltlichem Schreiben vom 17. November 2008 ein, er habe ab dem 16. November 2008 aufgrund der Nervenlähmung Anspruch auf weitere Taggelder auf der Basis einer Arbeitsunfähigkeit von 50 %. Die Versicherung stellte sich in ihrem Antwortschreiben auf den Standpunkt, dass für den "neuen Krankheitsfall ab 18. Januar 2008" in Bezug auf beide Taggeldversicherungen kein Anspruch auf Leistungen bestehe.
Mit Schreiben vom 27. Februar 2009 kündete die Versicherung an, sie werde direkt bei der Ausgleichskasse eine Forderung von Fr. 37'974.15 wegen zu viel bezahlter Taggelder geltend machen. Dagegen erhob der Versicherte Einwendungen.
Am 3. März 2009 sprach die IV-Stelle des Kantons Zürich dem Versicherten für die Zeit ab März 2009 eine ganze Rente zuzüglich einer Kinderrente für den Sohn zu. Sie verfügte am 25. Mai 2009, dass die Invaliden- und die Kinderrente mit Wirkung ab 1. November 2009 an den Versicherten ausbezahlt werden. Diese Verfügung hat die Versicherung nicht angefochten. Sie forderte mit Schreiben vom 3. Juni 2009 den Versicherten auf, ihr Rentennachzahlungen der IV-Stelle in der Höhe von Fr. 37'974.15 zu erstatten, was er ablehnte.
B. Am 16. Juli 2009 klagte der Versicherte (Kläger) beim Sozialversicherungsgericht des Kantons Zürich gegen die Versicherung (Beklagte) mit den Begehren, diese zu verpflichten, ihm aus dem Vertrag 60029370 Fr. 22'344.-- nebst Zins zu 5 % ab dem 15. September 2007 und aus neuem Krankheitsfall für die Zeit vom 18. Januar 2008 bis zum 15. November 2008 Fr. 24'800.20 nebst Zins zu 5 % ab 17. Juni 2008 zu bezahlen. Sodann verlangte der Kläger ab dem 16. November 2008 aus den Policen Nr. 60029370 und Nr. 60032218 je ein Taggeld von Fr. 120.-- pro Tag zuzüglich Zins zu 5 % ab mittlerem Verfall.
Die Beklagte schloss auf Abweisung der Klage und erhob Widerklage auf Zahlung von Fr. 37'974.15 für vom Kläger für die Zeit vom 1. November 2007 bis 15. November 2008 erhaltene IV-Renten.
In der Replik und Widerklageantwort vom 7. Dezember 2009 beantragte der Kläger, auf die Widerklage sei nicht einzutreten, eventuell sei sie abzuweisen. Zudem stellte der Kläger folgende geänderte Klageanträge:
"1. Die Beklagte habe dem Kläger aus dem Vertrag 60029370 Fr. 61'459.-- zu bezahlen, zuzüglich Zins zu 5 % pro Jahr ab mittlerem Verfall, dem 9. Dezember 2007 (Klagebegehren 1 und 2 der Teilklage vom 16. Juli 2009)
2. Die Beklagte hat dem Kläger ab dem 16.11.2008 aus den beiden Policen Nr. 60029370 und 60032218 ein Taggeld von insgesamt Fr. 240.-- pro Tag zu bezahlen, zuzüglich Zins zu 5 % ab mittlerem Verfall."
Mit Urteil vom 30. November 2011 hiess das Sozialversicherungsgericht des Kantons Zürich die Klage im Umfang von Fr. 9'650.70 nebst Zins zu 5 % ab 16. Juli 2009 und die Widerklage vollumfänglich, d.h. im Betrag von Fr. 37'974.15, gut.
C. Der Kläger (Beschwerdeführer) erhebt Beschwerde in Zivilsachen mit den Anträgen, das Urteil des Sozialversicherungsgerichts vom 30. November 2011 aufzuheben, soweit es die Klage abwies und die Widerklage guthiess, und die Beklagte zu verpflichten, dem Kläger aus dem Vertrag 60029370 Fr. 61'459.-- zuzüglich Zins zu 5 % ab Klageeinreichung zu bezahlen. Auf die Widerklage sei nicht einzutreten, eventuell sei sie abzuweisen.
Die Beklagte (Beschwerdegegnerin) schliesst unter Verweis auf ihre kantonalen Eingaben und das angefochtene Urteil auf Abweisung der Beschwerde. Die Vorinstanz verzichtet auf Vernehmlassung.

Erwägungen:
1. 1.1 Zu beurteilen ist die Leistungspflicht aus einer Zusatzversicherung zur sozialen Krankenversicherung. Derartige Zusatzversicherungen unterstehen gemäss Art. 12 Abs. 2 und 3 des Bundesgesetzes vom 18. März 1994 über die Krankenversicherung (KVG; SR 832.10) dem Versicherungsvertragsgesetz vom 2. April 1908 (VVG; SR 221.229.1). Streitigkeiten aus solchen Versicherungen sind privatrechtlicher Natur, weshalb als Rechtsmittel an das Bundesgericht die Beschwerde in Zivilsachen gemäss <ref-law> in Betracht kommt (<ref-ruling> E. 2.1 S. 441 f. mit Hinweis).
1.2 Die Beschwerde richtet sich gegen einen Endentscheid (<ref-law>). Da das Sozialversicherungsgericht des Kantons Zürich als einzige kantonale Instanz im Sinne von <ref-law> (in Verbindung mit Art. 76 Abs. 1 Satz 2 KV/ZH und § 2 Abs. 2 lit. a GSVGer) entschieden hat, ist die Beschwerde in vermögensrechtlichen Angelegenheiten gemäss <ref-law> unabhängig von der Erreichung der Streitwertgrenze nach <ref-law> zulässig (<ref-ruling> E. 1.2.2).
1.3 Da auch die übrigen Sachurteilsvoraussetzungen gegeben sind, ist auf die Beschwerde einzutreten.
2. 2.1 Die Vorinstanz führte aus, die Beschwerdegegnerin habe das Taggeld für die Versicherung Nr. 60029370 nach 180 Krankheitstagen, d.h. dem 16. Mai 2007 auf die Hälfte reduziert und sich dabei auf das Merkblatt zum Rahmenvertrag Nr. 1180 berufen. Dieses Merkblatt sei dem Beschwerdeführer zugestellt und in der massgebenden Police erwähnt worden, weshalb die darin enthaltenen Regeln als vorformulierte Vertragsbedingungen zum Vertragsbestandteil geworden seien. Die Beschwerdegegnerin hätte bei der Berechnung der 180 Tage, nach denen sie die Taggelder auf die Hälfte reduziert habe, zu Unrecht auch die Wartefrist von 90 Tagen mitgezählt. Die Beschwerdegegnerin habe daher dem Beschwerdeführer für den Zeitraum vom 16. Mai bis und mit 13. August 2007 die ganzen Taggelder auszurichten und einen Betrag von Fr. 8'064.-- nachzuzahlen. Zudem habe der Beschwerdeführer für die Zeit, in welcher er psychisch bedingt zu 90 % arbeitsunfähig gewesen sei, nur 45 % des Taggeldes erhalten, obwohl er gestützt auf seine 50%-ige Arbeitsunfähigkeit aufgrund seines Nervenleidens im Arm für die Zeit vom 18. Februar bis zum 25. Juni 2008 Anspruch auf 50 % des Taggeldes gehabt hätte. Dies ergebe einen Differenzbetrag von Fr. 1'586.70. Diese Erwägungen führten die Vorinstanz zur Gutheissung der Klage im Umfang von Fr. 9'650.70.
2.2 Die Vorinstanz kam sodann zum Ergebnis, entgegen der Meinung des Beschwerdeführers habe die Beschwerdegegnerin ihre Taggeldleistungen trotz des Eintritts eines neuen Versicherungsfalles per 15. November 2008 einstellen dürfen. In diesem Punkt akzeptiert der Beschwerdeführer das vorinstanzliche Urteil ausdrücklich, weshalb sich weitere Ausführungen dazu erübrigen.
3. 3.1 Die Geltung vorformulierter allgemeiner Geschäftsbedingungen wird gemäss der Rechtsprechung durch die Ungewöhnlichkeitsregel eingeschränkt. Danach sind von der global erklärten Zustimmung zu allgemeinen Vertragsbedingungen alle ungewöhnlichen Klauseln ausgenommen, auf deren Vorhandensein die schwächere oder weniger geschäftserfahrene Partei nicht gesondert aufmerksam gemacht worden ist. Der Verfasser von allgemeinen Geschäftsbedingungen muss nach dem Vertrauensgrundsatz davon ausgehen, dass ein unerfahrener Vertragspartner ungewöhnlichen Klauseln nicht zustimmt. Die Ungewöhnlichkeit beurteilt sich aus der Sicht des Zustimmenden im Zeitpunkt des Vertragsabschlusses. Für einen Branchenfremden können deshalb auch branchenübliche Klauseln ungewöhnlich sein. Die Ungewöhnlichkeitsregel kommt jedoch nur dann zur Anwendung, wenn neben der subjektiven Voraussetzung des Fehlens von Branchenerfahrung die betreffende Klausel objektiv beurteilt einen geschäftsfremden Inhalt aufweist. Dies ist dann zu bejahen, wenn sie zu einer wesentlichen Änderung des Vertragscharakters führt oder in erheblichem Masse aus dem gesetzlichen Rahmen des Vertragstypus fällt. Je stärker eine Klausel die Rechtsstellung des Vertragspartners beeinträchtigt, desto eher ist sie als ungewöhnlich zu qualifizieren (<ref-ruling> E. 2.1 S. 7; <ref-ruling> E. 1.3 S. 227 f.; je mit Hinweisen). Bei Versicherungsverträgen sind die berechtigten Deckungserwartungen zu berücksichtigen (vgl. Urteil 4A_187/2007 vom 9. Mai 2008 E. 5.4.2). Entsprechend wurde eine in allgemeinen Versicherungsbedingungen vorgesehene Haftungsbeschränkung als ungewöhnlich qualifiziert, welche die von der Bezeichnung des Vertrages erfasste Deckung erheblich reduzierte, so dass gerade die häufigsten Risiken nicht mehr gedeckt waren (Urteil 5C.134/2004 vom 1. Oktober 2004 E. 4.2). Die Ungewöhnlichkeit einer Klausel kann auch bejaht werden, wenn sie eine Ungleichbehandlung ohne sachlichen Grund vorsieht (vgl. Urteil 9C_3/2010 vom 31. März 2010 E. 3.1, nicht publ. in: <ref-ruling>).
3.2 Im kantonalen Verfahren machte der Beschwerdeführer geltend, die in Ziff. 2.2 Abs. 3 Satz 1 des Merkblattes zum Rahmenvertrag Nr. 1180 vorgesehene Leistungsreduktion bei psychischen Krankheiten verstosse gegen die Ungewöhnlichkeitsregel. Die Vorinstanz erwog dazu, die Ungleichbehandlung körperlicher und psychischer Krankheiten nach VVG sei in der Schweiz nicht sehr verbreitet. In objektiver Hinsicht sei die zur Diskussion stehende Regelung daher zumindest als "nicht gerade gewöhnlich" zu beurteilen. In einem anderen Fall habe die Vorinstanz bezüglich einer solchen Regelung die subjektive Ungewöhnlichkeit verneint, weil die versicherte Person selber Mitarbeiterin bei einer Krankenkasse gewesen sei. Der Beschwerdeführer gehöre zwar nicht der Versicherungsbranche an, verfüge jedoch als Zahnmediziner mit Erstausbildung als Arzt über einen überdurchschnittlichen Bildungsgrad. Zudem seien Mediziner in ihrem Beruf immer wieder mit Krankenversicherungen konfrontiert, weil sie ihre Patienten darüber informieren müssten, ob eine bestimmte Leistung von der Krankenkasse übernommen werde. Unter diesen Umständen sei die zur Diskussion stehende Regelung jedenfalls für den Beschwerdeführer persönlich nicht als ungewöhnlich zu beurteilen, weshalb sie anwendbar sei.
3.3 Der Beschwerdeführer ist der Meinung, die Vorinstanz habe die objektive Ungewöhnlichkeit zu Recht bejaht, da die Benachteiligung von psychisch gegenüber körperlich kranken Personen bei der Krankentaggeldversicherung diskriminierend sei. Dagegen habe die Vorinstanz die subjektive Ungewöhnlichkeit zu Unrecht verneint. Im Gegensatz zu einer Mitarbeiterin bei einer Krankenkasse befasse sich der Beschwerdeführer als Zahnarzt in seinem Berufsalltag nicht mit Krankenkassen, da er seine Leistungen den Patienten regelmässig privat in Rechnung stelle. Selbst Humanmediziner, welche im Beruf mit Krankenversicherungen konfrontiert seien, würden sich bezüglich der Krankentaggeldversicherung nicht speziell auskennen. Demnach sei im vorliegenden Fall auch die subjektive Ungewöhnlichkeit zu bejahen.
3.4 Das Bundesgericht prüft die Anwendung der Ungewöhnlichkeitsregel - gleich wie die Anwendung anderer Auslegungsgrundsätze - als Rechtsfragen frei (<ref-ruling> E. 2.2 S. 610). Es ist dabei an die Feststellungen der kantonalen Gerichte über die äusseren Umstände sowie das Wissen und Wollen der Beteiligten grundsätzlich gebunden (<ref-law>; <ref-ruling> E. 2.2.1 S. 67; <ref-ruling> E. 4 S. 28; je mit Hinweisen). Schlüsse, welche auf der allgemeinen Lebenserfahrung, das heisst auf Erfahrungsgrundsätzen beruhen, die über den konkreten Sachverhalt hinaus Bedeutung haben, überprüft das Bundesgericht jedoch als Rechtsfrage frei (<ref-ruling> E. 2b S. 258; Urteil 5A_311/2010 vom 3. Februar 2011 E. 1.3, nicht publ. in <ref-ruling>).
3.5 In tatsächlicher Hinsicht ist gemäss den Feststellungen der Vorinstanz davon auszugehen, dass in der Schweiz bei Krankentaggeldversicherungen eine Leistungsreduzierung um 50 % bei psychischen Krankheiten nicht verbreitet und damit nicht branchenüblich ist. Darüber hinaus verstösst eine solche Reduktion gegen die berechtigte Erwartung des Versicherten, bei allen Krankheiten, ob körperlicher oder psychischer Natur, seinen Verdienstausfall auf gleiche Weise gedeckt zu erhalten. Für ihn ist kein sachlicher Grund für je nach Art der Krankheit unterschiedlich hohe Taggelder ersichtlich. Demnach ist mit der Vorinstanz von der objektiven Ungewöhnlichkeit der vorgesehenen Leistungsreduktion bei psychischen Krankheiten auszugehen.
Der Beschwerdeführer ist auf diese Leistungsreduktion nicht gesondert aufmerksam gemacht worden. Auch wurde die Klausel nicht, zum Beispiel durch Fettdruck, speziell hervorgehoben.
Demnach stellt sich die Frage, ob der Beschwerdeführer aufgrund seiner besonderen Geschäftserfahrung mit einer solchen Klausel hätte rechnen müssen. Die Vorinstanz bejahte dies, weil sie annahm, wer über eine Ausbildung als Arzt bzw. Zahnarzt verfüge, könne hinsichtlich Krankenversicherungen nicht als geschäftsunerfahren gelten. Diese Schlussfolgerung, welche nicht auf einer Würdigung der konkreten Umstände, sondern allein auf allgemeiner Lebenserfahrung beruht, vermag nicht zu überzeugen. Zwar haben Ärzte und zum Teil auch Zahnärzte sich beruflich mit der Frage zu befassen, welche ihrer Leistungen durch Krankenversicherungen gedeckt sind. Die Frage, welchen Verdienstausfall eine Krankentaggeldversicherung ersetzt, betrifft dagegen nicht die ärztlichen Leistungen, weshalb Ärzte und Zahnärzte auf die Beantwortung entsprechender Fragen nicht vorbereitet sein müssen. Entgegen der Annahme der Vorinstanz kann daher aus dem blossen Umstand, dass der Beschwerdeführer über eine Ausbildung als Arzt und Zahnarzt verfügt, nicht abgeleitet werden, er sei hinsichtlich der Frage des Deckungsumfangs von Taggeldversicherungen besonders geschäftserfahren. Die objektiv ungewöhnliche Klausel betreffend die Reduktion des Leistungsumfangs der Taggeldversicherung bei psychischen Krankheiten kann somit auch gegenüber dem Beschwerdeführer keine Rechtswirkung entfalten.
3.6 Damit kann offen bleiben, ob diese Klausel überhaupt Vertragsbestandteil geworden ist, obwohl nach dem allgemeinen Sprachgebrauch unter "Merkblatt" eine Zusammenfassung der wichtigsten Punkte eines ausführlicheren Regelungstextes verstanden wird, die nach Treu und Glauben keine Änderungen der allgemeinen Bedingungen erwarten lässt, erst recht nicht, wenn wie vorliegend das Merkblatt als "Auszug aus den Allgemeinen Versicherungsbedingungen (MC04) und dem Rahmenvertrag" bezeichnet wird.
3.7 Da der Beschwerdeführer während der Leistungsdauer Anspruch auf ungekürzte Taggeldzahlungen gemäss seiner psychisch bedingten Arbeitsunfähigkeit hatte, kommt der geringeren körperlich bedingten Arbeitsunfähigkeit keine entscheiderhebliche Bedeutung zu.
4. 4.1 Die Vorinstanz erwog, entgegen der Auffassung des Beschwerdeführers sei über die Widerklage nicht bereits damit rechtskräftig entschieden worden, dass die IV-Stelle mit Verfügung vom 25. Mai 2009 den von der Beschwerdegegnerin verlangten Rückforderungsbetrag nicht an sie ausbezahlt habe und die Beschwerdegegnerin diese Verfügung nicht angefochten habe.
4.2 Der Beschwerdeführer erhebt auch vor Bundesgericht bezüglich der Widerklage den Einwand der abgeurteilten Sache (res iudicata). Zur Begründung bringt er vor, die IV-Stelle habe mit Verfügung vom 25. Mai 2009 eine Direktzahlung an die Beschwerdegegnerin abgelehnt und damit einen Anspruch auf Rückforderungen von Taggeldleistungen rechtskräftig verneint.
4.3 Die Rüge ist unbegründet. Ob und in welchem Umfang eine Versicherung eine Rückerstattungsforderung gegenüber einem Versicherten hat, ist im Streitfall im Verfahren zwischen der Versicherung und der versicherten Person zu entscheiden. Die Verfügung einer IV-Stelle über ein Gesuch um direkte Auszahlung an die Versicherung betrifft lediglich den Auszahlungsmodus, weshalb ihr hinsichtlich des Bestands und des Umfangs des Rückerstattungsanspruchs der Versicherung keine Rechtskraftwirkung zukommt (Urteil I 296/03 vom 21. Oktober 2004 E. 4.2; vgl. auch <ref-ruling> E. 2; Urteil P 1/05 vom 11. Januar 2006 E. 2 und 4.3, nicht publ. in <ref-ruling>). Demnach kann entgegen der Meinung des Beschwerdeführers daraus, dass die Beschwerdegegnerin eine ihr Gesuch um Auszahlung an sie ablehnende Verfügung der IV nicht angefochten hat, kein konkludenter Verzicht auf die Geltendmachung einer Überentschädigung abgeleitet werden. Die nachträgliche Forderung auf Rückzahlung einer Überentschädigung stellt damit kein widersprüchliches Verhalten dar und verstösst entgegen der nicht näher begründeten Behauptung des Beschwerdeführers offensichtlich nicht gegen den Grundsatz von Treu und Glauben gemäss <ref-law>. Dies brauchte die Vorinstanz nicht ausdrücklich zu erwähnen, weshalb sich die Rüge des Beschwerdeführers, sie habe insoweit die aus dem rechtlichen Gehör abgeleitete Begründungspflicht verletzt, als unbegründet erweist.
5. 5.1 Die Vorinstanz erwog, Art. D10 4 Abs. 1 AVB MC 04 enthalte eine so genannte Komplementärklausel, durch welche die Sozialversicherungsleistungen durch die Krankentaggelder des Zusatzversicherers bis zur Obergrenze des in der Police vereinbarten Taggeldes ergänzt würden. Danach sei derjenige Teil der Rente anrechenbar, welcher den Erwerbsausfall entschädige. Einer Anrechnung der Invalidenrente inklusive Kinderrente stehe im vorliegenden Fall also nichts entgegen.
5.2 Der Beschwerdeführer rügt, diese Auffassung widerspreche der Regelung in Art. D10 4 AVB MC 04. Diese sehe im dritten Absatz lediglich ein direktes Rückforderungsrecht gegenüber der IV vor, die nachträglich Leistungen erbringe, jedoch kein Rückforderungsrecht gegenüber dem Versicherten. Ausgerichtete Taggelder könnten daher nur mit Bezug auf die nachträglichen Leistungen der IV als Vorschussleistungen qualifiziert werden. Wenn die IV keine nachträglichen Leistungen erbringe oder den Bestand des direkten Rückforderungsrechts ablehne, lägen auch keine Vorschussleistungen vor. Darauf ziele auch die Passage in Absatz 1 hin, wonach die Z._ AG oder ihre Rechtsnachfolgerin ihre Leistungszahlung davon abhängig mache, dass der IV der Fall gemeldet worden ist und die Anmeldung nicht zurückgezogen werde.
5.3 Aus Art. D10 4 Abs. 1 AVB MC 04 ergibt sich klar, dass die Versicherung die Leistungen der IV bis zur Höhe des vereinbarten Taggeldes ergänzt, und damit eine so genannten Komplementärklausel vorliegt (vgl. <ref-ruling> E. 1). Daran vermag nichts zu ändern, dass die Versicherung ihre Leistungszahlungen davon abhängig macht, dass der Fall der IV gemeldet worden ist. Diese Voraussetzung will bloss verhindern, dass der Versicherte die Meldung bei der IV unterlässt, weil er bereits von der Krankentaggeld-Versicherung Leistungen erhält. An diesem Grundsatz ändert die in Art. D10 4 Abs. 2 und 3 AVB (MC 04) vorgesehene Abtretung von Forderungen des Versicherten auf Nachzahlungen der IV nichts. Diese Abtretung bezweckt offensichtlich die Ermöglichung der direkten Leistung von Nachzahlungen der IV an die vorschussleistende Versicherung, welche diese Nachzahlungen ohnehin vom Versicherten wieder zurückverlangen könnte. Nach dem Gesagten erweist sich die Regelung bezüglich der Anrechnung der Leistungen der IV als eindeutig, weshalb die vom Beschwerdeführer angerufene Unklarheitsregel nicht zur Anwendung gelangt (vgl. <ref-ruling> E. 2d S. 124). Da der Beschwerdeführer die vorliegende Komplementärklausel nach Treu und Glauben auch ohne spezielle Kenntnisse des Versicherungsrechts dahin verstehen musste, dass die Beschwerdegegnerin lediglich die Leistungen der Sozialversicherung bis zur Höhe des versicherten Taggeldbetrages ergänzt, hat die Vorinstanz mit ihrer Auslegung auch nicht gegen das Vertrauensprinzip verstossen.
6. 6.1 Die Vorinstanz ging davon aus, die vorgesehene Komplementärklausel falle nicht unter die Ungewöhnlichkeitsregel, da sie immer wieder vorkomme.
6.2 Der Beschwerdeführer bringt vor, die Vorinstanz habe übersehen, dass für ihn als Zahnarzt ohne genügende Kenntnisse der Versicherungsbranche auch branchenübliche Klauseln ungewöhnlich sein könnten. Er habe nach dem Vertrauensprinzip nicht mit einer die Leistungspflicht einschränkenden Komplementärklausel rechnen müssen. Diese stehe im Widerspruch zu den in der Police versprochenen Leistungen, welche bei einer 100%-igen Arbeitsunfähigkeit Taggelder von Fr. 87'600.-- pro Jahr vorsähen.
6.3 Der Beschwerdeführer legt nicht dar und es ist nicht ersichtlich, inwiefern eine Komplementärklausel zu einer wesentlichen Änderung des Vertragscharakters führen oder in erheblichem Masse aus dem gesetzlichen Rahmen des Vertragstypus fallen soll. Auch kann nicht gesagt werden, dass die berechtigten Erwartungen bezüglich des vereinbarten Taggeldes enttäuscht werden, da dieses ausbezahlt und bloss ein zusätzlicher Anspruch auf Invalidenrenten ausgeschlossen wird. Demnach hat die Vorinstanz kein Bundesrecht verletzt, wenn sie bezüglich der Komplementärklausel die objektive Ungewöhnlichkeit verneinte.
7. Nach dem Gesagten ist die Beschwerde bezüglich der Reduktion der Taggelder auf Grund der psychischen Natur der Krankheit des Beschwerdeführers gutzuheissen. Da die Grundlagen zur entsprechenden Neuberechnung der Taggelder im angefochtene Urteil fehlen, ist die Sache zu neuer Entscheidung an die Vorinstanz zurückzuweisen. Dagegen ist die Beschwerde abzuweisen, soweit damit die Abweisung der Widerklage verlangt wird. Bei diesem Ausgang rechtfertigt es sich, die Gerichtskosten den Parteien je zur Hälfte aufzuerlegen (<ref-law>). Die teilweise unterliegende Beschwerdegegnerin hat dem Beschwerdeführer eine reduzierte Parteientschädigung auszurichten (<ref-law>). Der nicht anwaltlich vertretenen Beschwerdegegnerin ist keine Parteientschädigung zuzusprechen, da ihr kein ausserordentlicher Aufwand entstanden ist (Art. 68 Abs. 1 und 2 BGG; Art. 1 lit. a und b des Reglements über Parteientschädigung, SR 173.110.210.3; vgl. auch <ref-ruling> E. 4 S. 446 mit Hinweis).

Demnach erkennt das Bundesgericht:
1. In teilweiser Gutheissung der Beschwerde wird das Urteil des Sozialversicherungsgerichts des Kantons Zürich vom 30. November 2011 aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2. Die Gerichtskosten von Fr. 5'000.-- werden den Parteien je zur Hälfte auferlegt.
3. Die Beschwerdegegnerin hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung von Fr. 3'000.-- zu bezahlen.
4. Dieses Urteil wird den Parteien und dem Sozialversicherungsgericht des Kantons Zürich, I. Kammer, schriftlich mitgeteilt.
Lausanne, 30. Mai 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Gelzer