Faits:
A. X._ était au bénéfice, depuis le 1er novembre 1995, d'une assurance complémentaire à l'assurance-maladie obligatoire dont la police prévoyait le paiement, en cas de perte de gain due à la maladie, d'une indemnité journalière de 138 fr., payable dès le 31e jour d'incapacité de travail et durant au maximum 720 jours dans une période de 900 jours consécutifs. Selon les conditions générales, l'indemnité devait être versée proportionnellement au taux d'incapacité de travail.
L'art. 5 al. 3 et 4 des conditions générales prévoit:
"Si l'assuré est au bénéfice des prestations de la Caisse nationale suisse d'assurance en cas d'accidents, de l'Assurance militaire fédérale ou de l'Assurance invalidité fédérale, la Compagnie verse la part du salaire non couverte par ces institutions, mais au maximum l'allocation journalière assurée. Les éventuelles réductions opérées par les institutions précitées n'augmentent pas les obligations de la Compagnie (al. 3);
Lorsque les institutions mentionnées au 3e alinéa ci-dessus versent leurs prestations avec effet rétroactif ou que l'assuré avertit tardivement la Compagnie qu'il bénéficie de telles prestations, l'assuré est tenu de restituer à la Compagnie la part des allocations journalières qui dépasse le salaire effectivement perdu compte tenu des prestations de ces institutions (al. 4)".
Les conditions particulières précisent que l'indemnité n'est pas versée si l'incapacité de travail est inférieure à 50%.
X._ a été victime d'un accident dans son activité de chauffeur-livreur. Sur la base des renseignements fournis par le Dr A._, la compagnie d'assurances a versé au preneur d'assurance des indemnités journalières, d'abord de 100% puis de 50%, pendant la période du 23 septembre 1998 au 22 août 2000.
Par un arrêt du 1er juin 2005 entré en force, la Cour civile du Tribunal cantonal vaudois a condamné la compagnie d'assurances à verser une somme complémentaire à X._, estimant, pendant la période indiquée, qu'il devait être indemnisé plus longuement à 100% et moins longuement à 50%. La cour cantonale a relevé qu'aucune décision formelle n'avait encore été prise au sujet d'une rente AI.
Une première demande de la compagnie d'assurances tendant à la restitution partielle des indemnités journalières pour cause de surindemnisation résultant des rentes versées par l'AI a été rejetée par un arrêt du 6 septembre 2006 de la Chambre des recours du Tribunal cantonal vaudois pour le motif que la compagnie d'assurances n'avait pas apporté d'éléments de fait nouveaux par rapport à l'arrêt rendu le 1er juin 2005 par la Cour civile, qui était revêtu de l'autorité de chose jugée.
Par trois décisions du 24 novembre 2006, l'Office de l'assurance- invalidité a mis X._ au bénéfice d'une rente partielle d'invalidité couvrant notamment la période pendant laquelle celui-ci a reçu des indemnités journalières de la compagnie d'assurances.
B. Se fondant sur ces trois décisions, la compagnie d'assurances a déposé, le 24 janvier 2007, une demande en restitution partielle des indemnités journalières devant le Tribunal des assurances du canton de Vaud, réclamant à X._ la somme de 29'314 fr.74 avec intérêts à 5% l'an dès le 26 novembre 2002.
L'exception de chose jugée soulevée par le défendeur a été définitivement écartée par un arrêt rendu le 2 novembre 2007 par la Chambre des recours, qui est entré en force.
Tenant compte des rentes AI versées pour la période litigieuse à la suite des décisions du 24 novembre 2006 et après avoir refait les calculs, la Cour des assurances sociales du Tribunal cantonal vaudois a, par arrêt du 15 septembre 2009, condamné X._ à payer à l'assurance Y._ la somme de 21'783 fr.35 avec intérêts au taux de 5% l'an dès le 26 janvier 2006 avec suite de dépens.
C. X._ exerce, par un seul et même acte, un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral contre l'arrêt du 15 septembre 2009. Invoquant une application arbitraire des règles cantonales sur la compétence, une violation de son droit d'être entendu sous la forme d'un état de fait incomplet et une violation de l'<ref-law>, il conclut, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et au rejet de la demande en paiement formée par la compagnie d'assurances.
L'intimée a conclu au rejet du recours avec suite de frais et dépens.

Considérant en droit:
1. 1.1 Le litige porte sur la restitution d'indemnités journalières pour perte de gain versées par la compagnie d'assurances qui excéderaient les droits de l'assuré. Savoir si celui-ci avait droit ou non à ces prestations dépend du contrat d'assurance en vertu duquel elles ont été versées. Or, il s'agit d'une assurance complémentaire à l'assurance-maladie obligatoire. Un tel contrat ne relève pas du droit des assurances sociales, mais du droit privé (Loi fédérale du 2 avril 1908 sur le contrat d'assurance; LCA; RS 221.229.1), de sorte que la voie de recours ordinaire au Tribunal fédéral est celle du recours en matière civile (<ref-ruling> consid. 2.1 p. 441 s.).
1.2 S'agissant d'une affaire pécuniaire qui ne porte ni sur le droit du travail ni sur le droit du bail à loyer, le recours n'est recevable que si la valeur litigieuse - déterminée selon le capital réclamé dans les dernières conclusions devant l'autorité précédente (<ref-law>) - s'élève au moins à 30'000 fr. (<ref-law>).
Or, il résulte des constatations cantonales (<ref-law>), que les dernières conclusions de la compagnie d'assurances en instance cantonale, entièrement contestées, s'élevaient, en capital, à 29'314 fr.74. En conséquence, la valeur litigieuse minimale n'est pas atteinte, ce que le recourant ne conteste d'ailleurs pas.
1.3 Le recourant soutient que le recours en matière civile est néanmoins recevable, en raison de l'exception formulée à l'<ref-law>, la contestation soulevant deux questions juridiques de principe.
La contestation soulève une question juridique de principe au sens de l'<ref-law> s'il est nécessaire, pour résoudre le cas d'espèce, de trancher une question juridique qui donne lieu à une incertitude caractérisée, laquelle appelle de manière pressante un éclaircissement de la part du Tribunal fédéral, en tant qu'autorité judiciaire suprême chargée de dégager une interprétation uniforme du droit fédéral (<ref-ruling> consid. 1.2 p. 399).
Il incombe au recourant qui se prévaut de cette disposition d'expliquer de manière précise en quoi la contestation soulèverait une question juridique de principe (art. 42 al. 2 2ème phrase LTF). Il convient donc d'examiner les deux raisons pour lesquelles, selon le recourant, la contestation soulèverait une telle question.
1.3.1 Le recourant soutient qu'il faut trancher la question, utile pour un nombre indéterminé de cas futurs, de savoir si la Cour des assurances sociales du Tribunal cantonal vaudois est compétente pour juger d'un litige portant sur une assurance complémentaire à l'assurance-maladie obligatoire.
Déterminer sur le plan cantonal quel est le tribunal compétent ratione materiae pour connaître d'un certain type de litiges est - au moins s'il n'existe aucune règle contraignante de droit fédéral - une question qui relève exclusivement du droit cantonal (art. 122 al. 2 Cst.). Or, le recours en matière civile n'est pas ouvert pour se plaindre de la violation de ce droit (cf. art. 95 et 96 LTF; <ref-ruling> consid. 2.3 p. 466). Certes, il est possible d'invoquer le droit de ne pas être traité arbitrairement par le juge suisse, garanti par l'art. 9 Cst., mais, dans ce cas, le Tribunal fédéral ne recherche pas quelle est la juste application du droit cantonal; il se borne à examiner si celui-ci n'a pas été violé arbitrairement (cf. <ref-ruling> consid. 1.2 p. 382 s.; <ref-ruling> consid. 1 p. 203; <ref-ruling> consid. 2.3 p. 466).
Pour ouvrir exceptionnellement la voie du recours en matière civile en application de l'<ref-law>, il faut que la question juridique présentée se rapporte à un domaine du droit qui est soumis au contrôle du Tribunal fédéral; autrement dit, la question doit se rapporter à une norme dont la violation est un motif de recours au Tribunal fédéral en vertu des art. 95 et 96 LTF (Message du 28 février 2001 concernant la révision totale de l'organisation judiciaire fédérale, FF 2001 4108 ch. 4.1.3.1). Si la question concerne une norme de droit cantonal que le Tribunal fédéral ne peut pas revoir librement, il ne saurait rendre à ce sujet une décision de principe; si son pouvoir d'examen est limité à la violation des droits constitutionnels, il suffit que le recourant interjette un recours constitutionnel subsidiaire et une dérogation à l'exigence de la valeur litigieuse ne se justifie pas (<ref-ruling> consid. 1.3 p. 187 s.).
Comme la question de la compétence de la Cour des assurances sociales du Tribunal cantonal relève exclusivement du droit cantonal et ne peut être examinée que sous l'angle restreint de l'arbitraire, il n'y a pas lieu de recevoir le recours sur la base de l'<ref-law>.
1.3.2 Le recourant soutient que la contestation pose une question juridique de principe, parce qu'il faut déterminer s'il fallait attendre une décision formelle de l'assurance-invalidité pour faire courir le délai de prescription prévu par l'<ref-law>.
En réalité, les règles qui régissent le point de départ du délai de prescription de l'<ref-law> - largement identiques à celles dégagées au sujet de l'<ref-law> - sont bien connues et le recourant ne pose aucune question nouvelle. Il s'agit de déterminer à partir de quel moment l'intimée a disposé de données factuelles suffisantes pour fonder sérieusement son action en justice (cf. <ref-ruling> consid. 3 p. 407). Comme le montre d'ailleurs les deux compléments de fait que le recourant voudrait apporter, il faut déterminer dans le cas d'espèce à partir de quel moment l'intimée a disposé des informations suffisantes.
Il n'y a pas lieu d'appliquer l'<ref-law> lorsque les principes juridiques sont clairs, mais que la difficulté réside dans leur application au cas d'espèce (cf. <ref-ruling> consid. 1.2 p. 496).
1.4 En conséquence, le recours ne pose pas une question juridique de principe au sens de l'<ref-law>, de sorte que le recours en matière civile doit être déclaré irrecevable, faute d'atteindre la valeur litigieuse exigée par l'<ref-law>.
2. 2.1 Il faut donc examiner le recours constitutionnel subsidiaire (<ref-law>) formé dans le même mémoire (<ref-law>).
2.2 Interjeté par la partie qui a succombé dans ses conclusions libératoires (<ref-law>) et dirigé contre un arrêt final (<ref-law> applicable par le renvoi de l'<ref-law>) par une autorité cantonale de dernière instance (<ref-law> applicable par le renvoi de l'<ref-law>), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 48 al. 1, 100 al. 1 et 117 LTF) et la forme (<ref-law>) prévus par la loi.
2.3 Ce recours ne peut être formé que pour violation des droits constitutionnels (<ref-law>).
Quand il s'agit de droits constitutionnels, le Tribunal fédéral n'applique pas le droit d'office et il ne peut entrer en matière que dans la mesure où un grief constitutionnel a été invoqué et suffisamment motivé dans l'acte de recours (art. 117 et 106 al. 2 LTF).
Le recourant invoque une mauvaise application de l'<ref-law> et soulève donc une question de droit matériel fédéral. Il n'invoque cependant pas, en relation avec ce grief, une quelconque violation d'un droit constitutionnel d'un citoyen. Dès lors qu'aucun droit constitutionnel n'a été régulièrement invoqué, il n'y a pas lieu d'entrer en matière sur ce grief.
2.4 Saisi d'un recours constitutionnel subsidiaire, le Tribunal fédéral doit statuer sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si les faits ont été établis en violation d'un droit constitutionnel (<ref-law>).
Le recourant critique l'état de fait contenu dans l'arrêt cantonal en invoquant, comme l'exige l'<ref-law>, la violation d'un droit constitutionnel, à savoir la violation de l'art. 29 al. 2 Cst. qui garantit le droit d'être entendu. Tel qu'il est formulé, ce grief constitutionnel montre clairement que le recourant voudrait compléter l'état de fait devant le Tribunal fédéral, comme le permet l'<ref-law>, pour l'examen de son grief concernant la violation de l'<ref-law>. Or, comme ce grief est lui-même irrecevable, il n'y a plus aucun intérêt à compléter l'état de fait pour discuter de l'application de l'<ref-law>. Même s'il est vrai que l'<ref-law> n'a pas repris le texte de l'<ref-law>, il faut néanmoins admettre qu'un intérêt à recourir est nécessaire (<ref-law>) et qu'il n'y a pas lieu d'entrer en matière sur un éventuel complètement de l'état de fait, alors que celui-ci ne peut pas influencer le sort de la cause devant le Tribunal fédéral, où seul le grief d'incompétence de la cour cantonale peut être examiné en l'espèce.
2.5 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 117 et 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 117 et 99 al. 2 LTF).
3. 3.1 Le seul grief valablement présenté dans le recours constitutionnel subsidiaire est donc celui d'arbitraire dans l'application des règles cantonales de compétence.
Selon la jurisprudence, l'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable; le Tribunal fédéral n'annulera la décision attaquée que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité. Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (<ref-ruling> consid. 1.3 p. 4; <ref-ruling> consid. 3.1 p. 265 s.).
3.2 Pour admettre sa compétence, la cour cantonale s'est référée à l'art. 1 du Décret du 20 mai 1996 relatif à l'attribution au Tribunal cantonal des assurances de la compétence du contentieux des assurances complémentaires à l'assurance-maladie (RSV 173.431), ainsi qu'à la jurisprudence et la doctrine cantonales qu'elle a citées. Constatant qu'il en résultait que ce type de litiges relevait de la compétence du Tribunal cantonal des assurances et que la Cour des assurances sociales avait repris les dossiers de cette juridiction et lui a succédé, la cour cantonale a conclu qu'elle était compétente pour en connaître.
Le recourant ne conteste pas que le décret en question soit encore en vigueur. Il ne remet pas davantage en question le fait que la Cour des assurances sociales du Tribunal cantonal a succédé à l'ancien Tribunal cantonal des assurances. Il ne cite aucune disposition nouvelle qui traiterait du cas des assurances complémentaires à l'assurance-maladie obligatoire et donnerait à penser que ces litiges relèveraient de la compétence d'une autre juridiction vaudoise. Les assurances complémentaires à l'assurance obligatoire relèvent du droit privé, tandis que l'assurance-maladie relève du droit social; il s'agit manifestement d'une situation particulière, qui pose problème aussi bien sous l'angle des voies de droit que sous l'angle de la compétence. Il est tout aussi soutenable, sous l'angle de l'arbitraire, de dire que les assurances complémentaires, en raison de leur nature privée, doivent être confiées au juge civil que d'affirmer qu'elles doivent, par attraction liée à la connexité, être confiées au juge des assurances sociales. Dès lors qu'il existe, dans le canton de Vaud, un décret particulier pour cette question, non abrogé, dont on déduit que la compétence appartient au Tribunal cantonal des assurances, on ne voit pas que la cour cantonale ait appliqué arbitrairement le droit cantonal en décidant de suivre cette règle établie, tout en observant que la Cour des assurances sociales du Tribunal cantonal a succédé à l'ancien Tribunal cantonal des assurances.
Le raisonnement adopté par la cour cantonale échappe au grief d'arbitraire et le recours, dans la mesure où il est recevable, doit donc être rejeté.
4. Les frais judiciaires et les dépens sont mis à la charge de la partie qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière civile est irrecevable.
2. Le recours constitutionnel subsidiaire est rejeté dans la mesure où il est recevable.
3. Les frais judiciaires fixés à 2'000 fr. sont mis à la charge du recourant.
4. Le recourant versera à l'intimée une indemnité de 2'500 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux parties et à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud.
Lausanne, le 4 janvier 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget