Faits:
A. Y._, employé de chantier au service de l'entreprise A._ SA, est au bénéfice, dès le 1er janvier 2001, d'une assurance collective conclue avec la société d'assurances B._, devenue X._ SA, qui lui assure une indemnité journalière en cas de maladie couvrant 80% du salaire brut journalier durant 730 jours, avec un délai d'attente de 30 jours. Il s'agit d'une assurance complémentaire à l'assurance sociale.
Le 18 avril 2001, Y._ a été victime d'un accident professionnel, à savoir de la chute d'un camion sur un chantier. Il a présenté ensuite différents troubles et allègue qu'il est dans l'incapacité de travailler pour cause de maladie.
B. Par demande du 11 avril 2006, Y._ a ouvert action devant le Tribunal des assurances du canton de Vaud et conclu, avec suite de frais et dépens, à ce que X._ SA soit tenue de lui verser une indemnité journalière de 123 fr.95 dès le 14 janvier 2002 et jusqu'à épuisement des prestations contractuellement prévues, sous déduction des sommes versées directement par l'employeur A._ SA. En conséquence, il a conclu au paiement immédiat de la somme de 72'386 fr.80 avec intérêts à 5% l'an dès le 14 janvier 2002.
X._ SA a conclu au rejet de la demande avec suite de dépens.
De nombreux avis médicaux ont été versés au dossier, en particulier celui du Dr. V._, mandaté par l'assurance, qui a conclu à un trouble factice n'entraînant aucune incapacité de travail, et celui du Dr.W._, mandaté par l'assuré, qui a conclu à une incapacité totale de travailler depuis le 18 avril 2001 en raison de plusieurs troubles, notamment un syndrome douloureux somatoforme persistant.
Alors que l'assuré avait sollicité une expertise judiciaire, l'assurance a fait savoir qu'elle ne jugeait pas utile d'interroger les médecins et que l'instruction de la cause lui paraissait complète sur le plan médical.
Par jugement du 22 décembre 2009, la Cour des assurances sociales du Tribunal cantonal vaudois a retenu que l'assuré souffrait d'un trouble somatoforme douloureux, qui constituait une affection de nature psychique, et que cette maladie provoquait une incapacité de travailler. Elle a donc estimé que l'assuré avait en principe droit à la somme de 72'386 fr.80 avec intérêts à 5% l'an dès le 28 mars 2003. Elle a cependant considéré qu'il ne se justifiait pas de faire pleinement droit aux conclusions du demandeur et elle a ordonné le renvoi de la cause à l'assurance, afin que celle-ci fixe les modalités d'octroi des prestations dues en tenant compte des prestations qui, pour la période à indemniser, auraient été servies au demandeur par d'autres institutions ou assureurs sociaux, ceci en raison d'une clause de subsidiarité figurant dans les conditions générales d'assurance.
C. X._ SA exerce un recours en matière civile au Tribunal fédéral contre le jugement du 22 décembre 2009 et, subsidiairement, un recours constitutionnel. Invoquant l'art. 29 al. 1 Cst., elle soutient que la cour cantonale a commis un déni de justice formel en lui renvoyant la cause plutôt que de statuer elle-même sur les imputations éventuelles et sur la somme due entre les parties. Elle se plaint d'une constatation manifestement inexacte des faits (art. 97 al. 1 LTF), d'une appréciation arbitraire des preuves (art. 9 Cst.) et d'une violation des règles sur le fardeau de la preuve (art. 8 CC), critiquant en définitive la manière dont les preuves ont été appréciées pour parvenir à la conclusion que l'assuré souffrait d'une maladie entraînant une incapacité de travail. Elle a conclu à l'annulation de l'arrêt attaqué avec suite de frais et dépens, subsidiairement au renvoi de la cause au Tribunal cantonal pour nouveau jugement.
L'intimé a conclu sommairement au rejet du recours avec suite de frais et dépens.
Considérant en droit:
1. 1.1 Interjeté par la partie qui a succombé dans ses conclusions libératoires (art. 76 al. 1 LTF) et dirigé contre un jugement final (en ce sens qu'il a mis fin à la procédure devant le tribunal étatique: art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (art. 74 al. 1 let. b LTF), le recours en matière civile est en principe recevable, puisqu'il a été déposé dans le délai (art. 46 al. 1 let. c, 48 al. 1 et 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
Dès lors que la valeur litigieuse est suffisante pour un recours en matière civile (cf. art. 51 al. 1 let. a et 74 al. 1 let. b LTF), il en résulte que le recours constitutionnel, qui est subsidiaire (art. 113 LTF), n'est pas ouvert. Il doit être rappelé qu'il est possible d'invoquer, dans un recours en matière civile, la violation des droits constitutionnels des citoyens (ATF 134 III 379 consid. 1.2 p. 382).
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés par le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 135 III 397 consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 III 397 consid. 1.4 p. 400).
Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (ATF 135 III 127 consid. 1.5 p. 130, 397 consid. 1.5 p. 401; 135 II 145 consid. 8.1 p. 153) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 133 IV 286 consid. 1.4 et 6.2). Si la partie recourante invoque l'arbitraire dans l'appréciation des preuves et l'établissement des faits, elle doit montrer, par une argumentation précise en se référant si possible aux pièces du dossier, que la décision cantonale est insoutenable (arrêt 4A_621/2009 du 25 février 2010 consid. 1.4). Encore faut-il que la correction demandée soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau, ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
S'il admet le recours, le Tribunal fédéral peut soit statuer lui-même sur le fond comme pouvait le faire l'autorité précédente, soit renvoyer la cause à l'autorité qui a statué pour que celle-ci prenne une nouvelle décision (art. 107 al. 2 LTF).
2. 2.1 Invoquant l'art. 29 al. 1 Cst., la recourante se plaint d'un déni de justice formel.
Tel qu'il est présenté, ce grief est de nature à entraîner d'emblée l'annulation de la décision attaquée, de sorte qu'il doit être examiné en premier lieu.
La notion de déni de justice, qui avait été développée au sujet de l'ancien art. 4 Cst., garde toute sa valeur et doit être considérée désormais comme englobée dans l'art. 29 al. 1 Cst. (arrêt 5P.205/2002 du 24 octobre 2002 consid. 2.1; arrêt 1P.617/1999 du 31 janvier 2000 consid. 4b).
Une autorité commet un déni de justice formel si elle n'entre pas en matière sur une cause qui lui est soumise, dans le délai et les formes requis, alors qu'elle doit en connaître (ATF 135 I 6 consid. 2.1 p. 9; 134 I 229 consid. 2.3 p. 232).
2.2 En l'espèce, il ressort des constatations cantonales (art. 105 al. 1 LTF) que les parties ont conclu un contrat d'assurance complémentaire au sens de l'art. 12 al. 2 de la Loi fédérale du 18 mars 1994 sur l'assurance-maladie (LAMal; RS 832.10), de sorte que le rapport juridique en cause relève de la Loi fédérale du 2 avril 1908 sur le contrat d'assurance (LCA; RS 221.229.1) (ATF 133 III 439 consid. 2.1 p. 441 s.).
Dans un tel rapport juridique, il appartient au juge de statuer sur les contestations qui s'élèvent notamment entre un assureur et un assuré (art. 85 al. 1 de la Loi fédérale du 17 décembre 2004 sur la surveillance des assurances [LSA]; RS 961.01).
A la différence du régime établi pour les assurances sociales, l'assureur n'a, dans ce cas, aucun pouvoir de trancher lui-même les contestations par ses propres décisions et il n'est donc pas astreint aux obligations qui accompagnent normalement un pouvoir de ce genre (arrêt 4A_563/2008 du 10 février 2009 consid. 2).
2.3 Dès lors que le demandeur concluait à la condamnation de sa partie adverse à lui payer une somme déterminée, il était en droit d'obtenir une décision exécutoire sur ce point, qu'il puisse faire valoir, le cas échéant, par la voie de l'exécution forcée. De la même manière, la partie défenderesse pouvait s'attendre à ce que le litige qui divise les parties soit tranché par une décision judiciaire définitive. Chacune des parties était donc en droit d'exiger du juge qu'il épuise sa compétence.
En l'espèce, la cour cantonale a clairement failli à son devoir, puisqu'elle n'a pas statué sur la somme due entre les parties, réservant la possibilité de procéder à des imputations. Elle s'est finalement limitée à renvoyer à l'assureur le soin de rendre la décision définitive sur la somme due. Cette manière de se décharger sur une partie du fardeau de la décision à rendre constitue clairement, de la part de l'autorité, un déni de justice.
En conséquence, le recours doit être admis et la décision attaquée annulée. La cause doit être renvoyée à l'autorité précédente pour qu'elle épuise sa compétence et statue sur la somme due entre les parties. Ce n'est qu'à ce moment que l'on sera en présence, matériellement, d'une décision finale que les parties pourront attaquer devant le Tribunal fédéral.
Il n'y a donc pas lieu d'entrer en matière sur les griefs concernant le fond, puisque la recourante pourra les faire valoir, sans aucun préjudice irréparable, contre la nouvelle décision à rendre. Cette solution s'impose d'autant plus qu'il n'est pas exclu, du moins en théorie, que les imputations couvrent entièrement la prétention et qu'il n'y ait plus d'intérêt au recours.
3. Les frais judiciaires et les dépens sont mis à la charge de la partie qui qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et l'arrêt attaqué est annulé.
La cause est renvoyée à l'autorité précédente pour rendre une nouvelle décision.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge de l'intimé.
3. L'intimé versera à la recourante une indemnité de 2'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud.
Lausanne, le 29 avril 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget