Faits:
A. Le 30 novembre 1998, A._ SA a conclu avec B._ Sàrl - société exploitée notamment par X._ - une police d'assurance invalidité avec effet au 1er novembre 1998 prévoyant, en faveur de X._, une rente annuelle de 75'000 fr. en cas d'incapacité de gain, due après un délai d'attente de vingt-quatre mois, payable au maximum jusqu'au 1er février 2020.
Le 17 décembre 1998, Y._ SA (ci-après: l'assurance) a conclu avec B._ Sàrl un contrat d'assurance collective perte de gain maladie dont l'entrée en vigueur a été fixée au 1er janvier 1999 et dont X._ (ci-après: l'assuré) était l'un des bénéficiaires; aux termes du contrat, l'allocation journalière, qui représentait 100 % du salaire, était stipulée payable dès le quinzième jour; le salaire annuel convenu pour l'assuré était de 90'000 fr.; cette assurance était en outre régie par les conditions générales (ci-après: CGA) dans leur édition de janvier 1996; la couverture d'assurance était étendue au risque d'accident s'agissant de l'assuré; cette extension était régie par les conditions générales complémentaires (ci-après: CGC) n° 1060 dans leur édition de juillet 1992.
L'art. 8 CGA disposait notamment ce qui suit :
"8. Objet
1 En cas d'incapacité totale de travail, la Compagnie verse l'allocation journalière assurée dès l'expiration du délai d'attente indiqué dans la police.
2 En cas d'incapacité partielle de travail l'allocation journalière assurée est versée proportionnellement; toutefois, une incapacité de travail inférieure à 25 % ne donne droit à aucune prestation; si l'incapacité de travail atteint ou dépasse 66 2/3 % et que l'assuré est au bénéfice de prestations de prévoyance professionnelle, l'allocation journalière assurée est versée entièrement."
Le 17 septembre 1999, l'assuré a été victime d'une chute; l'assurance lui a versé quatre cent cinquante-sept indemnités journalières, du 2 octobre 1999 au 31 décembre 2000.
B. Le 23 décembre 2003, l'assuré a assigné l'assurance devant la Cour civile du Tribunal cantonal vaudois - qui a reporté la cause devant le Tribunal des assurances - en paiement de la somme de 90'000 fr. avec intérêt à 5 % l'an dès la date de la demande, prétention qu'il a ultérieurement réduite à 71'538 fr. 25 avec intérêt à 5 % l'an dès le 1er octobre 2000, échéance moyenne.
Par jugement du 24 septembre 2009, la Cour des assurances sociales du Tribunal cantonal vaudois - qui avait entre-temps remplacé le Tribunal des assurances - a prononcé que l'assurance devait payer à l'assuré la somme de 54'554 fr. 50 avec intérêt à 5 % l'an dès le 24 octobre 2002, ainsi que la somme de 1'500 fr. à titre de dépens.
En bref, elle a considéré qu'en rapport avec l'accident du 17 septembre 1999, qui avait entraîné une incapacité de travail d'au moins 75 %, l'assuré avait encore droit à deux cent cinquante-neuf indemnités; quant au taux à appliquer au salaire convenu, l'art. 8 al. 2 CGA ne pouvait pas trouver application, l'assuré n'ayant perçu des prestations LPP qu'à partir du 18 octobre 2001; celui-ci devait ainsi se voir allouer les indemnités journalières proportionnellement à son incapacité de travail, à savoir 75 % du 1er janvier au 1er avril 2001, 100 % du 2 avril au 1er juillet 2001 et 80 % à compter du 2 juillet 2001 en tous cas jusqu'au 16 septembre 2001; l'indemnité journalière à 75 %, 100 % et 80 % s'élevait à 185 fr. 30, 247 fr., respectivement 197 fr. 60; compte tenu des taux qui précédaient, l'assuré devait se voir allouer la somme de 54'554 fr. 50, avec intérêt à 5 % l'an dès le 24 octobre 2002; le jugement était rendu sans frais et l'assuré avait droit à des dépens réduits, fixés d'après l'importance et la complexité du litige, sans égard à la valeur litigieuse, à 1'500 francs.
C. L'assuré (le recourant) interjette un recours en matière civile au Tribunal fédéral, concluant à la réforme du jugement attaqué en ce sens que le montant qui lui est alloué est de 63'973 fr. avec intérêt à 5 % l'an dès le 24 octobre 2002, la cause étant renvoyée à l'instance cantonale pour nouvelle fixation des dépens de celle-ci. L'assurance (l'intimée) propose le rejet du recours et la confirmation de la décision entreprise.
Considérant en droit:
1. 1.1 L'assurance collective perte de gain maladie en cause est une assurance complémentaire à l'assurance obligatoire des soins régie par la loi fédérale du 18 mars 1994 sur l'assurance-maladie (LAMal; RS 832.10). Une telle assurance complémentaire est soumise à la loi fédérale du 2 avril 1908 sur le contrat d'assurance (Loi sur le contrat d'assurance, LCA; RS 221.229.1). La contestation opposant les parties est donc une affaire pécuniaire en matière civile au sens des art. 72 al. 1 et 74 al. 1 LTF; la décision rendue dans une contestation de cette nature peut être attaquée par un recours en matière civile pour autant que la valeur litigieuse de 30'000 fr. (art. 74 al. 1 let. b LTF) soit atteinte ou qu'il s'agisse d'une question juridique de principe (art. 74 al. 2 let. a LTF; cf. ATF 133 III 439 consid. 2).
En l'espèce, la valeur litigieuse, déterminée par les conclusions restées contestées devant l'autorité précédente (art. 51 al. 1 let. a LTF), s'élève à 71'538 fr. 25 et excède donc le minimum légal de 30'000 fr. Au surplus, l'arrêt attaqué est une décision finale (art. 90 LTF) rendue par une autorité qui a statué en dernière instance cantonale quand bien même elle ne s'est pas prononcée sur recours (art. 75 al. 1 et 2 LTF), ce qui n'exclut pas le recours au Tribunal fédéral (arrêt 4A_487/2007 du 19 juin 2009 consid. 1.2). Le recourant n'a pas obtenu entièrement gain de cause en instance cantonale (art. 76 al. 1 LTF). Enfin, le recours a été déposé dans le délai (art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi, de sorte qu'il est en principe recevable.
1.2 Le recours en matière civile au Tribunal fédéral peut être formé pour violation du droit fédéral (art. 95 let. a LTF), y compris le droit constitutionnel (ATF 134 III 379 consid. 1.2 p. 382). Saisi d'un tel recours, le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF) sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), dont il ne peut s'écarter que s'ils l'ont été de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (ATF 135 II consid. 8.1) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF).
2. Invoquant l'art. 97 LTF, la LCA et le CO, le recourant reproche à la cour cantonale d'avoir considéré qu'il ne pouvait pas être mis au bénéfice de la meilleure couverture découlant de l'art. 8 al. 2 in fine CGA; il estime que les précédents juges auraient retenu à tort que les "prestations LPP" ne pouvaient être que des "rentes LPP", lesquelles n'avaient été servies que dès le 17 septembre 2001, et soutient que la "libération des primes" pour la police d'assurance invalidité serait aussi une "prestation LPP", valant 3'525 fr. par année, prestation qui aurait été fournie dès le 17 novembre 1999; cela ressortirait d'un décompte des prestations servies par A._ SA en vertu de la police d'assurance invalidité conclue par l'employeuse (cf. pièce 12 de son bordereau du 23 décembre 2003), dont la cour cantonale n'aurait pas tenu compte par inadvertance manifeste.
La question soulevée est ainsi celle de savoir si la "libération des primes" pour l'assurance invalidité conclue entre A._ SA et B._ Sàrl est une "prestation de prévoyance professionnelle" au sens de l'art. 8 al. 2 in fine CGA, dont bénéficie "l'assuré" de l'assurance collective perte de gain maladie conclue auprès de l'intimée, c'est-à-dire le recourant.
2.1 La LCA ne contient pas de règles d'interprétation des contrats. Comme elle renvoie au code des obligations pour tout ce qu'elle ne règle pas elle-même (art. 100 al. 1 LCA), la jurisprudence en matière de contrats est applicable. Il s'ensuit que, lorsqu'il s'agit de déterminer le contenu d'un contrat d'assurance et des conditions générales et/ou particulières qui en font partie intégrante, le juge doit, comme pour tout autre contrat, tout d'abord s'efforcer de déterminer la commune et réelle intention des parties, sans s'arrêter aux expressions ou dénominations inexactes dont elles ont pu se servir, soit par erreur, soit pour déguiser la nature véritable de la convention (art. 18 al. 1 CO). Si cette volonté ne peut être établie en fait, le juge interprétera les déclarations et les comportements des parties selon le principe de la confiance, en recherchant comment une déclaration ou une attitude pouvait être comprise de bonne foi en fonction de l'ensemble des circonstances; le principe de la confiance permet ainsi d'imputer à une partie le sens objectif de sa déclaration ou de son comportement, même s'il ne correspond pas à sa volonté intime. L'application du principe de la confiance est une question de droit que le Tribunal fédéral peut examiner librement (art. 106 al. 1 LTF); cependant, pour trancher cette question, il doit se fonder sur le contenu de la manifestation de volonté et sur les circonstances, dont la constatation relève du fait. Lorsqu'un assureur, au moment de conclure, présente des conditions générales, il manifeste la volonté de s'engager selon les termes de ces conditions; lorsqu'une volonté réelle concordante n'a pas été constatée, il faut se demander comment le destinataire de cette manifestation de volonté pouvait la comprendre de bonne foi (cf. ATF 135 III 410 consid. 3.2 p. 412 s.; 133 III 675 consid. 3.3 p. 681 s.).
Le sens d'un texte, apparemment clair, n'est certes pas forcément déterminant, de sorte que l'interprétation purement littérale est prohibée. Même si la teneur d'une clause contractuelle paraît limpide à première vue, il peut résulter d'autres conditions du contrat, du but poursuivi par les parties ou d'autres circonstances que le texte de ladite clause ne restitue pas exactement le sens de l'accord conclu. Il n'y a cependant pas lieu de s'écarter du sens littéral du texte adopté par les cocontractants lorsqu'il n'existe aucune raison sérieuse de penser qu'il ne correspond pas à leur volonté (ATF 133 III 61 consid. 2.2.1).
2.2 En l'occurrence, il est patent qu'une volonté commune des parties quant au sens à donner à l'art. 8 al. 2 in fine CGA n'a pas pu être établie, de sorte qu'il y a lieu d'appliquer le principe de la confiance.
La pièce 12 sur laquelle se fonde le recourant est un décompte daté du 4 janvier 2000 "concernant X._" que A._ SA a envoyé à B._ Sàrl. Il en ressort d'une part la libération des primes pour la période du 17 novembre au 31 décembre 1999, correspondant à un montant de 430 fr. 80, d'autre part l'invitation à verser la prime pour l'année 2000, à savoir 3'525 fr., d'où un total de 3'094 fr. 20 en faveur de A._ SA; selon un récépissé agrafé au bas dudit décompte, B._ Sàrl a versé ce dernier montant en date du 2 mars 2000. De la pièce 12, l'on peut ainsi uniquement déduire que B._ Sàrl, l'employeuse du recourant, a bénéficié d'une remise des primes dues pour la couverture d'assurance invalidité de son employé dès novembre 1999. Le point de savoir si le recourant devait prendre tout ou partie de ces primes à sa charge ne ressort pas de l'arrêt attaqué et l'intéressé n'en dit mot; il y a donc lieu d'admettre que ce n'était pas le cas et que l'employeuse B._ Sàrl supportait seule les primes. Or, la libération du paiement des primes accordée à l'employeuse de l'assuré ne saurait être considérée comme une "prestation" dont bénéficie "l'assuré". Par conséquent, le moyen et, partant, le recours doivent être rejetés, sans qu'il soit nécessaire de trancher la question de savoir si la libération des primes peut être qualifiée de prestation d'assurance.
3. Le recourant relève encore que les dépens cantonaux auraient été fixés de manière arbitrairement basse; il affirme toutefois ne pas en faire un grief séparé, cette question devant être revue par la cour cantonale dans l'hypothèse où il obtiendrait gain de cause sur le fond. Dès lors que le recours est rejeté, cette question n'a plus d'objet.
4. Comme la contestation ne porte pas sur des prestations d'assurance sociale, le montant de l'émolument judiciaire est fixé selon le tarif ordinaire (art. 65 al. 3 LTF) et non réduit (art. 65 al. 4 let. a LTF). Compte tenu de l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il n'y a en revanche pas lieu d'allouer de dépens à l'intimée, qui n'est pas assistée d'un avocat et n'a pas justifié avoir supporté des dépenses particulières pour la défense de ses intérêts (cf. ATF 129 II 297 consid. 5).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux parties et à la Cour des assurances sociales du Tribunal cantonal vaudois.
Lausanne, le 4 février 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Cornaz