Faits:
A. A.a Le 19 novembre 1994, D._ a signé une proposition d'assurance auprès de l'assurance Y._. Le 30 novembre 1994, il a consulté le Dr E._; ensemble, ils ont rempli un questionnaire à l'attention de cette compagnie d'assurance, répondant notamment que D._ n'avait souffert d'aucune des maladies ou affections énumérées, n'avait eu aucun accident et n'avait fait l'objet d'aucun examen ou traitement à l'exception de ceux relatifs à une appendicite et une hernie. La question "Consommez-vous ou avez-vous consommé des stupéfiants (drogues)?" faisait l'objet d'une réponse négative.
Le 27 février 1995, les parties ont conclu une police d'assurance- risque prévoyant le versement d'un capital de 350'000 fr. en cas de décès avant le 1er décembre 2004, respectivement le versement d'une rente annuelle de 60'000 fr. jusqu'au 1er décembre 2004 en cas d'incapacité de gain, après un délai d'attente de 90 jours. Le bénéficiaire était D._ en cas de vie, respectivement le conjoint en cas de décès, à défaut les enfants, à défaut les parents, à défaut les héritiers de la personne assurée. L'édition 1992 des "Conditions Générales d'Assurance (CGA) pour les assurances sur la vie et les rentes vieillesse" était applicable à cette police.
Suite à des fusions, X._ AG (ci-après : l'assurance) a succédé à l'assurance Y._ dans le contrat précité.
A.b Dès les années 1996 et 1997, D._ a traversé une grave crise personnelle due à des problèmes conjugaux et professionnels. Il s'est mis à boire de l'alcool avec excès; il a consommé des stupéfiants au moins dans les années 1998 et 1999.
Le 7 juin 2002, D._ a été admis dans une clinique spécialisée dans le traitement des dépendances. A son entrée, il avait ingéré de grandes quantités d'alcool et consommé de la drogue; il a fait l'objet d'un sevrage à la cocaïne dans les jours qui ont suivi.
Le 20 juin 2002, le Dr F._, médecin adjoint de cette clinique, a adressé à une consoeur un courrier relatif à D._ dans lequel il faisait état d'une cocaïnomanie depuis au moins 10 ans ainsi que d'une consommation d'héroïne depuis quatre ans.
Le 7 novembre 2002, le Dr G._ a rempli un formulaire destiné à l'assurance en faisant état d'une dépendance à plusieurs substances dès environ 1996.
L'assurance a pris des renseignements complémentaires notamment auprès du Dr G._, qui a rempli et signé un questionnaire le 28 janvier 2003. Peu auparavant, soit le 9 janvier 2003, le Dr F._ avait indiqué à l'assurance que D._ consommait de la drogue depuis 1992.
Par courrier recommandé du 20 janvier 2003, l'assurance a constaté que D._ consommait de la drogue depuis 1992, soit dès avant la signature de la proposition d'assurance; elle a invoqué une réticence au sens de l'art. 4 de la loi fédérale sur le contrat d'assurance (LCA - RS 221.229.1).
D._ a été en incapacité de travail à 100 % du 7 juin au 7 novembre 2002, puis du 3 mars au 21 juin 2003, du 1er au 31 juillet 2003 et du 12 novembre 2003 au 31 mars 2004. Du 1er avril 2004 au 31 octobre 2004, son incapacité s'est réduite à 50 %; elle est remontée à 80 % du 1er au 30 novembre 2004, date d'échéance du droit à la rente.
B. Le 24 novembre 2004, D._ a ouvert action devant la Cour civile du Tribunal cantonal vaudois et pris des conclusions tendant d'une part à la constatation de son droit aux prestations découlant de la police d'assurance-risque du 27 février 1995, et d'autre part au paiement par X._ AG (ci-après : la défenderesse) de la somme de 116'547 fr. 95 plus intérêts.
D._ est décédé en cours d'instance. La procédure s'est poursuivie avec son épouse A._ et ses deux enfants B._ et C._ (ci-après : les demandeurs).
Admettant partiellement l'action, la Cour civile a condamné la défenderesse à payer 79'467 fr., intérêts en sus.
En substance, elle a considéré que D._ n'avait commis aucune réticence au sens de l'ancien art. 6 LCA : la défenderesse n'avait pas rapporté la preuve que l'assuré absorbait des stupéfiants depuis 1992. Cet élément ressortait exclusivement des constatations du Dr F._, lesquelles n'avaient pu être effectuées qu'a posteriori, soit à une époque où la consommation de drogue de D._ n'était contestée par personne; en dépit de l'expérience que ce médecin pouvait avoir, il n'avait pu consigner que la résultante de déclarations du patient lui-même ou de son amie. Or, l'intéressé était sous l'emprise de la drogue et de l'alcool lors de son admission à la clinique le 7 juin 2002; il n'était pas collaborant et donnait des réponses imprécises, voire fausses, quant à sa toxicomanie. Ses déclarations n'étaient donc que peu fiables. Par ailleurs, rien ne permettait de retenir que son amie, qui aurait "précisé" sa prise de toxiques, le connaissait avant 1999; dès lors, ce qu'elle avait pu déclarer au médecin ne pouvait pas résulter de ses constatations directes, s'agissant de la période litigieuse. Au demeurant, le terme "préciser" était une formule vague pouvant se rapporter tout aussi bien au type de substance qu'à la quantité ingérée ou à la durée de consommation. Les affirmations du Dr F._ ne constituaient dès lors qu'un élément de preuve parmi d'autres. Or, d'autres médecins faisaient remonter la consommation de drogue à 1996 ou 1997. Ce diagnostic présentait une cohérence avec l'enchaînement des événements, D._ ayant traversé une période difficile dans les années 1996-1997, se mettant à consommer de l'alcool avec excès et à changer fortement de comportement; son entourage avait remarqué sa consommation de drogue au cours des années 1998 et 1999.
La cour cantonale a ensuite interprété le contrat et les conditions générales en ce sens que la rente pour incapacité de gain n'était pas subordonnée à la preuve d'une diminution concrète et chiffrée des revenus de l'ayant droit; tout au plus celui-ci devait-il établir, au degré requis et dans la mesure prévue par le contrat, son incapacité à exercer une activité lucrative. En l'occurrence, celle-ci était établie par les différents certificats médicaux produits sans que la défenderesse n'apporte des éléments propres à mettre en doute ces documents. Les rentes dues pour l'incapacité constatée au cours des années 2002 à 2004 s'élevaient à 79'467 francs.
C. Par mémoire remis à la poste le 7 juin 2010, la défenderesse a interjeté un recours en matière civile contre le jugement de la Cour civile dont les considérants ont été notifiés aux parties le 7 mai 2010. La défenderesse a conclu à la réforme du jugement en ce sens que les prétentions des demandeurs sont rejetées.
Parallèlement, ces derniers ont interjeté un recours en nullité auprès de la Chambre des recours du Tribunal cantonal vaudois. Ce recours a été rejeté par arrêt du 18 juin 2010, dont les considérants ont été notifiés aux parties le 21 octobre 2010.
Agissant par la voie du recours constitutionnel subsidiaire posté le 22 novembre 2010, les demandeurs ont conclu au paiement de la somme de 98'537 fr. 40, intérêts en sus.
Devant le Tribunal fédéral, chaque partie conclut au rejet du recours formé par la partie adverse.
Tant la Cour civile que la Chambre des recours se réfèrent à leurs décisions respectives.
Considérant en droit:
1. Vu la connexité évidente des deux recours, il se justifie de joindre les deux procédures. Comme la défenderesse conteste son obligation même de fournir sa prestation, tandis que les demandeurs s'en prennent au montant qui leur a été alloué, il sied de commencer par l'examen du recours de la défenderesse.
I. Recours en matière civile de la défenderesse
2. 2.1 Le recours vise un jugement final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) dans une affaire pécuniaire dont la valeur litigieuse excède le seuil de 30'000 fr. (art. 74 al. 1 let. b LTF; cf. infra consid. 6.1).
Le recours en matière civile doit être dirigé contre une décision prise par une autorité cantonale de dernière instance (art. 75 LTF). Lorsque la décision d'un tribunal cantonal supérieur peut encore être déférée sur certains points à une autre autorité judiciaire cantonale, cette décision n'est pas "de dernière instance" pour ce qui concerne les griefs susceptibles de ce recours cantonal. L'exigence d'épuisement des voies de recours cantonales implique que les griefs fassent d'abord l'objet du recours cantonal avant de pouvoir être soumis, le cas échéant, au Tribunal fédéral (cf. ancien art. 100 al. 6 LTF - RO 2006, 1233).
Eu égard aux particularités de la procédure civile vaudoise, lesquelles ont déjà été exposées (cf. arrêt 4A_156/2010 du 18 octobre 2010 consid. 2 et les précédents cités), les griefs relatifs à la violation de droits constitutionnels dans l'appréciation des preuves et la constatation des faits ne seront recevables que s'ils sont dirigés contre l'arrêt de la Chambre des recours; en revanche, le jugement de la Cour civile pourra être la cible des griefs tirés de la violation du droit privé fédéral.
Déposé pour le surplus dans le délai (art. 45 al. 1 et 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi, le présent recours est recevable.
2.2 Le recours en matière civile peut être interjeté pour violation du droit fédéral (art. 95 let. a LTF), y compris le droit constitutionnel (ATF 134 III 379 consid. 1.2 p. 382). Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut ainsi admettre un recours pour d'autres motifs que ceux qui ont été invoqués ou rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 135 III 397 consid. 1.4).
3. A l'appui de leur réponse déposée en temps utile, les demandeurs ont déposé un bordereau de pièces comportant les conditions générales 2008 de l'assurance, ainsi que des conditions générales d'autres compagnies d'assurance et un jugement de la Cour civile du Tribunal cantonal vaudois du 2 décembre 2002.
Dans un courrier du 4 février 2011, la défenderesse relève que la partie adverse a déposé "toutes sortes de pièces qui ne constituent pas des décisions de justice, en violation de l'art. 99 LTF"; à son avis, l'admission - contestée - de pièces nouvelles "telles que diverses conditions générales" impliquerait qu'on lui octroie la possibilité de déposer un mémoire et d'autres pièces.
Aucun fait nouveau ni preuve nouvelle ne peut être présenté dans un recours au Tribunal fédéral, sauf à résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF). Cette exception est réalisée lorsque la décision même de l'autorité précédente donne matière à présenter des faits ou moyens de preuve nouveaux (cf. textes italien et allemand de l'art. 99 al. 1 LTF), c'est-à-dire lorsque la décision de l'autorité précédente, pour la première fois, rend pertinents ces faits ou moyens de preuve. Ceux-ci peuvent se rapporter à la régularité de la procédure devant l'instance précédente (par ex. violation du droit d'être entendu lors de l'instruction), à la recevabilité du recours au Tribunal fédéral (par ex. date de notification de la décision attaquée), ou encore être destinés à contrer une argumentation de l'autorité précédente objectivement imprévisible pour les parties avant la réception de la décision (arrêt 4A_536/2010 du 1er décembre 2010 consid. 2.1). Par ailleurs, la production d'expertises juridiques ou de précédents visant uniquement à renforcer et à développer le point de vue du recourant ou de l'intimé est admissible, pour autant que ces pièces soient déposées dans le délai de recours, respectivement dans le délai de réponse (cf., sous l'ancienne OJ, ATF 108 II 69 consid. 1 et 94 II 5 consid. 1 p. 10).
En l'occurrence, les diverses conditions générales produites constituent des preuves nouvelles irrecevables. En revanche, la production du précédent de la Cour civile est admissible, d'autant que la défenderesse s'y réfère elle-même expressément pour étayer son recours en matière civile.
4. 4.1 Sous section A1 de son mémoire intitulée "la preuve du cas de réticence", la défenderesse reproche à la Cour civile d'avoir tenu un raisonnement "absurde et arbitraire" au sens de l'art. 9 Cst. en excluant une consommation de drogue dès 1992, respectivement d'avoir violé l'art. 8 CC en refusant de tenir compte des relevés convaincants du Dr F._. A tout le moins existerait-il une très grande vraisemblance de réticence, qui aurait dû conduire la Cour à admettre le cas de réticence et à rejeter les prétentions de l'assuré (pt A2).
4.2 Selon l'art. 6 LCA dans sa teneur antérieure au 1er janvier 2006 (dont l'applicabilité n'est pas discutée), il y a réticence si celui qui devait faire une déclaration a, lors de la conclusion du contrat d'assurance, omis de déclarer ou inexactement déclaré un fait important qu'il connaissait ou devait connaître; dans un tel cas, l'assureur n'est pas lié par le contrat, à condition qu'il s'en soit départi dans les 4 semaines dès le moment où il a eu connaissance de la réticence. La réticence suppose que la réponse donnée à la question ne soit pas conforme à la vérité, par omission ou inexactitude. La réticence réside dans une divergence entre la vérité et ce qui a été déclaré (ATF 136 III 334 consid. 2.3 p. 337).
En l'occurrence, la défenderesse s'en prend uniquement à la question de savoir si la réponse concernant la consommation de stupéfiants était conforme ou non à la vérité; elle ne se plaint pas d'une violation de l'ancien art. 6 LCA sur la base de l'état de fait retenu par les premiers juges.
L'art. 8 CC règle, pour tout le domaine du droit civil fédéral, la répartition du fardeau de la preuve et, partant, les conséquences de l'absence de preuve. Il confère en outre le droit à la preuve et à la contre-preuve (ATF 129 III 18 consid. 2.6 p. 24). Le juge viole l'art. 8 CC s'il omet ou refuse d'administrer des preuves sur des faits pertinents et régulièrement allégués, ou s'il tient pour exactes les allégations non prouvées d'une partie, nonobstant leur contestation par la partie adverse (ATF 114 II 289 consid. 2a). En revanche, l'art. 8 CC ne saurait servir à faire corriger l'appréciation des preuves, qui ressortit au juge du fait (ATF 127 III 248 consid. 3a). De même, savoir si le degré de certitude ou de vraisemblance exigé par le droit fédéral est atteint dans un cas concret est une question d'appréciation des preuves (ATF 130 III 321 consid. 5 p. 327).
Sous l'empire de l'ancienne loi fédérale d'organisation judiciaire (OJ), la violation de l'art. 8 CC pouvait (et devait, si les conditions de cette voie de droit étaient réalisées) faire l'objet d'un recours en réforme au Tribunal fédéral (cf. ATF 127 III 519 consid. 2a); dès lors qu'un tel grief échappe à la connaissance de la Chambre des recours, il peut être invoqué dans un recours en matière civile dirigé contre le jugement de la Cour civile. En l'occurrence toutefois, sous couvert du grief de violation de l'art. 8 CC, la défenderesse s'en prend à l'appréciation des preuves opérée par la cour cantonale, critiquant le fait que les autres éléments probants recueillis l'aient emporté sur les déclarations du Dr F._. Un tel grief pouvait et devait être porté devant la Chambre des recours, de sorte qu'il est irrecevable. A supposer que la défenderesse ait voulu en outre reprocher à la cour cantonale de s'être fondée sur une conception erronée du degré de preuve ou de vraisemblance requis par le droit fédéral, il faudrait constater que le moyen n'est pas suffisamment motivé, et partant irrecevable.
5. La défenderesse soutient, en s'appuyant sur le terme "incapacité de gain" utilisé dans la police et les conditions générales, que la police couvrait uniquement le risque d'incapacité de gain et non l'incapacité de travail en tant que telle; selon elle, le preneur (respectivement ses héritiers) aurait dû alléguer et démontrer l'existence d'un préjudice économique en plus de l'incapacité de travail médico-théorique. A cet égard, la cour cantonale aurait enfreint les art. 8 CC et 9 Cst. en tenant l'incapacité de travail pour prouvée sur la base des certificats des médecins traitants.
5.1 S'agissant de ce dernier point, la défenderesse s'en prend à nouveau à l'appréciation des preuves opérée par la Cour civile à qui elle reproche de ne pas avoir procédé à une expertise judiciaire. Elle ne prétend toutefois pas qu'une règle fédérale prescrivant un tel mode de preuve aurait été enfreinte. Le grief est irrecevable faute d'épuisement des voies de droit cantonales.
5.2 La défenderesse reproche ensuite à la cour cantonale d'avoir fait une interprétation erronée du type d'assurance convenue.
5.2.1 Déterminer la commune et réelle intention des parties est une question de fait (ATF 135 III 410 consid. 3.2). En revanche, dire comment une manifestation de volonté doit être objectivement comprise selon le principe de la confiance relève du droit (ATF 136 III 186 consid. 3.2.1 p. 188).
En l'occurrence, la cour cantonale a interprété les conditions générales applicables à la police d'assurance sans se prononcer sur la volonté réelle des parties. Elle a ainsi recouru au principe de la confiance, de sorte que le grief est recevable.
5.2.2 A défaut de règles spécifiques dans la LCA, l'interprétation du contrat d'assurance et des conditions générales qui en font partie intégrante est régie par les règles générales applicables aux contrats (ATF 118 II 342 consid. 1a). Pour interpréter une clause contractuelle selon le principe de la confiance, il convient de partir en premier lieu du texte de ladite clause. En principe, les expressions et termes choisis par les cocontractants devront être compris dans leur sens objectif. Un texte clair doit normalement prévaloir, dans le processus d'interprétation, contre les autres moyens d'interprétation (ATF 131 III 606 consid. 4.2 p. 611). L'interprétation purement littérale est toutefois prohibée (art. 18 al. 1 CO); même si la teneur d'une clause contractuelle paraît claire à première vue, il peut résulter d'autres conditions du contrat, du but poursuivi par les parties ou d'autres circonstances, que le texte de la clause litigieuse ne restitue pas exactement le sens de l'accord conclu. Cela étant, il n'y a pas lieu de s'écarter du sens littéral du texte adopté par les cocontractants lorsqu'il n'y a aucune raison sérieuse de penser que celui-ci ne correspond pas à leur volonté (ATF 136 III 186 ibidem).
5.2.3 En matière d'assurance privée, les parties peuvent convenir d'une assurance de personnes (dite aussi assurance de sommes) ou d'une assurance contre les dommages. La première se distingue de la seconde par sa nature non indemnitaire : il s'agit d'une promesse de capital indépendante du montant effectif du préjudice subi par le preneur ou l'ayant droit. En bref, on est en présence d'une assurance de personnes lorsque les parties n'ont subordonné la prestation de l'assureur - dont elles ont fixé le montant lors de la conclusion du contrat - qu'à la survenance de l'événement assuré, sans égard à ses conséquences pécuniaires; on est en revanche en présence d'une assurance contre les dommages lorsque la perte patrimoniale effective constitue une condition autonome du droit aux prestations (ATF 119 II 361 consid. 4).
Lorsque le contrat d'assurance prévoit le versement à l'assuré d'une indemnité journalière forfaitaire en fonction du seul degré de l'incapacité de travail de l'assuré, il s'agit d'une assurance de sommes (ATF 133 III 527 consid. 3.2.4); lorsque le droit à l'indemnité est subordonné à la survenance d'une perte effective sur le plan économique et que le montant de l'indemnité dépend des conséquences économiques réelles du sinistre pour l'assuré, il s'agit d'une assurance contre les dom-mages.
5.2.4 En l'occurrence, la police d'assurance prévoit le versement d'une rente annuelle de 60'000 fr. jusqu'au 1er décembre 2004 "en cas d'incapacité de gain". L'art. 29 ch. 2 CGA précise que l'"incapacité de gain" est réalisée "lorsque l'assuré, par suite d'une maladie constatée par un médecin, ou d'un accident, est partiellement ou totalement hors d'état d'exercer sa profession ou une autre activité lucrative correspondant à sa position, ses connaissances ou ses aptitudes". Selon l'art. 29 ch. 3 CGA, la rente et la libération du paiement des primes sont octroyées en fonction du degré de l'incapacité de gain; si cette incapacité atteint ou dépasse 66 2/3 %, les prestations sont servies en totalité, tandis qu'aucune prestation n'est allouée pour une incapacité inférieure à 25 %.
Il ressort clairement de ces dispositions que l'assurance conclue est une assurance de sommes ou de personnes. La prestation de l'assureur est subordonnée à la survenance d'une maladie ou d'un accident entraînant l'impossibilité pour l'assuré d'exercer sa profession ou une autre activité lucrative raisonnablement exigible, sans égard aux conséquences pécuniaires qu'entraîne une telle impossibilité. L'étendue de la prestation est fonction uniquement du degré d'incapacité mais non des conséquences économiques réelles du sinistre. Il n'est pas précisé que l'assuré doit produire des pièces telles que comptabilité ou déclarations fiscales destinées à établir la perte de gain. Contrairement à ce que plaide la défenderesse, le seul usage du terme "incapacité de gain" ne suffit pas à déduire qu'il s'agit d'une assurance contre les dommages. Certes, dans le langage courant, l'expression "incapacité de gain" désigne l'état d'une personne qui ne peut se procurer des revenus par son travail. Les conditions générales ont toutefois clairement circonscrit l'expression "incapacité de gain" à l'impossibilité d'exercer sa profession ou une autre activité lucrative raisonnablement exigible. Au vu de cette définition, le risque assuré est le fait d'être hors d'état d'exercer sa profession et non pas le dommage concret résultant de cette impossibilité; le terme "incapacité de gain" doit s'entendre ici comme un synonyme d'incapacité de travail. La situation est différente de celle visée par l'arrêt 5C.103/1998 du 29 septembre 1998 invoqué dans le recours, où les CGA prévoyaient le versement d'une rente pour "incapacité de gain", laquelle était aussi définie comme le fait d'être empêché, par suite de maladie, accident ou infirmité, d'exercer sa profession ou de déployer une autre activité rémunérée; toutefois, il était précisé que l'assurance versait la rente "lorsque l'assuré n'[était] plus capable de gagner sa vie". Ce dernier élément signifiait que le terme "incapacité de gain" devait être pris dans son sens courant, justifiant ainsi de tirer des conclusions différentes de celles du cas d'espèce quant au risque assuré. Par ailleurs, comme l'a relevé la Cour civile, on ne saurait non plus assimiler le cas d'espèce à l'arrêt 5C.21/2007 du 20 avril 2007 (consid. 2 et 3.2), dès lors que dans cette affaire, l'incapacité de gain telle que définie par les conditions générales supposait non seulement que l'assuré soit hors d'état d'exercer son métier, mais aussi qu'il subisse de façon concomitante une perte de gain ou une perte d'argent équivalente. Cette double condition était aussi posée dans l'affaire cantonale invoquée par la défenderesse (jugement de la Cour civile du 2 décembre 2002, consid. II). Au demeurant, la défenderesse ne saurait se prévaloir de prétendus jugements contradictoires pour échapper à une application correcte du droit fédéral, le justiciable ne bénéficiant sauf exception pas d'un droit à l'égalité dans l'illégalité (ATF 127 I 1 consid. 3a).
Le recours de la défenderesse doit ainsi être rejeté dans la mesure où il est recevable.
II. Recours constitutionnel subsidiaire des demandeurs
6. Les demandeurs font valoir que la valeur litigieuse minimale de 30'000 fr. requise pour le recours en matière civile n'est pas atteinte; alors que la Cour civile leur avait alloué 79'467 fr., ils ont chiffré leurs prétentions à 98'537 fr. 40 devant la dernière instance cantonale. Leur intérêt actuel au recours se limiterait dès lors à la somme de 19'070 fr. 40.
6.1 Selon l'art. 51 let. a LTF, la valeur litigieuse est déterminée, en cas de recours contre une décision finale, par les conclusions restées litigieuses devant l'autorité précédente. Il s'agit plus précisément des conclusions devant faire l'objet du jugement et qui, si elles sont admises, participent de la force jugée de celui-ci (cf., pour l'ancienne OJ, ATF 103 II 155 consid. 2 p. 158). Sont prises en compte les conclusions recevables, dans leur teneur juste avant le moment où la dernière instance cantonale va prendre sa décision; il est ainsi tenu compte de toutes les modifications de l'objet du litige (réduction ou augmentation de conclusions) jusqu'au moment où va être rendu le jugement de dernière instance - ou d'instance unique - cantonale (cf., pour l'ancienne OJ, JEAN-FRANÇOIS POUDRET, Commentaire de la loi fédérale d'organisation judiciaire, vol. II, 1990, n° 1.5 ad art. 46 OJ).
Devant la Cour civile, les demandeurs avaient conclu au paiement de 116'547 fr. 95 plus intérêts, tandis que la défenderesse concluait à libération. Interjetant le recours en nullité purement cassatoire de l'ancien art. 444 al. 1 CPC/VD (cf. art. 448 CPC/VD; POUDRET/ HALDY/TAPPY, Procédure civile vaudoise, 3e éd. 2002, n° 1 ad art. 448 CPC/VD), les demandeurs ont conclu à l'annulation du jugement de la Cour civile en tant qu'il leur allouait la somme de 79'467 fr., tout en précisant dans leur écriture qu'ils ne prétendaient plus qu'au paiement de 98'537 fr. 40.
Le cas d'espèce a ceci de particulier qu'une partie au litige a exercé une voie de droit cantonale restreinte contre un jugement qui a par ailleurs été contesté directement devant le Tribunal fédéral par l'autre partie. La question délicate de la valeur litigieuse peut rester en suspens. En effet, le recours répond aussi bien aux exigences formelles du recours en matière civile qu'à celles du recours constitutionnel subsidiaire; dans un tel cas, le Tribunal fédéral peut de toute façon convertir le recours, à supposer qu'il soit inexactement désigné (ATF 134 III 379 consid. 1.2 p. 382).
6.2 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 et 118 al. 1 LTF).
Tant le recours en matière civile que le recours constitutionnel subsidiaire peuvent être formés pour violation du droit constitutionnel (art. 95 let. a et 116 LTF). Il est possible de faire valoir que l'application du droit cantonal est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (ATF 134 III 379 consid. 1.2).
Le Tribunal fédéral n'examine la violation de droits fondamentaux - c'est-à-dire de droits constitutionnels - que si le grief a été expressément invoqué et motivé (art. 106 al. 2 et 117 LTF; ATF 133 III 638 consid. 2); l'acte de recours doit, sous peine d'irrecevabilité, nécessairement contenir un exposé succinct des droits ou principes constitutionnels violés et exposer de manière claire et circonstanciée en quoi consiste leur violation (ATF 134 II 244 consid. 2.2).
7. Les demandeurs soutiennent que la Chambre des recours a fait preuve de formalisme excessif, subsidiairement d'arbitraire dans l'application des règles procédurales cantonales (art. 4 al. 1, 262 al. 2 let. c et 263 CPC/VD), en refusant de tenir compte d'une pièce régulièrement produite, alors qu'elle était apte à prouver l'incapacité de travail alléguée sous chiffre 61 de leur demande, pour le simple motif que cette pièce n'avait pas été invoquée à l'appui de cet allégué, mais uniquement en relation avec d'autres allégués.
7.1 Selon la jurisprudence, il y a formalisme excessif, constitutif d'un déni de justice formel prohibé par l'art. 29 al. 1 Cst., lorsque les règles de procédure sont appliquées avec une rigueur que ne justifie aucun intérêt digne de protection, au point que la procédure devient une fin en soi et complique de manière insoutenable la réalisation du droit matériel ou entrave de manière inadmissible l'accès aux tribunaux. L'excès de formalisme peut résider soit dans la règle de comportement imposée au justiciable par le droit cantonal, soit dans la sanction qui lui est attachée (ATF 132 I 249 consid. 5 p. 253; 130 V 177 consid. 5.4.1). Le Tribunal fédéral examine librement ce grief, non sans accorder une importance déterminante aux circonstances particulières du cas (ATF 128 II 139 consid. 2a). Il n'examine cependant que sous l'angle restreint de l'arbitraire l'interprétation et l'application du droit cantonal déterminant (ATF 113 Ia 84 consid. 1).
Avant l'entrée en vigueur du Code de procédure civile fédéral survenue le 1er janvier 2011, les cantons déterminaient en principe librement selon quelles formes et à quel stade de la procédure les offres de preuve devaient être formulées (ATF 92 I 82 consid. 1 p. 83). Si l'on admettait que les prescriptions formelles de procédure étaient nécessaires pour assurer le déroulement régulier de l'instance et la juste application du droit, celles-ci ne devaient toutefois pas rendre l'application du droit matériel difficile à l'excès, voire l'empêcher (cf. ATF 101 Ia 433 consid. 1a et 4a). Dans les procès régis par la maxime des débats, il incombe aux parties d'indiquer les preuves offertes à l'appui de leurs allégations de fait (Spühler/Dolge/Gehri, Schweizerisches Zivilprozessrecht, 9e éd. 2010, chap. 5 n° 17; Max Guldener, Schweizerisches Zivilprozessrecht, 3e éd. 1979, p. 160). A l'époque où la procédure civile relevait des cantons, le droit à la preuve déduit de l'art. 8 CC - que les demandeurs n'invoquent pas - existait pour autant que les faits invoqués soient juridiquement pertinents et que l'offre de preuve correspondante satisfasse, quant à sa forme et à son contenu, aux exigences du droit cantonal (ATF 133 III 295 consid. 7.1).
7.2 L'ancien code de procédure civile vaudois, qui s'appliquait encore au présent litige, prévoyait la réglementation suivante : le juge ne peut fonder son jugement sur d'autres faits que ceux qui ont été allégués dans l'instance et qui ont été soit admis par les parties, soit établis au cours de l'instruction selon les formes légales (art. 4 al. 1 CPC/VD). La demande doit contenir l'indication précise, à la suite de chaque fait allégué, des preuves offertes (art. 262 al. 1 let. c CPC/VD). L'indication de la preuve par titres doit préciser la référence au numéro d'ordre du bordereau si la pièce est produite ou désigner le détenteur si la production en est requise (art. 263 CPC/VD). A l'audience préliminaire, le juge discute avec les parties les preuves offertes (art. 281 al. 1 CPC/VD). Jusqu'à l'échéance du délai pour déposer un mémoire de droit, la partie peut demander l'autorisation de se réformer pour compléter sa procédure (art. 153, 317a al. 1 et 317b al. 1 CPC/VD); l'autorisation de se réformer est subordonnée à l'existence d'un intérêt réel, mais non pas à l'absence de faute (Poudret et al., op. cit., n° 2 ad art. 153 CPC/VD).
En soi, les art. 262 et 263 CPC/VD ne procèdent pas d'un formalisme excessif. Du reste les demandeurs ne le prétendent pas. Autre est la question de savoir si l'autorité cantonale a fait preuve de formalisme excessif dans l'application de ces règles au cas d'espèce.
7.3 Sous chiffre 61 de leur demande, les demandeurs ont allégué que D._ s'était trouvé en incapacité de travail continue entre le 7 juin 2002 et le jour du dépôt de la demande. Ils ont notamment allégué une incapacité de 100 % du 7 juin 2002 au 12 janvier 2003, puis de 80 % du 13 janvier au 3 mars 2003. A l'appui de cet allégué ils ont offert les pièces 14 et 37, subsidiairement la preuve par expertise. Au chiffre 64 de la demande, ils ont allégué le décompte des jours d'incapacité et l'indemnité due en se fondant sur une indemnité annuelle de 60'000 fr. pour une incapacité complète; ils ont offert la preuve par appréciation.
Le procès-verbal de l'audience préliminaire du 22 mai 2006 indique que l'allégué 61 sera prouvé par pièce uniquement.
La Cour civile s'est manifestement fondée sur les pièces 14 et 37 offertes à l'appui de l'allégué 61, ainsi que sur la pièce 11 offerte à l'appui de l'allégué 25 traitant également de la question de l'incapacité de travail; elle a conclu que les preuves offertes n'établissaient pas d'incapacité pour la période du 8 novembre 2002 au 2 mars 2003. Les demandeurs ne critiquent pas cette appréciation en tant que telle, mais soutiennent que les juges cantonaux auraient dû tenir compte de la pièce 38.
Cette dernière a été produite dans un deuxième bordereau de pièces à l'appui des nouvelles allégations faites en réplique (all. 147-155 et 159). Dans cette même écriture, les demandeurs ont déclaré rectifier l'allégué 61 de leur demande en modifiant le taux d'incapacité pour la période du 1er novembre 2004 au jour de la demande (p. 2 de la réplique). Dans leur mémoire de droit (p. 3), ils se sont à nouveau référés aux pièces 14 et 37 en ce qui concerne les incapacités de travail, sans faire état de la pièce 38.
La Chambre des recours a considéré que les premiers juges étaient fondés à se référer aux seules pièces 14 et 37 pour déterminer si l'allégué 61 était établi et que l'appréciation portée à cet égard était exempte d'arbitraire. Cette autorité a en outre exclu tout formalisme excessif en soulignant que la solution rigoureuse adoptée pouvait se justifier par les principes d'égalité des parties et de sécurité du droit et par le respect du droit d'être entendu.
7.4 Dans leur recours, les demandeurs soutiennent que plusieurs motifs auraient dû conduire la Chambre des recours à tenir compte de la pièce 38. Ils observent tout d'abord que cette pièce attestait d'une période d'incapacité de travail qui avait été régulièrement alléguée sous chiffre 61 de la demande, et reprise à l'allégué 64.
Ce faisant, les demandeurs méconnaissent tout simplement la portée des art. 262 et 263 CPC/VD sans expliquer en quoi consisterait le formalisme excessif; ces dispositions imposent d'indiquer pour chaque allégué quelle preuve est propre à l'établir, le juge n'ayant pas à rechercher dans l'ensemble des pièces produites si celles-ci établissent l'un ou l'autre des faits visés par un allégué.
Les demandeurs font ensuite valoir que la pièce 38 a certes été offerte à l'appui d'autres allégués qui étaient aussi destinés à établir d'autres faits, mais qui s'inscrivaient dans la même problématique, la défenderesse cherchant à savoir s'il y avait eu réticence, quels traitements avaient été administrés et quelles étaient ou avaient été les périodes d'incapacité. La Chambres des recours aurait ainsi à tort considéré que la portée de ces allégués était "complètement autre" que celle de l'allégué 61; cette appréciation serait d'autant plus critiquable que la pièce 38 - consistant en un questionnaire établi par la défenderesse et rempli par le Dr G._ - aurait été invoquée en regard de deux allégués (all. 147-148) qui appréhenderaient ce questionnaire comme un tout et le viseraient dans son entier, y compris donc les périodes d'incapacité indiquées en réponse à la question 11.
Les allégués 145 à 182 de la réplique visent en substance à établir que le début de la consommation de stupéfiants est postérieur à la conclusion du contrat d'assurance. Dans ce contexte, les allégués 147 ss se réfèrent aux renseignements complémentaires donnés à la défenderesse par le Dr G._; l'allégué 148, selon lequel ce médecin "a pourtant dûment répondu, le 28 janvier 2003, aux questions qui lui avaient été posées par la défenderesse", doit s'interpréter à la lumière des allégués qui l'entourent; il ne saurait se comprendre comme un cas où la partie a voulu se référer au contenu intégral de la pièce, hypothèse dans laquelle la partie peut du reste indiquer que la pièce est "censée alléguée en son entier" (POUDRET ET AL., op. cit., n° 1 ad art. 262 CPC/VD). A l'allégué précédent (all. 147), il est reproché à la défenderesse - qui invoque la réticence dans sa réponse - d'avoir passé sous silence les renseignements complémentaires donnés par le Dr G._; les allégués postérieurs (all. 149 ss) précisent de quels renseignements il s'agit, en se référant à des points précis du questionnaire de la défenderesse (questions 1, 2, 4 et 6); ces allégués visent à démontrer que selon ce médecin, la consommation de drogue date de 1996. Aucun allégué ne se réfère à la question 11 du formulaire portant sur les périodes d'incapacité de travail. Les demandeurs se sont abstenus d'alléguer qu'il n'y avait pas eu d'incapacité de travail antérieure à la conclusion du contrat.
Contrairement à ce qu'affirment les demandeurs, les allégués 147-155 et 159 n'avaient donc pas la même portée, ne se recoupaient pas avec l'allégué 61. Cela étant, il s'agit de déterminer si l'application très stricte des art. 262-263 CPC dans le cas d'espèce procède d'un formalisme excessif. A cet égard, les demandeurs relèvent que la réglementation vise à éviter au juge de devoir rechercher la preuve topique dans l'ensemble du dossier et qu'en l'occurrence, la Cour civile a forcément dû prendre connaissance du contenu intégral de la pièce 38 pour pouvoir retenir dans son état de fait que le Dr G._ avait rempli et signé en date du 28 janvier 2003 le questionnaire envoyé par la défenderesse (jgt p. 8 ch. 8).
A cet argument, il faut objecter d'une part que la simple constatation qu'un questionnaire a été entièrement rempli n'impose pas de prendre connaissance par le menu de toutes les questions et réponses qui le composent. D'autre part, et il s'agit là de l'élément décisif, si les art. 262 et 263 CPC/VD visent certes au premier chef à éviter au juge de devoir chercher la preuve pertinente dans toutes les pièces du dossier, ils poursuivent aussi d'autres intérêts. La Chambre des recours s'est référée au principe d'égalité des parties, au droit d'être entendu et à la sécurité du droit; elle a considéré que la partie adverse ne devait pas être surprise par l'invocation d'une pièce dans un contexte "complètement autre" que celui dans lequel elle avait été produite, sans avoir été en mesure de se déterminer et d'offrir, le cas échéant, d'autres preuves (arrêt, p. 20). Il peut être donné acte aux demandeurs que les art. 262 et 263 CPC/VD ont été appliqués de manière très rigoureuse dans le cas d'espèce; toutefois, eu égard aux différents buts dignes de protection poursuivis par ces dispositions, on ne saurait considérer qu'il y a eu une entrave inadmissible de la réalisation du droit matériel. Le grief tiré de l'art. 29 al. 1 Cst. doit ainsi être rejeté.
Peu importe enfin que la défenderesse ait eu connaissance de la pièce 38 et qu'elle s'y soit référée en se déterminant sur un allégué à l'appui duquel cette preuve était offerte. La défenderesse ayant contesté l'allégué 61, il incombait à la partie adverse de prouver ses allégations conformément aux règles de procédure (art. 4 al. 1 CPC/VD). Encore une fois, la défenderesse pouvait et devait partir du principe que le juge se fonderait sur les preuves offertes à l'appui de l'allégué 61 pour déterminer si celui-ci était prouvé. Que la défenderesse ait ensuite concentré sa défense sur la question de la réticence et sur la thèse d'une assurance contre les dommages ne dispensait pas la partie adverse de rapporter la preuve de ses allégations sur les périodes d'incapacité de travail.
7.5 Les demandeurs font encore valoir que l'établissement des faits serait arbitraire au sens de l'art. 9 Cst. en tant que l'application régulière du droit conduirait en l'espèce à un résultat injuste, qui reviendrait à consacrer une vérité judiciaire contraire à la réalité des faits ressortant d'une pièce dont les premiers juges avaient connaissance et qu'ils ont intégrée pour partie dans leur état de fait.
D'après la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une solution différente soit concevable, voire préférable; pour qu'une telle décision soit annulée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat (ATF 133 I 149 consid. 3.1). Conformément à cette définition, une application du droit défendable peut certes conduire à un résultat qui se révèle inadmissible sur le plan de l'équité. Il s'agit là toutefois d'une situation exceptionnelle qui n'est guère concevable que dans l'hypothèse où la loi réserve le pouvoir d'appréciation du juge ou charge celui-ci de statuer en tenant compte soit des circonstances, soit de l'équité (cf. art. 4 CC; arrêt 4P.22/2000 du 28 mars 2000 consid. 3b/cc).
Une telle situation n'est pas réalisée en l'espèce, les art. 262 et 263 CPC/VD ne contenant pas une telle réserve. Au demeurant, il n'est pas contraire au sentiment de la justice et de l'équité que l'état de fait retenu sur la base des allégations et preuves offertes par les parties en conformité des règles procédurales s'écarte cas échéant de la vérité matérielle, cet élément étant inhérent aux procédures régies par la maxime des débats (SPÜHLER ET AL., op. cit., chap. 5 n° 14).
7.6 En bref, le recours des demandeurs doit être rejeté.
III. Frais et dépens de la procédure fédérale
8. Dans la mesure où les deux recours sont rejetés, il se justifie de répartir les frais judiciaires et les dépens entre la défenderesse et les demandeurs, en tenant compte des conclusions prises par chacun d'eux devant le Tribunal fédéral (art. 66 al. 1 et 5 LTF, art. 68 al. 1, 2 et 4 LTF).
Les frais judiciaires, par 6'000 fr., seront ainsi répartis à concurrence de deux tiers pour la défenderesse et d'un tiers pour les demandeurs. La même clé de répartition sera appliquée aux dépens, fixés à 7'000 fr., qui seront compensés dans cette mesure.
Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 4A_332/2010 et 4D_126/2010 sont jointes.
2. Le recours de X._ AG est rejeté dans la mesure où il est recevable.
3. Le recours de A._, B._ et C._ est rejeté.
4. Les frais judiciaires, arrêtés à 6'000 fr., sont mis pour deux tiers, soit 4'000 fr., à la charge de X._ AG et pour un tiers, soit 2'000 fr., à la charge de A._, B._ et C._, solidairement entre eux.
5. X._ AG versera à A._, B._ et C._, créanciers solidaires, une indemnité de 2'330 fr. à titre de dépens réduits.
6. Le présent arrêt est communiqué aux mandataires des parties, ainsi qu'à la Cour civile et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 22 février 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Monti