Citation: 4A_451/2015 E. A

A.a. Le 15 septembre 1984, H.X.________ (ci-après: l'assuré) et son épouse F.X.________ ont conclu un contrat d'assurance avec la Z.________ SA (ci-après: Z.________ ou l'assureur). Le contrat porte sur le versement d'un montant de 300'000 fr. en cas de décès de l'un des époux durant la période du 1er octobre 1984 au 1er octobre 2019. Il prévoit la "libération du service des primes" de l'ensemble du contrat en cas d'incapacité de gain de l'un ou des deux époux. Il garantit également des prestations supplémentaires et comprend la clause suivante en faveur de l'assuré: "Fr. 60'000.-. Rente annuelle en cas d'incapacité de gain. Cette rente est due après un délai d'attente de 3 mois. En cas d'incapacité de gain avant le 1.10.2019, la rente est payée au maximum jusqu'au 1.10.2019." Le contrat d'assurance renvoie expressément à des conditions générales (éd. 6.1983), dont les "Conditions complémentaires de l'assurance rente d'incapacité de gain" (CGC 4004) et les "Conditions complémentaires relatives à la libération du paiement des primes futures en cas d'incapacité de gain" (CGC 4005). Selon le ch. 1.1 CGC 4004, il y a incapacité de gain lorsque, par suite de maladie ou d'accident, sur la base de signes objectifs médicalement constatables, l'assuré est incapable d'exercer sa profession ou toute autre activité conforme à sa position sociale, ses connaissances et ses aptitudes et qu'il subit de ce fait simultanément une perte de gain ou un autre préjudice pécuniaire équivalent. En cas d'incapacité partielle, la rente annuelle convenue est payable intégralement si le degré d'incapacité de gain est de 662 /3% au moins; si le degré d'incapacité se situe entre 25% et 662 /3%, la rente est versée en proportion du degré d'incapacité; enfin, aucune prestation n'est versée pour un degré d'incapacité inférieur à 25% (ch. 2.2 CGC 4004). La rente est payée trimestriellement (ch. 2.3 CGC 4004); les prestations sont ajustées dès la modification du degré d'incapacité (ch. 2.4 CGC 4004). Conformément au ch. 2 CGC 4005, l'assuré est libéré, totalement ou partiellement, de l'obligation de payer les primes futures dès le 61ème jour si l'incapacité de gain a duré plus de 60 jours consécutifs. La libération est totale en cas d'incapacité de gain de 662 /3% au moins et partielle en cas d'incapacité entre 662 /3% et 25% (ch. 3.1 CGC 4005). En cas de libération de payer les primes futures, la prime déjà payée pour la période subséquente est restituée proportionnellement au degré d'incapacité (ch. 3.6 CGC 4005). A.b. A l'époque de la conclusion du contrat, H.X.________, né en 1954 et cuisinier de formation, était restaurateur indépendant. De 1984 à 2003, il a dirigé avec son épouse un buffet de gare. En 2003, le couple X.________ a inscrit au registre du commerce une société à responsabilité limitée (ci-après: la Sàrl), dont l'assuré était l'associé-gérant et son épouse, l'associée-directrice. Dès avril 2004, les époux X.________ ont repris, par l'intermédiaire de la Sàrl dont ils étaient les salariés, la direction d'un établissement public sis dans un camping, ouvert de mars à octobre. Depuis lors, l'assuré a connu des problèmes de dos toujours plus importants. A fin 2004, des lombosciatalgies bilatérales sur sténose canalaire, en partie dues à une hernie discale L4-L5, ont été diagnostiquées. L'assuré a été en incapacité de travail à 100% dès le 11 octobre 2004, puis à 50% dès le 5 novembre 2004, de nouveau à 100% dès le 15 novembre 2004 et enfin à 50% du 1er février au 31 mars 2005. Par lettre du 14 avril 2005, il a informé l'assureur qu'il avait repris le travail à 100% dès le 1er avril. Z.________ l'a indemnisé jusqu'à et y compris le mois de mars 2005; à partir du 1er avril 2005, elle n'a plus versé la rente due en cas d'incapacité de gain. En raison de l'exacerbation de ses douleurs dorsales, l'assuré a subi une nouvelle incapacité de travail dès le 19 août 2005. Dans une expertise du 10 janvier 2006 destinée au médecin conseil de l'assurance-maladie, le Dr A.________ a évalué la capacité de travail de l'assuré à 20%. A la demande de Z.________, le Dr B.________ a établi un rapport, daté du 27 juin 2006. Il relève à cette occasion que, incapable de porter une charge quelconque, l'assuré a engagé un employé qui le suit en permanence et qu'il a lui-même admis une capacité de travail à 80% dans un travail adapté ("si je peux déléguer"). L'expert émet l'avis que "compte tenu du recyclage réussi et spontanément effectué dans un travail adapté", l'assuré, "volontaire, intelligent et bénéficiant d'un bon sens commercial", a une "capacité de travail complète ou limitée à un maximum de 10%". A fin 2006, l'assuré et son épouse ont abandonné la direction de l'établissement public rattaché au camping. Dès le 1er octobre 2007, la Sàrl a repris l'exploitation d'un autre restaurant, tout en continuant à offrir des prestations de traiteur. En qualité d'employé de la Sàrl, l'assuré dirigeait l'établissement et donnait des directives au personnel. Le 22 juin 2007, l'assureur a mis l'assuré en demeure de payer la prime d'assurance semestrielle échue au 1er avril 2006, sous la menace d'annulation du contrat. Par la suite, l'assuré a versé les primes pour les années 2006 et 2007. Le 16 août 2008, H.X.________ a été victime d'un accident de circulation. Hospitalisé pendant quatre semaines, il a subi notamment un traitement chirurgical d'une fracture du pilon tibial et l'ablation de la rate. Dans un rapport d'expertise orthopédique du 31 août 2009, le Dr C.________ retient une incapacité de travail totale jusqu'au 25 août 2009, puis, après cette date, une capacité nulle comme restaurateur s'occupant de la cuisine, une capacité de 80% comme restaurateur chargé de la supervision du personnel et une capacité entière dans une activité adaptée. Le 28 novembre 2011, l'assuré a été victime d'un nouvel accident de la route. Il s'est alors trouvé en incapacité de travail totale durant plusieurs semaines. A.c. H.X.________ a demandé des prestations de l'assurance-invalidité (AI), pour la première fois en date du 24 avril 2006. Dans un rapport du 24 janvier 2007, le Dr D.________, du Service médical régional de l'AI (SMR), a constaté que la capacité de travail de l'assuré était nulle dans l'activité de restaurateur s'occupant surtout de la cuisine, qu'elle était de 80% pour une activité de restaurateur chargé essentiellement de la supervision du personnel et qu'elle avait toujours été complète dans une activité strictement adaptée aux limitations fonctionnelles. Dans un rapport du 19 février 2007 établi pour le SMR, le Dr E.________ a confirmé les conclusions de l'expert D.________, ajoutant toutefois qu'au "vu de sa démonstrativité dans son syndrome douloureux, il sera difficile de motiver l'assuré pour la réalisation de mesures professionnelles". Le 15 mai 2008, l'office AI a adressé à l'assuré un projet de décision tendant au refus de toute rente d'invalidité, en raison d'un taux d'invalidité de 26% ne donnant pas droit à une rente. Il a confirmé sa décision par la suite. Le 11 janvier 2009, l'assuré a déposé une nouvelle demande de prestations AI. Il a obtenu des mesures de reclassement du 1er avril 2010 au 30 juin 2013, avec versement d'indemnités journalières variant entre 277 et 291 fr. Par décision du 17 septembre 2014, l'office AI a octroyé à l'assuré les rentes suivantes: du 1er octobre 2008 au 31 décembre 2008, un quart de rente d'invalidité pour un degré d'invalidité de 40%; du 1er janvier 2009 au 30 novembre 2009, une rente entière pour un degré d'invalidité de 100%; enfin, dès le 1er décembre 2009 (trois mois après l'amélioration de l'état de santé), une rente de 75% pour un degré d'invalidité de 61% (suspendue du 1er avril 2010 au 30 juin 2013 en raison du versement ininterrompu d'indemnités journalières). Le 28 octobre 2014, l'assuré a formé un recours à la Cour des assurances sociales du Tribunal cantonal vaudois, concluant à l'octroi d'une pleine indemnité dès le 1er décembre 2009.