Faits : A. A.a. Le 15 septembre 1984, H.X._ (ci-après: l'assuré) et son épouse F.X._ ont conclu un contrat d'assurance avec la Z._ SA (ci-après: Z._ ou l'assureur). Le contrat porte sur le versement d'un montant de 300'000 fr. en cas de décès de l'un des époux durant la période du 1er octobre 1984 au 1er octobre 2019. Il prévoit la "libération du service des primes" de l'ensemble du contrat en cas d'incapacité de gain de l'un ou des deux époux. Il garantit également des prestations supplémentaires et comprend la clause suivante en faveur de l'assuré: "Fr. 60'000.-. Rente annuelle en cas d'incapacité de gain. Cette rente est due après un délai d'attente de 3 mois. En cas d'incapacité de gain avant le 1.10.2019, la rente est payée au maximum jusqu'au 1.10.2019." Le contrat d'assurance renvoie expressément à des conditions générales (éd. 6.1983), dont les "Conditions complémentaires de l'assurance rente d'incapacité de gain" (CGC 4004) et les "Conditions complémentaires relatives à la libération du paiement des primes futures en cas d'incapacité de gain" (CGC 4005). Selon le ch. 1.1 CGC 4004, il y a incapacité de gain lorsque, par suite de maladie ou d'accident, sur la base de signes objectifs médicalement constatables, l'assuré est incapable d'exercer sa profession ou toute autre activité conforme à sa position sociale, ses connaissances et ses aptitudes et qu'il subit de ce fait simultanément une perte de gain ou un autre préjudice pécuniaire équivalent. En cas d'incapacité partielle, la rente annuelle convenue est payable intégralement si le degré d'incapacité de gain est de 662 /3% au moins; si le degré d'incapacité se situe entre 25% et 662 /3%, la rente est versée en proportion du degré d'incapacité; enfin, aucune prestation n'est versée pour un degré d'incapacité inférieur à 25% (ch. 2.2 CGC 4004). La rente est payée trimestriellement (ch. 2.3 CGC 4004); les prestations sont ajustées dès la modification du degré d'incapacité (ch. 2.4 CGC 4004). Conformément au ch. 2 CGC 4005, l'assuré est libéré, totalement ou partiellement, de l'obligation de payer les primes futures dès le 61ème jour si l'incapacité de gain a duré plus de 60 jours consécutifs. La libération est totale en cas d'incapacité de gain de 662 /3% au moins et partielle en cas d'incapacité entre 662 /3% et 25% (ch. 3.1 CGC 4005). En cas de libération de payer les primes futures, la prime déjà payée pour la période subséquente est restituée proportionnellement au degré d'incapacité (ch. 3.6 CGC 4005). A.b. A l'époque de la conclusion du contrat, H.X._, né en 1954 et cuisinier de formation, était restaurateur indépendant. De 1984 à 2003, il a dirigé avec son épouse un buffet de gare. En 2003, le couple X._ a inscrit au registre du commerce une société à responsabilité limitée (ci-après: la Sàrl), dont l'assuré était l'associé-gérant et son épouse, l'associée-directrice. Dès avril 2004, les époux X._ ont repris, par l'intermédiaire de la Sàrl dont ils étaient les salariés, la direction d'un établissement public sis dans un camping, ouvert de mars à octobre. Depuis lors, l'assuré a connu des problèmes de dos toujours plus importants. A fin 2004, des lombosciatalgies bilatérales sur sténose canalaire, en partie dues à une hernie discale L4-L5, ont été diagnostiquées. L'assuré a été en incapacité de travail à 100% dès le 11 octobre 2004, puis à 50% dès le 5 novembre 2004, de nouveau à 100% dès le 15 novembre 2004 et enfin à 50% du 1er février au 31 mars 2005. Par lettre du 14 avril 2005, il a informé l'assureur qu'il avait repris le travail à 100% dès le 1er avril. Z._ l'a indemnisé jusqu'à et y compris le mois de mars 2005; à partir du 1er avril 2005, elle n'a plus versé la rente due en cas d'incapacité de gain. En raison de l'exacerbation de ses douleurs dorsales, l'assuré a subi une nouvelle incapacité de travail dès le 19 août 2005. Dans une expertise du 10 janvier 2006 destinée au médecin conseil de l'assurance-maladie, le Dr A._ a évalué la capacité de travail de l'assuré à 20%. A la demande de Z._, le Dr B._ a établi un rapport, daté du 27 juin 2006. Il relève à cette occasion que, incapable de porter une charge quelconque, l'assuré a engagé un employé qui le suit en permanence et qu'il a lui-même admis une capacité de travail à 80% dans un travail adapté ("si je peux déléguer"). L'expert émet l'avis que "compte tenu du recyclage réussi et spontanément effectué dans un travail adapté", l'assuré, "volontaire, intelligent et bénéficiant d'un bon sens commercial", a une "capacité de travail complète ou limitée à un maximum de 10%". A fin 2006, l'assuré et son épouse ont abandonné la direction de l'établissement public rattaché au camping. Dès le 1er octobre 2007, la Sàrl a repris l'exploitation d'un autre restaurant, tout en continuant à offrir des prestations de traiteur. En qualité d'employé de la Sàrl, l'assuré dirigeait l'établissement et donnait des directives au personnel. Le 22 juin 2007, l'assureur a mis l'assuré en demeure de payer la prime d'assurance semestrielle échue au 1er avril 2006, sous la menace d'annulation du contrat. Par la suite, l'assuré a versé les primes pour les années 2006 et 2007. Le 16 août 2008, H.X._ a été victime d'un accident de circulation. Hospitalisé pendant quatre semaines, il a subi notamment un traitement chirurgical d'une fracture du pilon tibial et l'ablation de la rate. Dans un rapport d'expertise orthopédique du 31 août 2009, le Dr C._ retient une incapacité de travail totale jusqu'au 25 août 2009, puis, après cette date, une capacité nulle comme restaurateur s'occupant de la cuisine, une capacité de 80% comme restaurateur chargé de la supervision du personnel et une capacité entière dans une activité adaptée. Le 28 novembre 2011, l'assuré a été victime d'un nouvel accident de la route. Il s'est alors trouvé en incapacité de travail totale durant plusieurs semaines. A.c. H.X._ a demandé des prestations de l'assurance-invalidité (AI), pour la première fois en date du 24 avril 2006. Dans un rapport du 24 janvier 2007, le Dr D._, du Service médical régional de l'AI (SMR), a constaté que la capacité de travail de l'assuré était nulle dans l'activité de restaurateur s'occupant surtout de la cuisine, qu'elle était de 80% pour une activité de restaurateur chargé essentiellement de la supervision du personnel et qu'elle avait toujours été complète dans une activité strictement adaptée aux limitations fonctionnelles. Dans un rapport du 19 février 2007 établi pour le SMR, le Dr E._ a confirmé les conclusions de l'expert D._, ajoutant toutefois qu'au "vu de sa démonstrativité dans son syndrome douloureux, il sera difficile de motiver l'assuré pour la réalisation de mesures professionnelles". Le 15 mai 2008, l'office AI a adressé à l'assuré un projet de décision tendant au refus de toute rente d'invalidité, en raison d'un taux d'invalidité de 26% ne donnant pas droit à une rente. Il a confirmé sa décision par la suite. Le 11 janvier 2009, l'assuré a déposé une nouvelle demande de prestations AI. Il a obtenu des mesures de reclassement du 1er avril 2010 au 30 juin 2013, avec versement d'indemnités journalières variant entre 277 et 291 fr. Par décision du 17 septembre 2014, l'office AI a octroyé à l'assuré les rentes suivantes: du 1er octobre 2008 au 31 décembre 2008, un quart de rente d'invalidité pour un degré d'invalidité de 40%; du 1er janvier 2009 au 30 novembre 2009, une rente entière pour un degré d'invalidité de 100%; enfin, dès le 1er décembre 2009 (trois mois après l'amélioration de l'état de santé), une rente de 75% pour un degré d'invalidité de 61% (suspendue du 1er avril 2010 au 30 juin 2013 en raison du versement ininterrompu d'indemnités journalières). Le 28 octobre 2014, l'assuré a formé un recours à la Cour des assurances sociales du Tribunal cantonal vaudois, concluant à l'octroi d'une pleine indemnité dès le 1er décembre 2009. B. Par demande du 22 janvier 2009, H.X._ a ouvert action devant la Cour civile du Tribunal cantonal vaudois, concluant à ce que Z._ soit condamnée à lui payer la somme de 338'097 fr., à savoir 300'000 fr. à titre de rentes pour la période du 1er avril 2005 au 1er avril 2010 (5 ans à 60'000 fr.) et 38'097 fr. à titre de remboursement des primes pour la même période (prime semestrielle de 3'809 fr.70 pendant 5 ans), le tout avec intérêts à 5% l'an depuis le 1er septembre 2007 (date moyenne). Par la suite, le demandeur a augmenté ses conclusions d'un montant de 120'000 fr, à titre de rentes du 1er avril 2010 au 1er avril 2012, avec intérêts à 5% l'an dès le 1er avril 2011 (date moyenne). L'assureur a conclu au rejet de la demande. Dans le cadre de la procédure, une expertise médicale a été confiée au Bureau V._; les Dresses F._ (rhumatologue), G._ (psychiatrie) et H._ (neuropsychologue) ont déposé leur rapport le 14 décembre 2011. Par ailleurs, une expertise comptable a été ordonnée; le rapport de la fiduciaire W._ SA est daté du 16 octobre 2012. Par jugement du 8 novembre 2013, la Cour civile a condamné l'assureur à payer à l'assuré, à titre de perte de gain, les sommes suivantes: - 14'294 fr.05 avec intérêts à 5% l'an dès le 9 avril 2009, pour la période du 16 août 2008 au 31 août 2009; - 5'032 fr.50 avec intérêts à 5% l'an dès le 1er mars 2010, pour la période du 1er septembre 2009 au 31 août 2010; - 652 fr.10 avec intérêts à 5% l'an dès le 1er novembre 2010, pour la période du 1er septembre 2010 au 31 décembre 2010. La demande a été rejetée pour le surplus. Se fondant sur l'expertise comptable, la Cour civile a retenu que le recourant en bonne santé aurait pu, dans sa profession, acquérir un revenu annuel moyen de 90'350 fr. Par ailleurs, elle a appliqué les divers taux d'incapacité de travail figurant dans l'expertise du V._. Sur cette base, la Cour civile s'est prononcée comme suit sur la rente en incapacité de gain réclamée par l'assuré: - les éventuelles prétentions sont prescrites pour la période antérieure au 22 janvier 2007 (deux ans avant l'ouverture de l'action); - l'incapacité de travail est de 20% du 22 janvier 2007 au 15 août 2008; inférieure à 25%, elle n'ouvre aucun droit à une rente; - pour la période du 16 août 2008 au 31 août 2009, le revenu sans incapacité de gain est de 94'236 fr. et le revenu effectif de 75'428 fr.05, d'où il résulte une perte de 18'807 fr.95, dont il y a lieu de déduire la partie correspondant aux trois mois du délai d'attente; la perte déterminante est ainsi de 14'294 fr.05; le taux d'incapacité de travail étant alors de 100%, la prétention de l'assuré s'élève à 14'294 fr.05; - pour la période du 1er septembre 2009 au 31 août 2010, le revenu sans incapacité de gain est de 90'350 fr. et le revenu effectif, comprenant les versements par des assureurs tiers, est de 80'285 fr., d'où il résulte une perte de 10'065 fr.; comme le taux moyen d'incapacité de travail est de 50%, la prétention est de 5'032 fr.50; - pour la période du 1er septembre 2010 au 31 décembre 2010, le revenu sans incapacité de gain est de 30'116 fr.65 et le revenu effectif, prestations de tiers incluses, est de 27'943 fr., d'où il résulte une perte de 2'173 fr.65; comme le taux d'incapacité de travail est de 30%, la prétention est de 652 fr.10; - pour la période du 1er janvier 2011 au 31 décembre 2011, le salaire sans incapacité de gain est de 90'350 fr. et les prestations de la part d'assureurs tiers se montent à 96'670 fr.10; en l'absence de perte de gain, l'assuré n'a aucune prétention; - pour la période du 1er janvier 2012 au 31 décembre 2012, le revenu effectif n'est pas établi et, partant, aucune perte de gain n'est démontrée; l'assuré n'a aucune prétention. En outre, la Cour civile a jugé que la prétention en remboursement des primes était prescrite. La dernière prime ayant été versée le 1er octobre 2007, tout droit à la restitution selon les règles de l'enrichissement illégitime était prescrit une année plus tard, soit avant l'ouverture de l'action. L'assuré a interjeté appel du jugement de la Cour civile. Par arrêt du 29 avril 2015 dont les considérants ont été communiqués le 5 août 2015, la Cour d'appel civile du Tribunal cantonal vaudois a rejeté l'appel et confirmé la décision entreprise. Dans l'intervalle, l'assuré a, le 5 février 2014, engagé une nouvelle action contre Z._, tendant au paiement d'une rente dès le 1er avril 2012. C. H.X._ interjette un recours en matière civile contre l'arrêt de la Cour d'appel, concluant à ce que Z._ soit condamnée à lui payer la somme de 458'097 fr., plus intérêt à 5% l'an dès le 1 er septembre 2007 sur 338'097 fr. et dès le 1 er avril 2011 sur 120'000 fr. L'intimée propose le rejet du recours. Invitée à se déterminer, la cour cantonale se réfère aux considérants de son arrêt. Le recourant a présenté une requête d'effet suspensif, limitée à sa condamnation aux dépens pour l'instance d'appel. Par ordonnance du 18 novembre 2015, la Présidente de la cour de céans a rejeté cette demande.