Faits :
A.
A.a. A._ a pris six polices d'assurance de prévoyance liée pilier 3a (n os yyy1, yyy2, yyy3, yyy4 et yyy5, du 9 décembre 1993, et yyy6 du 19 janvier 2001), auprès de Swiss Life SA. Outre l'assurance principale, ces polices comportaient toutes une assurance additionnelle portant sur l'exonération des primes en cas d'incapacité de gain. Les polices yyy4 et yyy5 prévoyaient en plus une rente en cas d'incapacité de gain par suite de maladie.
A la suite de rappels des 14 janvier et 29 février 2008 concernant le paiement des primes des 1er décembre 2007 et 19 janvier 2008, restés sans effet, puis de sommations de 26 mars et 15 mai 2008, Swiss Life SA a, par lettres des 12 et 30 juin 2008, libéré les divers contrats de prévoyance liée du service des primes. La rente annuelle en cas d'incapacité de gain, prévue par les polices yyy4 et yyy5, a été supprimée.
A.b. Le 11 décembre 2009, A._ a déposé une demande de prestations de l'assurance-invalidité. Par décision du 11 mars 2011, l'Office de l'assurance-invalidité du canton du Jura lui a alloué une rente entière d'invalidité à partir du 1er décembre 2008 (la demande étant tardive), fondée sur un taux d'invalidité de 94 %. L'administration a tenu compte d'une incapacité totale de travailler dans toute activité lucrative depuis le mois de juillet 2004, seule une activité de type "occupationnelle" pouvant être exercée.
A.c. Le 22 septembre 2011, A._ a demandé à Swiss Life SA de lui établir un décompte des prestations d'incapacité lui étant dues et des primes indûment versées qui devaient lui être restituées. Le 30 septembre 2011, Swiss Life SA lui a répondu que les garanties d'assurance en matière d'incapacité de gain avaient cessé en 2008 compte tenu de la modification des polices intervenues cette année-là; au surplus, la notification de l'incapacité de gain était tardive.
Par lettre du 24 novembre 2011, Swiss Life SA a réitéré à A._ son refus de lui verser une rente pour incapacité de gain de juillet 2004 à 2008, notamment en raison de la tardiveté de l'annonce du 22 septembre 2011 (sept ans après l'échéance du délai d'annonce), ainsi qu'à partir de l'année 2008 compte tenu de l'exclusion des assurances additionnelles prononcée en 2008 à la suite du non-paiement des primes de 2007 des diverses polices d'assurance. Pour les mêmes motifs, Swiss Life SA a également refusé de restituer les primes versées pour les années 2004 à 2006.
De son côté, la Fondation collective LPP Swiss Life a remis en vigueur l'assurance LPP de A._. Le 9 décembre 2011, elle l'a mis au bénéfice d'une rente d'invalidité de 100 % depuis le 1er septembre 2006.
B.
Le 15 décembre 2011, A._ a déposé une requête en conciliation auprès du Tribunal de première instance de la République et canton du Jura. Par décision du 21 novembre 2012, la juridiction civile a décliné sa compétence ratione materiae.
Le 20 décembre 2012, A._ a saisi le Tribunal cantonal de la République et canton du Jura, Cour des assurances, d'une demande dirigée contre Swiss Life SA, en prenant les conclusions suivantes:
1. Constater que la défenderesse est tenue de verser au demandeur les prestations découlant des contrats d'assurance n° yyy4 et yyy5, yyy3, yyy2, yyy1 et yyy6, passés les décembre 1993 et 9 janvier 2011 (recte: 2001);
1.1 Condamner la défenderesse à payer au demandeur un montant de 110'000 fr., ou tel autre montant à dire de justice, représentant les prestations d'incapacité de gain échues, un intérêt à 5 % devant être calculé dès l'échéance des prestations dues;
1.2 Condamner la défenderesse à payer au demandeur les prestations d'assurance découlant desdits contrats jusqu'à leur échéance et l'indemnité d'incapacité à raison de 20'000 fr. par année jusqu'à ce que celui-ci ait atteint l'âge de 65 ans;
2. Condamner la défenderesse à payer au demandeur la somme de 14'306 fr. ou tel autre à dire de justice, représentant le remboursement des primes indument payées pour les années 2004, 2005, 2006 et 2007;
3. Sous suite des frais et dépens.
Par jugement du 3 juin 2014, la juridiction cantonale a rejeté la demande.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, avec suite de frais et dépens, en concluant principalement au renvoi de la cause au Tribunal cantonal, subsidiairement à que les conclusions prises en instance cantonale lui soient adjugées.
L'intimée conclut au rejet du recours, avec suite de frais et dépens. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
Le litige porte sur le droit du recourant à des rentes d'incapacité de gain de l'intimée, ainsi que sur la restitution de primes d'assurance payées de 2004 à 2007.
2.
En premier lieu, les premiers juges ont examiné la question de la prescription, invoquée par l'intimée, du droit de réclamer les prestations d'assurance (<ref-law> et 127 CO). Ils ont admis que la prescription de dix ans relative aux rapports de base n'était pas atteinte lorsque l'action avait été introduite, si bien que le recourant pouvait ainsi en principe prétendre au versement de rentes pour les deux ans qui précédaient le 15 décembre 2011, date du dépôt de sa requête de conciliation auprès de la juridiction civile, voire pour les deux ans précédant le 2 octobre 2011 ainsi que pour la période postérieure, sous réserve que les autres conditions soient réalisées. Quant à la question de la prescription du droit de demander la restitution de primes prétendument payées à tort (d'octobre 2004 à fin 2007), les juges cantonaux ont estimé qu'elle pouvait rester indécise, compte tenu de l'issue du litige.
La juridiction cantonale a constaté que le recourant était totalement incapable de travailler dans toute activité lucrative dès le mois de juillet 2004. Elle a aussi constaté que le recourant avait omis à cette époque d'annoncer le sinistre et qu'il n'avait pas établi qu'il aurait été empêché de le faire, si bien que son retard n'était pas excusable. Comme la notification du cas d'assurance était intervenue le 22 septembre 2011, soit près de cinq ans après le délai prévu par l'art. 14 des Conditions générales applicables CGA (un mois après l'expiration du délai d'attente de 24 mois), le droit à une rente d'incapacité de gain ne pouvait être reconnu qu'à partir de la période postérieure à cette date.
Les premiers juges ont ensuite examiné si l'exclusion des assurances additionnelles était ou non valablement intervenue en juin 2008 et si, par voie de conséquence, le recourant était exonéré du paiement des primes dès octobre 2004 (après un délai d'attente de trois mois suivant le début de l'incapacité de gain, conformément à l'art. 12 ch. 4 CGA). A cet égard, les juges cantonaux se sont référés à l'art. 14 ch. 1 CGA, qui prévoit que l'incapacité de gain doit être notifiée au plus tard un mois après l'expiration du délai d'attente; ils ont relevé que si la notification est faite plus tard, le droit à l'exonération du paiement des primes n'est reconnu qu'à partir de la période postérieure à la notification, soit en l'espèce depuis le 22 septembre 2011. La juridiction cantonale a ensuite rappelé que si la garantie d'assurance subsiste intégralement pendant six mois à compter de l'échéance de la dernière prime restée impayée, l'assurance est ensuite, après une sommation et un dernier délai de paiement, transformée en un contrat libéré du service des primes (voir l'<ref-law> ainsi que les art. 8 et 26 CGA). Comme le recourant avait cessé de payer ses primes sans en avoir été exonéré, les premiers juges ont admis que l'intimée avait transformé à juste titre les six contrats en contrats libérés du service des primes, excluant ainsi valablement les assurances additionnelles litigieuses à partir du 1er juin 2008. Par voie de conséquence, la juridiction cantonale a considéré que l'intimée n'était pas tenue à verser ses prestations postérieurement à cette date et que le recourant ne pouvait ainsi plus prétendre au versement d'une rente d'incapacité de gain dès le 22 septembre 2011. En outre, le recourant n'était pas davantage fondé à réclamer la restitution des primes versées de 2004 à 2007, puisqu'il n'était pas exonéré de leur paiement.
3.
Le recourant soutient que les premiers juges n'ont pas tenu compte du caractère ambigu, respectivement insolite de la cause de l'art. 14 CGA dans son ensemble. Il estime que la structure des polices d'assurance manque totalement de transparence et de clarté, ce qui est de nature à provoquer la plus totale confusion. En particulier, le recourant est d'avis que l'insertion de l'art. 14 CGA, spécialement les ch. 1 et 3, a eu pour conséquence de modifier la nature du rapport contractuel en transformant la condition causale négative en une prestation d'assurance. L'art. 14 ch. 3 CGA doit être considéré, non seulement comme insolite, mais comme nul en vertu de l'<ref-law>, puisque la disposition en cause fait dépendre d'une décision de l'assureur la prétention de l'assuré portant sur la libération des primes. Il ajoute que si, selon l'art. 14 ch. 3 CGA, les primes sont remboursées parce qu'indues, c'est qu'elles sont indues ab initio, ce qui confère à la clause de libération des primes le caractère d'une clause casuelle négative, de sorte que les primes sont indues du seul fait de l'incapacité de travail. Le recourant en déduit que les mises en demeure et les sommations auxquelles l'intimée a procédé au début de l'année 2008 ne sont pas valables, puisque la prime n'est due que si le bénéficiaire ne se trouve pas en incapacité de travail. Comme il était incapable de travailler depuis août 2004, les contrats initiaux et leurs avenants n'ont pas été valablement résiliés et ils conservent leur validité.
4.
4.1. Selon la jurisprudence, celui qui signe un texte comportant une référence expresse à des conditions générales est lié au même titre que celui qui appose sa signature sur le texte même de celles-ci, quand bien même il ne les aurait pas lues (arrêt 4A_213/2014 du 26 juin 2014 consid. 2.3.2; <ref-ruling> consid. 1a p. 445; arrêt 5P.96/1996 du 29 mai 1996, in SJ 1996 p. 623). Les conditions générales font alors partie intégrante du contrat (<ref-ruling> consid. 3.3 p. 681) et doivent être interprétées selon les mêmes principes juridiques que les autres dispositions contractuelles (<ref-ruling> consid. 2 p. 6). L'interprétation en application du principe de la confiance, dite objective ou normative, consiste à établir le sens que chacune des parties pouvait et devait raisonnablement prêter aux déclarations de volonté de l'autre. Pour ce faire, il convient de partir du texte du contrat avant de l'examiner dans son contexte; dans ce dernier cas, toutes les circonstances ayant précédé ou accompagné sa conclusion doivent être prises en considération (<ref-ruling> consid. 3.3 p. 149 et les arrêts cités). Cependant, le consentement global qui a été donné à des conditions générales ne saurait porter sur les clauses insolites, sur l'existence desquelles l'attention de la partie la plus faible ou la moins expérimentée en affaires n'a pas été spécialement attirée. La partie qui incorpore des conditions générales dans son contrat doit en effet s'attendre à ce que son partenaire contractuel inexpérimenté n'adhère pas à une clause insolite, c'est-à-dire une clause qui modifie de manière essentielle la nature du contrat ou qui sort dans une mesure importante du cadre légal d'un type de contrat. Plus une clause porte atteinte aux intérêts juridiques du contractant, plus il se justifie de la considérer comme insolite (<ref-ruling> consid. 1.3 p. 227). Pour déterminer si une clause est insolite, il faut se placer du point de vue de celui qui y consent, au moment de la conclusion du contrat (<ref-ruling> consid. 2.1 p. 7). C'est une décision au cas par cas, une clause usuelle dans une branche de l'économie pouvant être insolite pour qui n'est pas de la branche. Eu égard au principe de la confiance, on se fondera sur les conceptions personnelles du contractant dans la mesure où elles sont reconnaissables pour l'autre partie. Il ne suffit dès lors pas que le contractant soit inexpérimenté dans la branche économique en question mais il faut en plus de ce critère subjectif que, par son objet, la clause soit considéré comme étrangère à l'affaire (<ref-ruling>).
4.2. Les conditions générales litigieuses, figurant au chapitre V. "L'exonération du paiement des primes en cas d'incapacité de gain", portent sur les points suivants : art. 12 "Qu'est-ce qui est assuré?", art. 14 " Comment faire valoir vos droits?".
Art. 12 ch. 4 CGA : Délai d'attente
Le droit à l'exonération du paiement des primes prend naissance à l'expiration du délai d'attente convenu qui est calculé à partir du début de l'incapacité de gain.
Art. 14 ch. 1 CGA : Moment de la notification
L'incapacité de gain doit être notifiée au plus tard 1 mois après l'expiration du délai d'attente. Si la notification nous en est faite plus tard, nous ne reconnaissons le droit à l'exonération du paiement des primes qu'à partir de la période postérieure à la notification.
Art. 14 ch. 3 CGA : Remboursement des primes payées indûment
Les primes doivent être payées jusqu'au moment où l'exonération est accordée. Les primes qui auraient été payées indûment sont remboursées.
Contrairement au point de vue que défend le recourant, les dispositions litigieuses des conditions générales ne font pas dépendre la libération des primes d'une décision de l'assureur, mais elles précisent clairement le moment où la libération des primes prend effet, dans deux cas de figure bien précis, sans que l'assureur ne doive intervenir. Le renvoi à l'<ref-law> n'est ainsi d'aucun secours au recourant.
Par ailleurs, l'art. 14 ch. 1 et 3 CGA ne présente aucun caractère insolite dans la mesure où, d'une part, il subordonne expressément le droit à l'exonération des primes à la notification de l'incapacité de gain à l'assureur et, d'autre part, il définit le moment à partir duquel l'exonération débute. En effet, ces conditions générales ne modifient pas la nature du contrat, pas plus qu'elles ne sortent du cadre légal du type de contrat dont il est question ici. Elles concrétisent simplement les modalités de l'obligation d'aviser l'assureur de la survenance d'un sinistre (<ref-law>). A cet égard, comme les premiers juges l'ont rappelé, l'avis a notamment pour fonction de permettre à l'assureur de vérifier l'existence d'un droit à des prestations et d'ordonner, si nécessaire, des mesures pour réduire le dommage. Le grief est infondé.
4.3. En l'espèce, le recourant n'a avisé l'assureur que le 22 septembre 2011, soit tardivement au sens de l'art. 14 ch. 1 CGA. Ses prétentions en remboursement des primes payées sont donc infondées.
En outre, comme le recourant a suspendu le paiement des primes sans déclarer le sinistre à l'assureur, ce dernier a été conduit à le sommer de verser les primes en souffrance, en lui indiquant les conséquences encourues quant aux couvertures d'assurance en cas de défaut de régularisation (cf. sommations des 26 mars et 15 mai 2008). Pour les motifs exposés au consid. 4.2.2 du jugement entrepris, auxquels il suffit de renvoyer, c'est donc à juste titre que l'intimée a transformé les six contrats en contrats libérés du service des primes, de sorte que les assurances additionnelles litigieuses ont été valablement exclues. Le recourant n'a d'ailleurs pas réagi aux diverses sommations, ratifiant ainsi tacitement le principe de la fin de la couverture d'assurance dès l'année 2008. Dès lors que les assurances additionnelles ont été valablement exclues pour tous les contrats à compter du 1er juin 2008, l'intimée n'est pas tenue d'allouer ses prestations au recourant depuis juin 2008. Le recours se révèle, à cet égard aussi, infondé.
4.4. Pour le surplus, le recourant n'expose et ne démontre pas - ou à tout le moins de façon très insuffisante (cf. <ref-law>) - en quoi le jugement attaqué serait contraire au droit dans la mesure où le versement de prestations afférentes à des périodes antérieures à juin 2008 lui a été refusé. Dans ce contexte, l'acte interruptif de la prescription, auquel il fait allusion (p. 7 du recours), n'est pas déterminant pour l'issue du litige.
5.
Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>).
L'intimée, qui a conclu à l'allocation d'une indemnité de dépens, n'y a pas droit (<ref-law>; <ref-ruling>; arrêt 9C_782/2011 du 16 octobre 2012 consid. 5.2, non publié aux <ref-ruling>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton du Jura, Cour des assurances, et à l'Office fédéral des assurances sociales.
Lucerne, le 22 janvier 2015
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
Le Greffier : Berthoud