A.- M._, dessinateur-architecte de formation, a travaillé au service du bureau d'architecture X._ SA, société dont il fut l'administrateur, de 1978 à 1983.
Le 2 septembre 1978, il a été victime d'un accident de la circulation, qui a provoqué des dorsalgies. A partir du 15 novembre 1984, au terme de mesures de réadaptation d'ordre professionnel mises en oeuvre par l'assurance-invalidité, il a été engagé par l'entreprise Y._, en qualité de technicien et selon un horaire de travail de 50 pour cent. Il a été licencié pour le 31 décembre 1993. Il s'est ensuite annoncé à l'assurance-chômage et a bénéficié de prestations de cette assurance.
La Caisse nationale suisse d'assurance en cas d'accidents a alloué à M._, pour l'indemnisation des suites de l'accident du 2 septembre 1978, une rente d'invalidité fondée sur un degré d'incapacité de gain de 40 pour cent. De son côté, l'assurance-invalidité lui a tout d'abord alloué une demi-rente dès le 1er septembre 1983, puis un quart de rente dès le 1er novembre 1991. Par la suite, elle lui a de nouveau accordé une demi-rente, avec effet au 1er octobre 1994, avant de lui reconnaître, dès le 1er octobre 1995, le droit à une rente entière.
B.- Le 21 janvier 1980, X._ SA avait conclu avec la Société suisse Grutli un contrat collectif (n° 2632) pour le personnel de l'entreprise et les membres de la famille de celui-ci. En vertu de ce contrat, M._ était notamment assuré pour une indemnité journalière de 140 fr. dès le 721ème jour d'incapacité de travail.
Le 31 janvier 1984, M._ a rempli à l'intention de la Société suisse Grutli une "proposition d'assurance" tendant à ce que l'indemnité journalière assurée de 140 fr. fût désormais versée dès le 31ème jour d'incapacité de travail. Il a indiqué à cette occasion qu'il se trouvait au chômage. La modification demandée a pris effet le 1er février 1984.
En vertu de ce contrat, M._ a bénéficié des indemnités journalières assurées à partir de 1982, en fonction d'une incapacité de travail de 50 pour cent, puis de 75 pour cent et, enfin, dès le mois de janvier 1997, de 100 pour cent. Les indemnités furent toutefois réduites pour cause de surindemnisation.
C.- Visana a repris l'ensemble des droits et obligations de la Société suisse Grutli à partir du 1er janvier 1996.
Le 9 avril 1997, à la suite de divers échanges de correspondance entre les parties, elle a notifié à M._ une décision par laquelle elle reconnaissait lui devoir encore le montant de 14 414 fr. 60 pour les mois de février 1994 à décembre 1996.
L'assuré a formé opposition. Par une nouvelle décision, du 15 septembre 1997, Visana admit partiellement l'opposition en reconnaissant devoir à l'assuré un montant supplémentaire de 956 fr. 50, en plus du montant précité de 14 414 fr. 60.
D.- M._ a recouru devant le Tribunal des assurances du canton de Vaud.
Entre-temps, la caisse a continué de verser à l'assuré des indemnités journalières, jusqu'au 3 novembre 1997. Selon un décompte de la caisse, celui-ci a reçu à cette date un montant total de 100 800 fr. représentant l'équivalent de 720 indemnités pleines de 140 fr. Aussi bien la caisse a-t-elle fait valoir que le droit aux indemnités journalières de l'assuré était épuisé. A la suite d'une audience d'instruction, qui s'est tenue le 12 octobre 1998, les partiesontpasséuneconventiondeprocédure, datéedes7et9décembre1998, dontlateneuressentielleestlasuivante :
"Lors de l'audience d'instruction du 12 octobre 1998, les parties ont convenu que leur litige portait sur le problème de l'épuisement du droit aux indemnités journalières à partir du 4 novembre 1997. Plus précisément, il s'agit de savoir si Visana doit encore à M._ un montant de 32 044 fr. correspondant à 228, 8 indemnités journalière à 140 fr. par jour à partir du 4 novembre 1997.
Visana le conteste en faisant valoir qu'elle a versé un montant équivalent pour la période se terminant le 31 janvier 1994.
Pour sa part, M._ fait valoir que, à partir du 1er février 1994, un nouveau contrat a été conclu et que la Grutli, respectivement Visana, ne sont pas en droit d'imputer leurs prestations antérieures au 31 janvier 1994 sur les indemnités journalières dues à partir du 1er février 1994.
Celaétant, lespartiesconviennentdecequisuit :
1. M._ renonce à réclamer à Visana le paiement d'autres prestations jusqu'au 3 novembre 1997 compris.
2. Les parties conviennent d'étendre l'objet de la présente procédure aux indemnités dues éventuellement après le 4 novembre 1997 par Visana à M._.
3. La présente convention de procédure est soumise au tribunal cantonal des assurances pour ratification".
Statuant le 3 mai 1999, le tribunal des assurances, après avoir ratifié cette convention, a rejeté le recours, considérant que le droit aux indemnités journalières de l'assuré était épuisé le 3 novembre 1997.
E.- M._ interjette un recours de droit administratif en concluant, sous suite de frais et dépens, à la réforme du jugement attaqué en ce sens que Visana lui doit encore un montant de 32 044 fr. plus intérêts à 5 pour cent l'an dès le 1er avril 1998. Subsidiairement, il conclut au renvoi de la cause au tribunal des assurances pour nouveau jugement au sens des motifs.
Visana conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales, il ne s'est pas déterminé à son sujet.

Considérant en droit :
1.- a) Il n'est pas contesté que le recourant a touché, entre le 15 mars 1982 et le 3 novembre 1997, des indemnités journalières pour un montant total de 100 800 fr.
Selon unrelevé de l'intimée, les versement sont été répartis sur les périodes suivantes :
-du 15 mars 1982 au 31 octobre 1991 : 31 190 fr.
-du 1er novembre 1991 au 31 décembre 1993 : 792 fr.
-du 1er janvier 1994 au 31 janvier 1994 : 62 fr.
-du 1er février 1994 au 31 décembre 1995 :11023 fr. 75
-du 1er janvier 1996 au 31 décembre 1996 : 14807 fr. 75
-du 1er janvier 1997 au 3 novembre 1997 : 42 924 fr. 50
b) La caisse et les premiers juges considèrent que l'assuré a épuisé son droit à l'indemnité journalière à la date du 3 novembre 1997, droit limité à 720 jours conformément à l'art. 12bis al. 3 LAMA, applicable en l'occurrence (720 x 140 = 100 800 fr.).
Par un premier moyen, le recourant fait valoir que, contrairement à ce que retiennent les premiers juges, il a conclu un nouveau contrat d'assurance avec Visana à partir du 1er février 1994. En effet, la couverture initiale garantie dans le cadre du contrat collectif conclu avec X._ SA en 1980 couvrait une incapacité de travail dès le 721ème jour, alors que le contrat conclu à partir du 1er février 1994 assurait la couverture d'une capacité de travail - déjà réduite - à partir du 31ème jour. Il s'agissait donc, selon le recourant, de contrats successifs fondamentalement différents. C'est pourquoi, les indemnités journalières versées pour la période du 15 mars 1982 au 31 janvier 1994, soit 32 044 fr., ne peuvent pas être imputées sur les indemnités dues en vertu du contrat en vigueur depuis le 1er février 1994.
c) aa) Avant le 1er février 1994, le recourant était assuré en vertu d'un contrat collectif (n° 2632), conformément au contrat initial du 21 janvier 1980. Jusqu'au 31 janvier 1994, la couverture d'assurance dont il bénéficiait et la nature du contrat n'ont pas été modifiées (bien que l'assuré ne fît plus partie du personnel de X._SA). Le recourant, qui était au chômage au moment où il a rempli la proposition d'assurance du 31 janvier 1994, a selon toute évidence bénéficié de la réglementation de l'art. 12bis al. 2bis LAMA. D'après cette disposition, les chômeurs assurés pouvaient prétendre, moyennant une adaptation équitable des primes, à la transformation de leur ancienne assurance d'une indemnité journalière en une assurance dont les prestations commençaient dès le 31ème jour, sous garantie du montant de l'ancienne indemnité journalière et sans considération de l'état de santé au moment de la transformation.
L'art. 12bis al. 2bis LAMA a été introduit par la LACI du 25 juin 1982. Il avait précisément pour but de permettre aux personnes qui étaient assurées avant le chômage pour une indemnité journalière différée pendant une longue période (dès le 91ème ou le 181ème jour par exemple), dans le cadre d'une assurance collective conclue par leur ex-employeur, de bénéficier - avec la protection de la situation antérieurement acquise - d'une couverture d'assurance après un délai 30 jours seulement; il s'est agi de coordonner à cet égard le droit de l'assurance-maladie avec l'<ref-law> (voir BO 1981 CN 847). Si le recourant n'avait pas bénéficié de cette réglementation particulière applicable aux chômeurs et s'il avait conclu, comme il le soutient, un nouveau contrat d'assurance, la caisse aurait probablement institué une ou plusieurs réserves, attendu qu'il était déjà atteint dans sa santé à cette époque. En effet, une réduction de la période à partir de laquelle l'indemnité est payable (réduction du "différé") constitue une augmentation du risque autorisant - hormis justement le cas visé par l'art. 12bis al. 2bis LAMA - l'introduction de réserves ou même le refus de l'assureur d'accepter la modification (RJAM 1973 no 159 p. 25 consid. 1; Borella, L'affiliation à l'assurance-maladie sociale suisse, thèse Genève 1993, p. 153, ch. 217; Duc, Réglementation équivalente au sens de l'article 324a aliné a CO et assurance d'une indemnité journalière différée suivant l'article 12bis LAMA, in : Mélanges Pierre Engel, 1989 p. 47). Or, on constate à ce propos que le recourant, lorsqu'il a rempli la proposition d'assurance du 21 janvier 1994, a été dispensé de répondre au questionnaire médical figurant au dos de la proposition, ce qui démontre que la caisse était tenue d'accepter la transformation de l'assurance sans égard à son état de santé.
bb) Dans un tel cas de figure, aucune base légale ou réglementaire ne permet une déduction des prestations perçues avant la transformation de l'assurance, dans le calcul de la période de référence de 720 jours selon l'art. 12bis al. 3 LAMA. Du reste, la plupart du temps, la transformation de l'assurance selon l'art. 12bis al. 2bis LAMA était accompagnée du passage de l'assurance collective dans l'assurance individuelle, conformément à l'art. 5bis al. 4 LAMA. Or, selon l'art. 10 al. 4 de l'Ordonnance II sur l'assurance-maladie concernant l'assurance collective pratiquée par les caisses-maladie reconnues par la Confédération, la durée des prestations reçues dans l'assurance collective pouvait être imputée sur celle du droit aux prestations de l'assurance individuelle.
Le moyen soulevé ici se révèle ainsi mal fondé.
2.- Par un second moyen, le recourant soutient que, même si l'on devait admettre l'imputation des prestations versées jusqu'au 31 janvier 1994, son droit aux indemnités journalières ne serait de toute façon pas épuisé le 3 novembre 1997.
a) Sauf dispositions inapplicables en l'espèce, la LAMal est entrée en vigueur le 1er janvier 1996. Selon l'<ref-law>, les indemnités journalières dont le versement est en cours lors de l'entrée en vigueur de la présente loi et qui résultent de l'assurance d'indemnités journalières auprès de caisses reconnues devront encore être allouées pendant deux ans au plus, conformément aux dispositions de l'ancien droit sur la durée des prestations. En l'espèce, le délai de deux ans n'était pas écoulé à la date du 3 novembre 1997. C'est donc sous l'angle des dispositions de la LAMA qu'il s'agit de déterminer si le recourant pouvait encore prétendre des indemnités journalières au-delà de cette date.
b) aa) Lorsque l'indemnité journalière est réduite pour cause de surindemnisation selon l'art. 26 LAMA, l'art. 12bis al. 4 prévoit l'augmentation de la durée des jours d'indemnisation. L'idée à la base de cette disposition est de garantir aux assurés le paiement de l'équivalent de 720 indemnités pleines. Toutefois, pour respecter le rapport fixé à l'art. 12bis al. 3 LAMA entre la durée de la période d'indemnisation et celle de la durée de calcul, la jurisprudence a considéré qu'il faut nécessairement que les indemnités réduites soient accordées au cours d'une période de calcul dont la durée a été étendue dans la proportion même qui aura servi à déterminer la durée augmentée de la période d'indemnisation. Par exemple, en cas de réduction des indemnités de 50 pour cent, il faut admettre que les indemnités partielles doivent être fournies pendant 1440 jours au moins dans une période de 1800 jours consécutifs (<ref-ruling> consid. 3, 83 consid. 3b). L'examen du point de savoir si les prestations ont été versées pendant la durée minimum légale, en cas de réduction pour cause de surindemnisation, doit intervenir rétrospectivement et consiste à vérifier que le nombre d'indemnités réduites déterminant - à fixer selon le taux moyen d'indemnisation durant les 720 derniers jours - a bel et bien été versé au cours d'une période de calcul dont la durée aura été augmentée dans la même proportion que la période d'indemnisation. Cet examen rétrospectif doit intervenir à partir du jour où l'indemnité journalière a été allouée pour la dernière fois (RAMA 1989 n° K 823 p. 393 consid. 3 et les références citées).
Ces principes sont également applicables en cas de réduction de l'indemnité journalière pour cause d'incapacité de travail partielle (<ref-ruling> consid. 3b; RAMA 1989 n° K 823 p. 394 consid. 3) et, contrairement à ce que voudrait l'intimée, il n'y a pas de raison de s'en écarter pour statuer dans la présente affaire.
bb) Les indemnités versées au recourant ont été réduites à la fois pour cause de surindemnisation et en raison du taux de l'incapacité (partielle) de travail durant certaines périodes d'indemnisation.
Le total des indemnités versées durant les derniers 720 jours à partir du 3 novembre 1997 se monte à 58 670 fr., selon les indications fournies par l'intimée. En outre, 720 indemnités pleines représentent 100 800 fr. Aussi bien le taux moyen d'indemnisation est-il de 58,2 pour cent [(58 670/100 800) x 100 = 58,2].
La période de calcul à prendre en considération s'étend dès lors à 1551 jours [(900/58) x 100]. Or, l'équivalent de 720 indemnités journalières pleines a été versé au recourant durant une période de temps plus longue. Il apparaît ainsi que le paiement de ces prestations n'est pas intervenu dans le seul cadre de la période de calcul déterminante, mais l'a dépassé. Autrement dit, le rapport fixé par la loi entre la durée de la période d'indemnisation et celle de la période de calcul n'a pas été respecté. Dans ces conditions, leversementparl'intiméedel'équivalentde720indemnitésjournalièrespleinesnepouvaitentraînerl'extinctiondudroitdurecourantauxprestations.
cc) Il convient dès lors de renvoyer la cause à l'intimée pour qu'elle fixe le montant de l'indemnité due au recourant à partir du 4 novembre 1997. Quant à savoir jusqu'à quel moment l'indemnité doit être versée et selon quelles modalités, c'est une question qui n'a pas à être tranchée par le Tribunal fédéral des assurances au stade actuel de la procédure. En particulier, il n'y a pas lieu d'examiner maintenant le cas au regard des dispositions de la LAMal (<ref-law>) qui devront être appliquées à partir du 1er janvier 1998 (<ref-law>; voir supra consid. 2a). C'est à la caisse qu'il appartiendra de se prononcer sur cette question.

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est admis en ce sens que le jugement du Tribunal des assurances du canton de Vaud du 3 mai 1999, ainsi que la décision de Visana du 15 septembre 1997, sont annulés.
II. La cause est renvoyée à Visana pour nouvelle décision au sens des motifs.
III. Il n'est pas perçu de frais de justice.
IV. Visana versera à M._ un montant de 2500 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour la procédure fédérale.
V. Le Tribunal des assurances du canton de Vaud statuera surlesdépenspourlaprocéduredepremièreinstance, au regard de l'issue du procès de dernière instance.
VI. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 13 novembre 2000
Au nom du
Tribunal fédéral des assurances
Le Président de la IIIe Chambre :
Le Greffier :