A.- G._, né en 1921, est assuré auprès de VISANA pour l'assurance obligatoire des soins et pour diverses assurances complémentaires, notamment en cas d'hospitalisation en division privée.
Le 10 janvier 1996, il a été hospitalisé à l'Hôpital X_ à la suite d'un accident vasculaire cérébral gauche avec hémisyndrome droit, aphasie et héminégligence. Dès le lendemain et jusqu'au 15 février 1996, il a séjourné au service de neurologie du Centre hospitalier Z_.Puis il a été transféré au service de rhumatologie, de médecine physique et de réhabilitation du même établissement. Il est resté hospitalisé dans ce service jusqu'au 12 juillet 1996, date à laquelle il a été conduit à la Clinique B._ afin de suivre une physiothérapie intensive. Il y a séjourné jusqu'au 14 novembre 1996. Les frais de séjour dans cette clinique ont fait l'objet de factures mensuelles de 13 389 fr. 40, 19 601 fr. 25, 19 201 fr. 10, 19 598 fr. 95 et 9088 fr. 20.
VISANA a pris en charge la totalité des frais d'hospitalisation au Centre hospitalier Z_. Pour les traitements àlaCliniqueB. _, ellearembourséàl'assuréleshonorairesmédicaux, lesfraisdephysiothérapieetceuxdemédicamentsprescrits pendant le séjour, soit 14 858 fr. 90 au total. Elle a refusé, en revanche, de prendre en charge d'autres prestations, notamment les frais de pension et de soins infirmiers facturés par la clinique. Elle a rendu une décision dans ce sens le 21 avril 1997, puis une décision sur opposition, le 29 septembre 1997, par laquelle elle a confirmé son refus.
B.- Du 12 février au 2 mars 1997, G._ a de nouveau séjourné à la Clinique B._, pour y suivre une physiothérapie intensive et des mesures de rééducation à la marche. La caisse a cette fois remboursé à la clinique, le 29 avril 1997, la totalité de sa facture (14 057 fr.), sous déduction d'une participation de l'assuré aux coûts de 529 fr. 50.
Le 10 septembre 1997, elle a écrit à l'assuré que le paiement de cette facture avait été opéré par erreur. En effet, indiquait la caisse, les mesures d'instruction nécessaires au prononcé de la décision sur opposition du 29 septembre 1997 avaient révélé qu'un séjour en milieu hospitalier, aux fins de rééducation, n'était pas nécessaire en l'espèce.
Le 4 décembre 1997, VISANA a notifié à l'assuré une décision par laquelle elle lui réclamait la somme de 2493 fr. correspondant aux prestations, versées selon elle indûment, pour ce second séjour, au titre de l'assurance obligatoire des soins. La caisse déclarait accepter de verser des prestations pour les honoraires médicaux, les frais de radiologie, de physiothérapie, d'examens, de laboratoire et de médicaments, pour un total de 3677 fr.
Par une lettre séparée, elle a demandé à l'assuré de lui restituer le montant de 7887 fr., représentant les prestations versées pour le même séjour au titre de l'assurance complémentaire des frais de guérison à l'hôpital, catégorie privée (14 057 - [3677 + 2493] = 7887).
L'assuré a également formé opposition à la décision précitée du 4 décembre 1997. La caisse a rejeté cette opposition par une décision du 17 février 1998.
C.- Par écriture du 30 octobre 1997, G._ a recouru contre la décision sur opposition du 29 septembre 1997 en concluant à la prise en charge de l'intégralité des frais de son premier séjour à la Clinique B._.
Le 20 mars 1998, il a recouru contre la décision sur opposition du 17 février 1998 en prenant les mêmes conclusions en ce qui concerne la seconde hospitalisation.
Le Tribunal cantonal jurassien (Chambre des assurances) a joint les deux causes. En outre, il a traité comme un recours l'écriture du 20 mars 1998, dans la mesure où le litige portait sur des prestations relevant de l'assurance maladie-obligatoire, et comme une action en tant que cette écriture visait le remboursement de prestations relevant des assurances complémentaires conclues par l'assuré.
Statuant le 16 décembre 1998, le tribunal cantonal a rejeté le recours, ainsi que "toutes autres conclusions" de l'assuré.
D.- G._ interjette un recours de droit administratif dans lequel il conclut, sous suite de frais et dépens, à l'annulation de ce jugement et demande au Tribunal fédéral des assurances de déclarer que VISANA doit en prendre en charge "conformément au contrat d'assurance la liant au recourant" la totalité des frais de ses deux séjours à la Clinique B._. Subsidiairement, il conclut au renvoi de la cause à l'autorité cantonale pour nouveau jugement au sens des motifs.
VISANA conclut au rejet du recours. Quant à l'Office fédéral des assurances sociales (OFAS), il ne s'est pas déterminé à son sujet.

Considérant en droit :
1.- a) Le 1er janvier 1996 est entrée en vigueur la loi fédérale sur l'assurance-maladie du 18 mars 1994 (LAMal), qui remplace celle du 13 juin 1911 (LAMA).
Sous l'empire de la LAMA, le contentieux en matière d'assurances complémentaires au sens de l'art. 3 al. 5 LAMA ressortissait au juge des assurances sociales, selon la procédure définie aux art. 30 ss LAMA (<ref-ruling>, 105 V 296 consid. 1b). Désormais, les assurances complémentaires pratiquées par les assureurs-maladie sont régies par la loi fédérale sur le contrat d'assurance (LCA; RS 221. 229.1), conformément à l'<ref-law>, de sorte que le juge des assurances sociales n'est plus compétent pour connaître des litiges, de nature privée, qui pourraient survenir dans ce domaine entre assureurs et assurés (<ref-ruling> consid. 3 et les références citées).
Le canton du Jura a néanmoins désigné, pour trancher les litiges relatifs aux assurances complémentaires, la même autorité que le tribunal des assurances qui est compétent pour connaître des contestations entre assurés et assureurs dans l'assurance sociale conformément à l'<ref-law>; en l'occurrence, il s'agit de la Chambre des assurances (art. 28 LiLAMal [RS JU 832. 10]). Cette solution, consistant à confier à une même juridiction cantonale les deux types de litiges répond à un voeu exprimé par le législateur à l'occasion des ultimes débats parlementaires au sujet de la LAMal (voir Spira, Le contentieux en matière d'assurance-maladie selon le nouveau droit, Revue jurassienne de jurisprudence [RJJ], 1996 p. 200).
D'autre part, en vertu de l'<ref-law>, les caisses devaient adapter au nouveau droit leurs dispositions relatives aux prestations complémentaires dans le délai d'une année dès l'entrée en vigueur de la LAMal (première phrase), c'est-à-dire au plus tard au 1er janvier 1997. Les droits et les obligations des assurés étaient régis par l'ancien droit tant que l'adaptation n'était pas effectuée (deuxième phrase); pendant cette période transitoire, les litiges en ce domaine continuaient à relever de la compétence du juge des assurances sociales (<ref-ruling>).
b) En l'occurrence, l'intimée a procédé à cette adaptation au 1er janvier 1997, à l'expiration de la période transitoire. Il s'ensuit que le litige relatif à la première hospitalisation (1996) relève, pour l'assurance obligatoire des soins comme pour l'assurance complémentaire, de la compétence du juge des assurances sociales. En revanche, le litige relatif à la seconde hospitalisation (1997) échappe à la compétence du Tribunal fédéral des assurances pour ce qui est de l'assurance complémentaire. Dans la mesure où le recours tend à la prise en charge par l'intimée des frais provoqués par ce second séjour à l'hôpital en vertu des assurances complémentaires conclues entre les parties, il est irrecevable.
2.- Le droit à des prestations pour un traitement en milieu hospitalier implique qu'un tel traitement soit nécessaire. D'après la jurisprudence rendue sous l'empire de la LAMA, le seul fait de séjourner dans un établissement hospitalier ne suffit pas à ouvrir droit aux prestations. Les caisses répondent toutefois de toute hospitalisation rendue indispensable par l'état maladif de leurs assurés lorsque cet état nécessite, non pas forcément un traitement médical, mais simplement un séjour en milieu hospitalier. L'intensité des traitements médicaux qu'exige la maladie n'est pas l'unique critère pour décider si l'état de santé justifie une hospitalisation, notamment lorsqu'un assuré âgé ou vivant seul est dans l'impossibilité de recevoir à domicile la surveillance et les soins requis par son état. Dès lors, le droit aux prestations d'hospitalisation n'existe pas si une hospitalisation a lieu uniquement pour des motifs sociaux, c'est-à-dire si l'assuré n'est pas malade au sens de la loi sur l'assurance-maladie ou si l'ensemble du traitement médical et des autres soins nécessités par sa maladie ne justifie pas un séjour à l'hôpital (<ref-ruling> consid. 3b/aa; RAMA 1991 no K 863 p. 78 consid. 2a et la jurisprudence citée).
Il est admis que cette jurisprudence conserve toute sa valeur sous le régime de la LAMal en ce qui concerne les établissements et leurs divisions qui servent au traitement hospitalier de maladies aiguës ou à l'exécution, en milieu hospitalier, de mesures médicales de réadaptation (hôpitaux) au sens de l'<ref-law> (<ref-ruling> consid. 1b; RAMA 1998no KV 34 p. 289; Eugster, Krankenversicherung, in :Schweizerisches Bundesverwaltungsrecht [SBVR], ch.136 ss; Duc, L'établissement médico-social et la LAMal, in : LAMal-KVG : Recueil de travaux en l'honneur de la Société suisse de droit des assurances, Lausanne 1997, p. 313 et 316. ; Maurer, Das neue Krankenversicherungsrecht, 1996, p. 71 note 181; voir aussi <ref-ruling> consid. 1b, à propos de la délimitation entre le besoin d'hospitalisation pour le traitement d'affections aiguës et le besoin de soins). Cette jurisprudence, en effet, constituait du temps de la LAMA un cas d'application des principes de l'économie et du caractère approprié du traitement (art. 23 LAMA; art. 21 al. 1 Ord. III; cf. <ref-ruling> consid. 2), qui trouvent désormais leur expression à l'<ref-law>, relatif aux conditions générales de la prise en charge des frais de soins (voir aussi l'<ref-law>).
3.- Il convient tout d'abord de statuer sur la prétention du recourant au remboursement des frais de sa première hospitalisation à la Clinique B._. Cette question doit être tranchée à la lumière des principes jurisprudentiels susmentionnés, aussi bien pour l'assurance obligatoire selon la LAMal que pour les assurances complémentaires, à propos desquelles il n'existe en l'occurrence pas de dispositions statutaires contraires.
a) Il ressort d'un rapport du professeur S._, médecin-chef du Centre hospitalier Z_, du 11 juillet 1996, que le patient, après un séjour hospitalier de cinq mois environ dans ce service, pouvait se déplacer sans l'aide d'une canne. Ses déplacements exigeaient néanmoins une certaine surveillance, car il subsistait un risque de chute, l'intéressé n'ayant pas encore acquis les réflexes de "rattrapage". En outre, le patient était à nouveau devenu indépendant, notamment pour la toilette et l'habillage.
On peut conclure de ce rapport que le but de rééducation en milieu hospitalier était atteint en juillet 1996 : c'est précisément dans ce but que l'assuré a été transféré, au sein même du Centre hospitalier Z_, du service de neurologie dans un service de réhabilitation. Le rapport susmentionné ne fait pas état de la nécessité de prolonger le séjour dans un établissement hospitalier et il n'apparaît au demeurant pas qu'un transfert à la Clinique B._ ait été prescrit par un médecin.
En outre, les progrès de rééducation au Centre hospitalier Z_ ont été résumés dans un rapport dit de "Mesure de l'indépendance fonctionnelle". La valeur mesurée a passé de 75 le 21 février 1996 à 107 le 24 mai 1996. D'après le médecin-conseil de la caisse (rapport du 1er décembre 1997), qui se réfère sur ce point à la littérature spécialisée en matière de neurologie, les patients qui ont été frappé d'une attaque et dont la mesure de l'indépendance fonctionnelle atteint 80 après rééducation sont généralement aptes à sortir de l'hôpital. En l'absence d'éléments contraires, il n'y a pas de raison de mettre en doute l'avis de ce praticien à propos de l'interprétation des mesures constatées (cf. <ref-ruling> consid. 1c). Si une surveillance était indispensable pour les déplacements, on est fondé à considérer que l'épouse de l'assuré, bien que relativement âgée (elle était dans sa 73ème année au moment des faits), eût été à même de l'assumer. Il convient en outre de remarquer que les époux bénéficiaient des services d'une employée de maison.
b) Les autres pièces médicales du dossier ne conduisent pas à une autre appréciation du cas. Il en va ainsi, en particulier, de l'avis du médecin traitant de l'assuré, le docteur M._, selon lequel une hospitalisation était nécessaire après le 12 juillet 1996, en raison du risque de chute (rapport du 5 novembre 1996). Cet avis n'apporte rien de nouveau par rapport aux déclarations du professeur S._, qui soulignait déjà l'existence de ce danger. Sur le vu des éléments relevés plus haut, un tel risque ne rendait pas indispensable, à lui seul, une hospitalisation.
Le docteur T._, médecin au service de la Clinique B._, a pour sa part exprimé l'avis que les soins fournis en clinique ont sécurisé le patient. Ce dernier a en outre bénéficié d'un programme de physiothérapie intensive quotidienne, qui eût été "difficilement praticable ambulatoirement" (rapport du 29 mai 1997). On ne peut cependant pas tirer de ce rapport la conclusion qu'une hospitalisation était indispensable et qu'un traitement adéquat de physiothérapie - qui était sans aucun doute indiqué - ne pouvait pas être fourni ambulatoirement, éventuellement de manière moins soutenue, mais sur une période plus étendue.
c) En conséquence, la nécessité d'un traitement hospitalier doit être niée pour la période du 12 juillet au 14 novembre 1996, comme l'ont retenu avec raison les premiers juges. Cette conclusion s'impose sans que les preuves proposées par le recourant (en particulier une expertise médicale) doivent être administrées.
4.- Pour ce qui est de la seconde hospitalisation (1997), il n'y a pas lieudeseprononcersurlesprétentionsquel'assurépourraitdéduiredesassurancescomplémentairesqu'ilaconclues(cf. infraconsid. 1b) : le litige porte donc sur le montant de 2493 fr. que l'intimée a réclamé au recourant au titre de prestations versées en application de la LAMal.
a) Sous le régime de la LAMA, l'<ref-law> était applicable, par analogie, à la restitution de prestations d'assurance-maladie versées indûment (voir par exemple <ref-ruling> consid. 2c). Il l'est de la même manière dans le nouveau droit de l'assurance-maladie selon la LAMal, à défaut de disposition topique qui réglerait la question. Le Tribunal fédéral des assurances a du reste déjà tranché la question dans ce sens, de manière implicite tout au moins (RAMA 1999 n° KV 97 p. 529 consid. 7; voir aussi Eugster, op. cit. , ch. 220; cf. néanmoins l'<ref-law> en ce qui concerne l'obligation de restituer du fournisseur de prestations).
b) La restitution de prestations selon l'<ref-law> suppose que soient remplies les conditions d'une reconsidération ou d'une révision procédurale de la décision par laquelle les prestations en cause ont été allouées (<ref-ruling> consid. 3a, 368 consid. 3, et la jurisprudence citée).
Selon un principe général du droit des assurances sociales, l'administration peut reconsidérer une décision formellement passée en force de chose jugée et sur laquelle une autorité judiciaire ne s'est pas prononcée quant au fond, à condition qu'elle soit sans nul doute erronée et que sa rectification revête une importance notable (<ref-ruling> consid. 3a, 173 consid. 4a, 271 consid. 2, 368 consid. 3 et les arrêts cités). En outre, par analogie avec la révision des décisions rendues par les autorités judiciaires, l'administration est tenue de procéder à la révision d'une décision entrée en force formelle lorsque sont découverts des faits nouveaux ou de nouveaux moyens de preuve, susceptibles de conduire à une appréciation juridique différente (<ref-ruling> consid. 3a, 138 consid. 2c, 173 consid. 4a, 272 consid. 2). Ces principes sont aussi applicables lorsque des prestations ont été accordées sans avoir fait l'objet d'une décision formelle et que leur versement, néanmoins, a acquis force de chose décidée. Il y a force de chose décidée si l'assuré n'a pas, dans un délai d'examen et de réflexion convenable, manifesté son désaccord avec une certaine solution adoptée par l'administration et exprimé sa volonté de voir statuer sur ses droits dans un acte administratif susceptible de recours (<ref-ruling> consid. 3).
c) En l'espèce, il faut admettre que le versement des prestations en cause (qui n'a pas fait l'objet d'une décision formelle) avait acquis force de chose décidée au moment où l'intimée en a demandé la restitution. En effet, il s'est écoulé près de cinq mois entre le moment du paiement des prestations et la demande de remboursement de la caisse. Le recourant, par ailleurs, n'avait aucune raison de remettre en cause le mode de règlement de la caisse, qui lui donnait entièrement satisfaction. Aussi bien doit-on examiner si les conditions d'une reconsidération ou d'une révision procédurale sont remplies dans le cas particulier.
Selon un certificat du docteur M._ du 18 mars 1997, la deuxième hospitalisation à la Clinique B._ a été rendue nécessaire par une dégradation progressive de l'état de santé de l'assuré, avec une perte d'autonomie (p. ex. l'assuré n'arrivait plus à se déplacer seul et à accomplir certains actes ordinaires). Une présence continue était devenue indispensable. Cette présence ne pouvait plus être assurée par l'épouse du patient, en raison de l'état de fatigue de celle-ci. La situation apparaît donc différente de celle qui prévalait au mois de juillet 1996, quand l'assuré a quitté le service de rhumatologie, de médecine physique et de réhabilitation du Centre hospitalier Z_. On peut dès lors sérieusement se demander si l'état de santé du patient ne justifiait pas, cette fois, une hospitalisation. La question peut cependant demeurer indécise, car, quoi qu'il en soit, il n'apparaît en tout cas pas, sur le vu de l'appréciation du docteur M._, que la décision (non formelle) de la caisse d'accorder ses prestations était entachée d'inexactitude manifeste.
D'autre part, on ne voit pas quels faits ou moyens de preuve nouveaux auraient pu justifier une révision procédurale (voir à ce sujet RAMA 1998 n° K 990 p. 253 sv. consid. 3c et les références citées). Les faits étaient connus quand la caisse a versé le montant en question, le 29 avril 1997. A ce moment-là la caisse était déjà en possession du rapport du professeur S._, d'un rapport de la Clinique B._ (du 18 décembre 1996) et d'un avis détaillé de son médecin-conseil (du 1er avril 1997).
5.- En résumé, la caisse était fondée à limiter ses prestations à la prise en charge des coûts correspondant à un traitement ambulatoire, selon des décomptes qui ne sont pas contestés. Le recourant n'a ainsi pas droit à des prestations plus étendues pour les frais occasionnés par son premier séjour à la Clinique B._. En revanche, il n'est pas tenu de rembourser le montant de 2493 fr., concernant le second séjour dans cette clinique.
Le recours, dans la mesure où il est recevable, est ainsi partiellement bien fondé.
6.- Le litige ayant pour objet des prestations d'assurance, la procédure est gratuite (art. 134 OJ). Le recourant, qui obtient très partiellement gain de cause, a droit à une indemnité de dépens réduite pour la procédure fédérale (art. 159 al. 1 OJ en corrélation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Dans la mesure où il est recevable, le recours est partiellement admis. Le jugement du Tribunal cantonal jurassien, Chambre des assurances, du 16 décembre 1998 et la décision sur opposition du 17 février 1998 sont annulés en tant qu'ils concernent la restitution du montant de 2493 fr.
II. Il n'est pas perçu de frais de justice.
III. L'intimée versera au recourant une indemnité de dépens de 600 fr. (y compris la taxe à la valeur ajoutée) pour la procédure fédérale.
IV. Le Tribunal cantonal jurassien statuera sur les dépens pour la procédure de première instance, au regard de l'issue du procès de dernière instance.
V. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal jurassien, Chambre des assurances, et à l'Office fédéral des assurances sociales.
Lucerne, le 18 février 2000
Au nom du
Tribunal fédéral des assurances
LePrésidentdelaIèreChambre :
LeGreffier :/