A.- O._, né en 1964, a été employé comme aide-jardinier par Y._ Sàrl depuis le mois de février1997. En tant que tel, il était assuré pour une indemnité journalière en cas de maladie par un contrat d'assurance collective conclu par son employeur auprès de la Compagnie d'assurances X._. Ce contrat, soumis en vertu des conditions générales d'assurance (CGA) applicables à la loi fédérale sur le contrat d'assurance (LCA), prévoyait comme prestations une indemnité de maladie de 80% du salaire déterminant, avec un délai d'attente de 3 jours et une durée de 727 jours.
Souffrant de douleurs lombaires et dorsales, l'assuré s'est retrouvé dès le 7 avril 1999 en incapacité complète de travail pour une durée indéterminée, et son contrat de travail a été résilié pour le 30 octobre 1999.
B.- Le 16 novembre 1999, O._ a signé une proposition d'assurance maladie individuelle, toujours auprès de X._. Le 19 novembre 1999, X._ a délivré une police d'assurance qui indiquait comme durée du contrat "1.11.1999 - jusqu'à l'âge AVS", comme prestations une indemnité journalière de maladie de 132 fr. avec un délai d'attente de 7 jours et une durée de 727 jours dans une période de 900 jours consécutifs, et comme prime annuelle 5'476 fr. 70.
Cette police mentionnait en outre que les maladies préexistantes étaient également assurées, sous réserve de l'art. 4 CGA, qui prévoit notamment que les maladies ou infirmités qui entraînaient déjà une incapacité de travail au début du contrat restent exclues de l'assurance jusqu'au retour à la pleine capacité de travail.
C.- Après une rééducation intensive ambulatoire du 25 octobre au 12 novembre 1999, le Dr F._ du Service d'orthopédie et de traumatologie de l'appareil moteur du CHUV a adressé le 3 janvier 2000 au Dr D._ une lettre de sortie concernant l'assuré, dans laquelle il posait le diagnostic de lombo-sciatalgies chroniques du côté droit et estimait possible une reprise d'activité professionnelle à 100% dans une activité adaptée.
X._ a confié un mandat d'expertise médicale au Dr C._, spécialiste en médecine physique et réadaptation.
À la demande de l'expert, l'assuré a été soumis préalablement à une évaluation en ergothérapie à la Clinique Valmont à Glion/Montreux, dont il est résulté qu'une reprise professionnelle en tant que jardinier semblait compromise, même à temps partiel, de sorte qu'une réorientation professionnelle paraissait indispensable. Dans son rapport d'expertise du 23 juin 2000, le Dr C._ a conclu qu'en raison des lombo-sciatalgies chroniques du côté droit dont souffrait l'assuré, sa capacité de travail actuelle dans la profession de jardinier était nulle et qu'il n'y avait pas d'évolution positive à attendre; en revanche, dans une activité adaptée, le patient pouvait retrouver une capacité de travail à 100%.
D.- Après avoir dans un premier temps versé les indemnités contractuelles prévues, X._ a écrit le 30 mars 2000 à son assuré qu'elle cessait tout versement après le 31 mars 2000, car elle considérait, sur la base des documents médicaux en sa possession, qu'il était apte à travailler à 100% dès le 1er avril 2000.
Par lettre du 25 août 2000, X._ a informé O._, par son conseil, qu'elle estimait sur la base de l'expertise que l'on pouvait raisonnablement exiger de lui la reprise d'une activité adaptée à son état de santé, et ce depuis le mois de janvier 2000. L'assuré étant entièrement capable de travailler dans le cadre d'une activité professionnelle adaptée, il n'existait plus de droit aux prestations d'indemnités journalières de l'assurance-maladie collective.
X._ offrait toutefois de verser à bien plaire des indemnités journalières jusqu'au 31 août 2000, à condition qu'il n'existe pas avant cette date de droit à des prestations d'une autre assurance sociale.
E.- Le 1er novembre 2000, O._ a saisi le Tribunal des assurances du canton de Vaud d'une demande par laquelle il a pris les conclusions suivantes contre X._:
"I) La défenderesse est tenue de continuer à verser
au demandeur l'indemnité journalière de fr. 132.- depuis le 7 avril 2000 jusqu'à épuisement des
prestations (727 jours depuis le 7 avril 1999).
II) La défenderesse est tenue de verser ses prestations
en vertu de la police d'assurance maladie
collective No 47.102. 365 conclue avec Y._
Sàrl et non pas en vertu de la police individuelle
conclue subséquemment entre les parties.
III) Si la conclusion II est admise, l'assurance
individuelle conclue entre les parties en novembre
1999 est nulle et X._ Assurances doit
restituer au demandeur les primes payées à tort du 1er novembre 1999 au 31 juillet 2000.
IV) Subsidiairement aux conclusions II et III
ci-dessus, la défenderesse est tenue de verser au
demandeur ses prestations en vertu des polices
collective et individuelle.. "
Par jugement du 17 mai 2001, le Tribunal des assurances a condamné la défenderesse à verser au demandeur des indemnités journalières pour la somme de 32'208 fr. - représentant les indemnités journalières selon le contrat individuel pour la période du 1er avril au 30 novembre 2000, soit 244 jours à 132 fr. - ainsi qu'une somme de 2'000 fr. à titre de dépens réduits.
F.- Le demandeur exerce un recours en réforme au Tribunal fédéral contre ce jugement, dont il sollicite principalement la réforme en ce sens que la défenderesse soit condamnée à lui payer des indemnités journalières pour un montant de 48'576 fr. - soit 368 jours à 132 fr. - ainsi qu'un montant de 4'107 fr. 50 à titre de restitution de la prime de l'assurance individuelle; subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à la cour cantonale.
Considérant en droit :
1.- Statuant sur des prétentions déduites d'une assurance privée soumise à la loi fédérale sur le contrat d'assurance, le jugement attaqué tranche une contestation civile portant sur des droits de nature pécuniaire au sens de l'art. 46 OJ. Contrairement à ce que prescrit l'art. 51 al. 1 let. a OJ, le jugement attaqué ne constate pas si la valeur litigieuse exigée par l'art. 46 OJ est atteinte. Cette omission n'affecte toutefois pas la recevabilité du recours; en effet, le demandeur a mentionné dans son recours, conformément à l'art. 55 al. 1 let. a OJ, que la valeur litigieuse était atteinte, et il résulte d'emblée et avec certitude des pièces du dossier que cette valeur - qui, contrairement à ce que paraît penser le demandeur, se détermine d'après les droits contestés dans la dernière instance cantonale (art. 46 OJ), et non d'après le montant qui reste litigieux devant l'instance fédérale - dépasse 8'000 fr. (ATF 109 II 491 consid. 1c/ee; 90 IV 267 consid. 1; 87 II 113 consid. 1; 83 II 245 consid. 2; 82 II 592; 82 III 94; 81 II 309; 79 III 172).
Formé en temps utile contre une décision finale qui a été prise par un tribunal suprême d'un canton et qui ne peut pas être l'objet d'un recours ordinaire de droit cantonal, le recours en réforme est donc recevable au regard des art. 46, 48 al. 1 et 54 al. 1 OJ.
2.- a) Dans un récent arrêt publié, le Tribunal fé-déral a exposé que dans une assurance collective d'indemnités journalières selon la LCA, le droit aux prestations ne dépend pas d'une affiliation, contrairement à ce qui est le cas - selon la jurisprudence du Tribunal fédéral des assurances - de l'assurance collective d'indemnités journalières selon les art. 67 ss LAMal; partant, l'assuré qui, après un événement ouvrant le droit aux prestations, sort d'une assurance collective parce qu'il cesse d'appartenir au cercle des assurés défini par le contrat, peut faire valoir son droit aux prestations également pour les suites de l'événement qui se produisent après l'extinction du rapport d'assurance, sous réserve d'éventuelles clauses conventionnelles limitant ou supprimant le droit aux prestations au-delà de la période de couverture (ATF 127 III 106 consid. 3, approuvé par Ueli Kieser, PJA 2001 p. 707-710, lequel critique en revanche la jurisprudence du Tribunal fédéral des assurances relative à l'assurance collective d'indemnités journalières selon les art. 67 ss LAMal).
Se référant à cet arrêt, la cour cantonale a considéré qu'en l'espèce, les parties avaient limité conventionnellement le droit aux prestations au delà de la période de couverture du contrat d'assurance collective, de sorte que c'est selon le contrat d'assurance individuelle que l'assuré devait être indemnisé. À l'appui de cette affirmation, elle a cité, sans toutefois exposer son raisonnement, l'art. 8 CGA.
Le demandeur soutient que cette disposition ne traite nullement d'une limitation du droit aux prestations au delà de la période de couverture pour un sinistre survenu pendant la période de couverture, mais exclusivement de la couverture d'assurance, de son extinction et de son maintien à titre d'assurance individuelle.
b) L'art. 8 des conditions générales d'assurance litigieuses, dans ce qu'il a d'utile à retenir pour la présente espèce, a la teneur suivante:
"Article 8 Quand la couverture prend-elle fin?
1. Possibilités
La couverture d'assurance pour chaque assuré prend
fin, pour toutes les prestations assurées, par:
a) l'extinction ou la suspension du contrat;
b) la sortie du cercle des personnes assurées;
(...)
2. Maintien de la couverture
En cas d'extinction de la couverture d'assurance
selon chiffre 1 litt. a ou b, l'assuré a le droit
de continuer de bénéficier de la couverture
d'assurance à titre d'assurance individuelle (art. 17 CGA).
3. Prolongation de la couverture
Si, à l'extinction resp. à la suspension du contrat
ou à la sortie du cercle des personnes assurées, un
assuré a déjà droit à des prestations d'assurance,
celles-ci continueront à lui être versées jusqu'à
l'expiration de la durée convenue dans le contrat,
mais au plus tard jusqu'à la naissance du droit à
une rente selon la LPP (Loi fédérale du 25 juin
1982 sur la prévoyance professionnelle vieillesse,
survivants et invalidité).
4. Restriction de la prolongation de la couverture
Cette prolongation de la couverture n'est pas
applicable:
- en cas de maintien de la couverture d'assurance à
titre d'assurance individuelle;
(...)"
Cette disposition semble confondre la couverture d'assurance avec la période pendant laquelle l'assuré peut prétendre à des prestations. Elle prévoit sous chiffre 3, inexactement intitulé "Prolongation de la couverture", que si, à la sortie du cercle des personnes assurées, un assuré a déjà droit à des prestations d'assurance, celles-ci continueront à lui être versées jusqu'à l'expiration de la durée convenue; il s'agit là d'une évidence dans le système de l'assurance privée, dans lequel - contrairement à ce qui se passe dans l'assurance sociale selon la jurisprudence du Tribunal fédéral des assurances (cf. ATF 125 V 106 consid. 3, 112 consid. 3c) - le droit aux prestations n'est pas lié à l'affiliation, en ce sens qu'il peut perdurer après l'extinc-tion du rapport d'assurance (cf. ATF 127 III 106 consid. 3).
Toutefois, le chiffre 4 paraît vouloir dire que si, au moment de l'extinction du rapport d'assurance, un assuré a droit à des prestations d'assurance en vertu de l'assurance collective, celles-ci cesseront de lui être versées "en cas de maintien de la couverture d'assurance à titre d'assurance individuelle".
Cela signifierait, contre toute logique, qu'un assuré qui est en incapacité de travail lorsqu'il sort du cercle des personnes assurées - notamment à la suite de la résiliation de son contrat de travail par son employeur - perd son droit aux prestations s'il conclut un nouveau contrat d'assurance d'indemnités journalières à titre individuel, tandis qu'il conserve ce droit dans le cas contraire. En effet, dans le système d'assurance de la défenderesse, le "maintien de la couverture d'assurance à titre d'assurance individuelle" suppose la conclusion d'un nouveau contrat, dans lequel le preneur d'assurance n'est plus l'employeur comme dans l'assurance collective, mais le travailleur. Or dans un tel cas, l'assuré ne peut avoir droit à des prestations pour une incapacité de travail qui existait déjà lors du passage dans l'assurance individuelle: cela serait contraire à l'art. 9 LCA, aux termes duquel le contrat d'assurance est nul - sous réserve des cas prévus à l'art. 100 al. 2 LCA, dont les conditions ne sont pas réalisées en l'espèce puisque le demandeur ne cherche pas à exercer une activité à plein temps (art. 10 al. 1 LACI), ayant au contraire déposé une demande de rente AI en faisant état d'une incapacité de travail entière dès le 7 avril 1999 - si, au moment où il a été conclu, le sinistre était déjà survenu; c'est d'ailleurs pourquoi l'art. 4 chiffre 2 des conditions générales d'assurance jointes à la police du 19 novembre 1999 prévoit que les maladies ou infirmités qui entraînaient déjà une incapacité de travail au début du contrat restent exclues de l'assurance jusqu'au retour à la pleine capacité de travail.
c) Selon la jurisprudence, celui qui signe un texte comportant une référence expresse à des conditions générales est lié au même titre que celui qui appose sa signature sur le texte même des conditions générales, sans qu'il importe qu'il ait réellement lu les conditions générales en question (ATF 119 II 443 consid. 1a; 109 II 452 consid. 4; 108 II 416 consid. 1b). La validité des conditions générales d'affaires préformées doit toutefois être limitée par la règle dite de l'inhabituel, ou de l'insolite (Ungewöhnlichkeitsregel), en vertu de laquelle sont soustraites de l'adhésion censée donnée globalement à des conditions générales toutes les clauses inhabituelles, sur l'existence desquelles l'attention de la partie la plus faible ou la moins expérimentée en affaires n'a pas été spécialement attirée (ATF 119 II 443 consid. 1a et les références citées). Pour qu'une clause soit considérée comme insolite, il ne suffit pas que le contractant soit inexpérimenté dans la branche économique en question; il faut en plus de ce critère subjectif que, par son objet, la clause considérée soit étrangère à l'affaire, c'est-à-dire qu'elle en modifie de manière essentielle la nature ou sorte notablement du cadre légal d'un type de contrat (ATF 119 II 443 consid. 1a; 109 II 452 consid. 5b et les références citées).
En l'espèce, l'art. 8 chiffre 4 des conditions générales d'assurance litigieuses constitue manifestement une clause insolite. En effet, comme on l'a vu, l'assuré qui est en incapacité de travail au moment de la cessation du rapport d'assurance collective perd son droit aux indemnités journalières découlant de ladite assurance collective s'il conclut un nouveau contrat d'assurance d'indemnités journalières à titre individuel, lequel ne lui donne droit à aucune prestation s'agissant d'un sinistre qui était déjà survenu lors de la conclusion du nouveau contrat. Le demandeur, travailleur non qualifié et sans expérience dans la branche des assurances, n'avait pas à prendre en compte une clause aussi inhabituelle, dans la mesure où cette clause, sur laquelle son attention n'avait pas été spécialement attirée, affaiblissait considérablement sa position juridique alors qu'il se souciait précisément, en sollicitant son passage dans l'assurance individuelle, de sauvegarder au mieux ses intérêts d'assuré.
Il s'ensuit que l'art. 8 chiffre 4 CGA n'est pas opposable au demandeur, qui a ainsi droit aux prestations de l'assurance collective pour l'incapacité de travail qui s'est prolongée au-delà de la période de couverture de cette assurance.
3.- a) Dans un arrêt non publié du 23 octobre 1998 qui concernait comme ici une assurance collective d'indemnités journalières selon la LCA (arrêt 5C.176/1998, consid. 2c), le Tribunal fédéral a considéré que l'art. 61 LCA est l'expression du même principe général dont le Tribunal fédéral des assurances déduit, en matière d'assurance d'indemnités journalières soumise au droit des assurances sociales, l'obligation de l'assuré de diminuer le dommage par un changement de profession lorsqu'un tel changement peut raisonnablement être exigé de lui, pour autant que l'assureur l'ait averti à ce propos et lui ait donné un délai adéquat (cf. ATF 111 V 235 consid. 2a; 114 V 281 consid. 3a). Selon la jurisprudence du Tribunal fédéral des assurances, lorsque l'assuré doit envisager un changement de profession en regard de l'obligation de diminuer le dommage, la caisse doit l'avertir à ce propos et lui accorder un délai adéquat - pendant lequel l'indemnité journalière versée jusqu'à présent est due - pour s'adapter aux nouvelles conditions ainsi que pour trouver un emploi; dans la pratique, un délai de trois à cinq mois imparti dès l'avertissement de la caisse doit en règle générale être considéré comme adéquat (arrêt non publié K 14/99 du 7 février 2000, reproduit in RKUV 2000 KV 112 122, consid. 3a).
b) Après avoir rappelé ce qui vient d'être exposé, la cour cantonale a retenu la lettre de la défenderesse du 25 août 2000 (cf. lettre D supra) comme l'expression de l'avertissement nécessaire, car avant que le résultat de l'expertise confiée au Dr C._ ne soit communiqué, tout avertissement ne pouvait être donné valablement, l'assuré ne pouvant pas mettre en oeuvre sa capacité de travail si elle n'avait pas encore été déterminée. Considérant toutefois que la proposition de la défenderesse de verser ses prestations jusqu'à la fin du mois d'août 2000 n'était pas acceptable, la cour cantonale a estimé que, vu les explications de l'assurance défenderesse et de l'assuré demandeur, un délai de trois mois à partir de cette date était adéquat. Ainsi, la défenderesse n'ayant versé des indemnités journalières que jusqu'au 31 mars 2000, elle devait encore verser des indemnités pour la période allant jusqu'au 30 novembre 2000 - représentant 244 jours à 132 fr., soit 32'208 fr. - et non pour celle allant jusqu'au 5 avril 2001, fin de la durée maximale de 727 jours.
c) C'est en vain que le demandeur critique sur ce point le jugement attaqué, qui est conforme à la jurisprudence rappelée plus haut (consid. 3a supra). L'art. 61 LCA est certes de droit dispositif (cf. art. 97 et 98 LCA; Hönger/Susskind, Basler Kommentar, Bundesgesetz über den Versicherungsvertrag, 2001, n. 29 ad art. 61 LCA; Maurer, Schweizerisches Privatversicherungsrecht, 3e éd., 1995, p. 345), mais il ne résulte pas des constatations de fait du jugement attaqué (art. 63 al. 2 OJ) que les parties auraient adopté sur ce point une réglementation plus favorable à l'assuré.
Selon l'art. 61 al. 2 LCA, si l'ayant droit contrevient à son obligation posée à l'al. 1 de faire tout ce qui est possible pour réduire le dommage, l'assureur peut réduire l'indemnité au montant auquel elle serait ramenée si l'obligation avait été remplie. L'ayant droit remplit son obligation de faire ce qui peut raisonnablement être exigé de lui pour réduire son dommage s'il prend à cette fin les mesures que prendrait un homme raisonnable dans la même situation s'il ne pouvait attendre aucune indemnisation de tiers (Hönger/Susskind, op.
cit. , n. 15 ad art. 61 LCA; Maurer, op. cit. , p. 344 et les références citées). En l'occurrence, tous les examens médicaux ont conclu à une capacité de travail entière dans une activité adaptée. Si, comme l'aurait fait dans la même situation tout homme raisonnable ne pouvant attendre aucune indemnisation de tiers, le demandeur avait mis à profit cette capacité de travail dans le délai de plus de trois mois dès l'avertissement que les juges cantonaux ont considéré comme approprié eu égard aux circonstances de l'espèce, la défenderesse n'aurait plus eu à servir d'indemnités journalières au delà du 30 novembre 2000. Comme rien dans les constatations du jugement attaqué (cf. art. 63 al. 2 OJ) ne permet de retenir que l'inaction du demandeur à cet égard était excusable (cf. Hönger/Susskind, op. cit. , n. 27 ad art. 61 LCA), le jugement attaqué apparaît conforme au droit fédéral.
4.- Les prétentions du demandeur tendant à la répétition des primes de l'assurance individuelle prétendument payées à tort pour la période du 1er novembre 1999 au 31 juillet 2000 sont dénuées de fondement, puisque, contrairement à ce qu'affirme le demandeur, le contrat d'assurance individuelle conclu en novembre 1999 n'est pas nul au regard de l'art. 9 LCA. En effet, comme on l'a vu, l'art. 4 chiffre 2 des conditions générales d'assurance jointes à la police du 19 novembre 1999 prévoit que les maladies ou infirmités qui entraînaient déjà une incapacité de travail au début du contrat restent exclues de l'assurance jusqu'au retour à la pleine capacité de travail (cf. consid. 2b supra). Ainsi, l'assurance en question ne pouvait viser que les sinistres futurs, de sorte qu'elle est parfaitement valable au regard de l'art. 9 LCA.
5.- En définitive, la motivation du jugement attaqué s'avère erronée en ce sens que le demandeur a droit à des indemnités journalières sur la base du contrat d'assurance collective conclu par son ancien employeur, et non, comme l'a retenu à tort l'autorité cantonale, en vertu du contrat d'assurance individuelle conclu en novembre 1999 (cf. consid. 2 supra). Le demandeur ne prétend toutefois pas que le montant des indemnités journalières selon le contrat collectif - correspondant à 80% du salaire déterminant, lequel n'est pas indiqué dans le jugement attaqué - serait plus élevé que le montant de 132 fr. pris en compte par la cour cantonale. Dans son résultat, le jugement attaqué doit ainsi être confirmé.
6.- En définitive, le recours doit être rejeté et le jugement entrepris confirmé. Le recourant, qui succombe, supportera les frais judiciaires (art. 156 al. 1 OJ). Il n'y a en revanche pas lieu d'allouer de dépens dès lors que l'intimée n'a pas été invitée à procéder et n'a en conséquence pas assumé de frais en relation avec la procédure devant le Tribunal fédéral (art. 159 al. 1 et 2 OJ; Poudret/Sandoz-Mo-nod, Commentaire de la loi fédérale d'organisation judiciaire, vol. V, 1992, n. 2 ad art. 159 OJ).
Par ces motifs,
le Tribunal fédéral :
1. Rejette le recours et confirme le jugement attaqué.
2. Met un émolument judiciaire de 3'000 fr. à la charge du recourant.
3. Communique le présent arrêt aux mandataires des parties et au Tribunal des assurances du canton de Vaud.
_
Lausanne, le 7 mai 2002 ABR/frs
Au nom de la IIe Cour civile
du TRIBUNAL FEDERAL SUISSE :
Le Président,
Le Greffier,