A.- a) P._ a travaillé, depuis 1981, comme monteur de conduites de gaz au service de la société R._SA. Il est assuré auprès de la Caisse-maladie et accidents Philos, section assurance-maladie paritaire du bois et du bâtiment (ci-après : la caisse), au titre notamment d'indemnités journalières.
P._ a subi une première incapacité de travail du 30 mars au 31 octobre 1993, en raison de lombalgies. Les différents examens médicaux effectués durant cette période n'ayant rien révélé de particulier, un examen psychiatrique a été réalisé par les docteurs S._ et Z._, respectivement médecin associé et médecin assistant au Département universitaire de psychiatrie adulte (DUPA). Dans leur rapport du 8 novembre 1993, ces médecins ont posé le diagnostic de troubles somatoformes douloureux chez une personnalité à traits paranoïaques dans le cadre de difficultés familiales et professionnelles. Ils ont préconisé une reprise du travail, observant toutefois que le patient donnait l'impression d'être installé dans une symptomatolgie douleureuse et "d'avoir toute une kyrielle de symptômes de remplacement déjà prêts".
Du 4 octobre au 5 novembre 1995, du 28 novembre au 17 décembre 1995 et dès le 10 janvier 1996, P._ a été incapable de travailler selon son médecin traitant. A l'issue d'un examen médical, le docteur Y._, médecin-conseil de la caisse, a fait état, dans son rapport du 14 mars 1996, d'une symptomatologie inchangée depuis son rapport du 4 juin 1993 (lombalgies sans sciatalgies et talalgies). Il proposait une reprise graduelle du travail. L'assuré a interrompu son travail après une demi-journée.
A la demande du médecin traitant, le docteur H._, spécialiste FMH en médecine interne et maladies rhumatismales, a examiné P._. Dans un rapport du 10 mai 1996, ce praticien a rappelé que l'assuré présente des lombalgies chroniques, des poly-arthralgies et des talalgies. Les examens ne permettent pas d'expliquer entièrement, du point de vue rhumatologique, la symptomatologie douloureuse ni son intensité. La capacité de travail dans la profession est cependant réduite. Il appartiendra, cas échéant, au psychiatre de déterminer l'existence et d'évaluer les conséquences d'un possible syndrome somatoforme douleureux.
Dans un rapport du 10 juin 1996, les docteurs B._ et C._, respectivement chef de clinique et médecin-assistant au DUPA, ont confirmé le diagnostic de troubles somatoformes douloureux chez une personnalité paranoïaque qui avait été posé en 1993. Le pronostic était très réservé et la reprise du travail semblait impossible aux praticiens du DUPA.
Par décision du 14 juin 1996, la caisse a mis fin au versement des indemnités journalières avec effet au 23 juin suivant.
b) L'assuré ayant formé opposition, la caisse a chargé le docteur X._, spécialiste en psychiatrie et psychothérapie, d'une expertise. Dans un rapport du 11 novembre 1996, ce praticien a constaté que l'assuré présentait les caractéristiques d'une personnalité borderline, non décompensée actuellement, prise dans un processus de revendication, ne faisant rien pourallermieuxsurleplanphysique. Ilnes'agissaitpasd'untroublesomatoformedouloureux. Lacapacitédetravailétaitentière.
Par décision sur opposition du 17 décembre 1996, la caisse a prolongé jusqu'au 31 janvier 1997 le droit aux indemnités journalières, indiquant qu'elle ne verserait plus de prestation pour incapacité de travail au-delà de cette date.
B.- Dans le cadre de l'instruction de la cause, le Tribunal des assurances du canton de Vaud a requis le dossier de l'assurance-invalidité, dont il ressort que l'assuré a accompli un stage au Centre d'observation professionnelle de l'AI dès le 27 janvier qu'il a interrompu le 7 février 1997. Le rapport du COPAI du 25 février 1997 mentionne qu'il était illusoire de vouloir remettre cette personne au travail. Cette conclusion était partagée par le docteur M._, médecin-conseil du COPAI (rapport du 3 mars 1997).
Par jugement du 5 mai 1999, le Tribunal des assurances du canton de Vaud a admis le recours formé contre cette décision par P._. Il a considéré que les troubles somatoformes douloureux dont est atteint le prénommé constituent une entrave à l'exercice de toute activité lucrative, y compris les tâches légères et sédentaires. Il a ordonné à la caisse de poursuivre le versement des pleines indemnités journalières au-delà du 31 janvier 1997 "ce jusqu'à un éventuel rétablissement de la capacité de travail de l'assuré à raison de la moitié au moins, à défaut jusqu'au terme légal des prestations".
C.-La caisse interjette un recours de droit administratif dans lequel elle conclut à l'annulation du jugement cantonal et au rétablissement de la décision sur opposition du 17 décembre 1996.
P._ conclut au rejet du recours. L'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- Selon l'<ref-law>, le droit à l'indemnité journalière prend naissance lorsque l'assuré a une capacité de travail réduite au moins de moitié (première phrase). Les indemnités journalières doivent être versées pour une ou plusieurs maladies, durant au moins 720 jours dans une période de 900 jours (<ref-law>). En cas d'incapacité partielle de travail, une indemnité journalière réduite en conséquence est versée pendant la durée prévue au troisième alinéa (<ref-law>).
Le versement d'une indemnité journalière d'assurance-maladie suppose ainsi une incapacité de travail. Est considéré comme incapable de travailler l'assuré qui, à la suite d'une atteinte à la santé, ne peut plus exercer son activité habituelle ou ne peut l'exercer que d'une manière limitée ou encore avec le risque d'aggraver son état (<ref-ruling> consid. 1c, 111 V 239 consid. 1b). Pour déterminer le taux de l'incapacité de travail, il faut, selon la jurisprudence, établir dans quelle mesure l'assuré ne peut plus, en raison de l'atteinte à la santé, exercer son activité antérieure, compte tenu de sa productivité effective et de l'effort que l'on peut raisonnablement exiger de lui. En revanche, l'estimation médico-théorique de l'incapacité de travail n'est pas déterminante (<ref-ruling> consid. 1c et les références). Ces principes, développés sous l'empire de la LAMA, sont également applicables sous le nouveau régime de la LAMal (RAMA 1998 no KV 45 p. 430).
2.- a) Lorsque des expertises ordonnées au stade de la procédure administrative sont établies par des spécialistes reconnus, sur la base d'observations approfondies et d'investigations complètes, ainsi qu'en pleine connaissance du dossier, et que les experts aboutissent à des résultats convaincants, le juge ne saurait les écarter aussi longtemps qu'aucun indice concret ne permet de douter de leur bien-fondé (<ref-ruling> consid. 1c et les références).
b) En l'espèce, les avis médicaux relatifs aux affections psychiques sont totalement divergents. Les médecins du DUPA ont retenu, sur la base d'examens pratiqués en 1993 et 1996, que l'assuré souffrait de troubles somatoformes douloureux. Ce diagnostic est également celui qui a été évoqué par d'autres médecins, non spécialistes en psychiatrie, Pour sa part, le Dr. X._ écarte ce diagnostic, sans pour autant en donner les motifs. Les conséquences de ces affections pour l'assuré font également l'objet d'appréciations divergentes. Alors que le Dr. X._, suivant son diagnostic, considère que la capacité travail de l'assuré est totale, d'autres médecins, comme le Dr. M._, se prononcent pour une incapacité de travail. Quant aux médecins du DUPA, bien qu'ils se fondent sur le même diagnostic posé à trois ans d'intervalle, ils aboutissent, sans explication particulière, à des conclusions divergentes quant aux conséquences sur la capacité de travail de l'assuré, l'appréciation donnée en 1996 étant au demeurant particulièrement prudente au regard de la forme utilisée.
Dans ces conditions, et contrairement à l'avis des juges cantonaux, il n'est pas possible de statuer en fait sur la situation de l'assuré ni d'en tirer les conséquences en droit. Certes, l'avis du Dr. X._ émane d'un expert commis en procédure administrative mais il n'y a pas lieu de suivre dans le cas particulier ses conclusions dès lors que les avis divergents d'autres spécialistes, non discutés dans l'expertise, apparaissent propres à mettre en doute les conclusions de l'expert. En revanche, il ne se justifiait pas davantage de suivre l'opinion contraire donnée par les médecins du DUPA en 1996 dès lors que, notamment, il y avait divergence inexpliquée entre les avis émanant de médecins de la même institution spécialisée en 1993 et 1996 et que les dernières conclusions quant à l'incapacité de travail paraissent relever seulement du domaine du possible.
Au demeurant, l'existence des troubles organiques, signalés par le Dr. H._ n'est pas clairement prise en compte dans l'évaluation de la capacité de travail de l'intimé. Dans ces conditions, un complément d'instruction s'impose afin de déterminer si et dans quelle mesure la capacité de travail de l'assuré est diminuée par une atteinte à la santé psychique et physique. Une expertise médicale pluridisciplinaire serait une mesure appropriée.
3.- Vu la nature du litige, la procédure est gratuite (art. 134 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I. Le recours est partiellement admis et le jugement du Tribunal des assurances du canton de Vaud du 5 mai 1999 est annulé.
II. La cause est renvoyée à la juridiction cantonale pour complément d'instruction et nouveau jugement.
III. Il n'est pas perçu de frais de justice, ni alloué de dépens.
IV. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 16 février 2000
Au nom du
Tribunal fédéral des assurances
Le Président de la IIe Chambre :
La Greffière :