A.- a) M._, a été victime d'un accident de la circulation le 2 septembre 1978. Cet événement a eu pour conséquence la résurgence de douleurs au niveau de la colonne vertébrale lombaire, alors que le prénommé était déjà atteint d'un syndrome lombosacral traité en 1977 et 1978 et souffrait de dorsalgies. Il a été mis au bénéfice d'une rente d'invalidité, fondée sur un taux d'incapacité de gain de 40 %, de la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Par la suite, il a été opéré à deux reprises, en 1982 et 1983, pour une hernie discale.
De son côté, l'assurance-invalidité lui a tout d'abord alloué une demi-rente dès le 1er septembre 1983, puis un quart de rente dès le 1er novembre 1991, remplacée par une demi-rente à partir du 1er octobre 1994, avant de lui reconnaître, dès le 1er octobre 1995, le droit à une rente entière.
Dessinateur en architecture de formation, l'assuré a, après une reconversion en 1984 dans un emploi de technicien paysagiste exercé à 50 % suivie d'une période de chômage, retrouvé une activité à temps partiel (30 %) en qualité de collaborateur auprès de la Régie X._, à partir du 1er septembre 1994. A ce titre, il était assuré contre les accidents professionnels et non professionnels, auprès de l'Elvia, Société suisse d'assurances, dont la nouvelle raison sociale est Allianz Suisse, Société d'assurances dès le 1er janvier 2002 (ci-après : l'Elvia).
b) Le 27 juin 1995, M._ a subi un nouvel accident de la circulation au cours duquel sa voiture a été percutée à l'arrière par un véhicule qui n'a pas pu s'arrêter à temps (déclaration d'accident LAA du 29 décembre 1995). Il a subi un traumatisme cervical et lombaire. L'Elvia a pris en charge son cas.
Dans un rapport du 15 janvier 1996, le docteur A._, médecin traitant de l'assuré, a diagnostiqué un syndrome cervical post-traumatique ainsi qu'une exacerbation post-traumatique de lombalgies chroniques. Il a attesté d'une incapacité de travail de 100 % depuis le 27 juin 1995. Consulté par l'assuré, le docteur B._ a fait état d'une discopathie C 5/6 et C 6/7 et d'une discopathie et ostéochondrose L 4/5 et L 5/S 1 ainsi que, comme suites de l'accident du 27 juin 1995, d'un status après traumatisme d'accélération cervical, de contractures et myalgies cervicales, cervico-scapulaires et dorsales supérieures, de raideur cervicale fonctionnelle et d'une hypermobilité du segment C 4/5. Ce médecin indiquait en outre qu'il n'était pas possible de déterminer dans quelle mesure l'incapacité de travail totale présentée par le patient à la suite de l'accident résultait de l'état cervical post-traumatique seul, sans atteintes dégénérative cervicale, lombaire et neurologique préexistantes (rapport du 10 février 1998).
Par décision du 29 octobre 1998, l'Elvia a mis fin à ses prestations avec effet au 1er janvier 1998, en considérant que les atteintes à la santé de l'assuré n'étaient plus, au-delà de la fin du mois de décembre 1997, dans un rapport de causalité avec l'accident du 27 juin 1995. Elle était d'avis que la symptomatologie douloureuse au niveau de la nuque, déclenchée par l'événement assuré, devait être considérée comme la conséquence d'une décompensation d'une cervicarthrose qui était déjà présente lors de l'accident.
En cours d'instruction sur l'opposition formée par M._ contre cette décision, un rapport d'expertise établi le 14 juillet 2000 à la demande de l'assureur par les docteurs C._ et D._ du Centre hospitalier Y._ a été produit. Selon ces médecins, l'assuré présentait une cervicalgie chronique, caractérisée par une limitation douloureuse à la mobilisation de la tête, un syndrome du canal carpien bilatéral déjà reconnu avant l'accident de juin 1995, la présence d'un trémor d'attitude atypique datant d'un malaise subi en mai 1996, une périarthropathie de l'épaule gauche décrite en relation avec l'accident de 1995 et des lombalgies chroniques fluctuantes avec sciatalgies dans le cadre d'un status 18 ans après une double cure de hernie discale. Ces praticiens estimaient qu'il existait une causalité naturelle possible entre l'exacerbation de certains symptômes présentés par le patient et l'accident de juin 1995, notamment cervicalgies, céphalées et scapulalgies; aucune séquelle organique ou neurologique objectivable de l'accident ne pouvait cependant être notée.
Le 19 janvier 2001, l'assureur a rendu une décision rejetant l'opposition dont il était saisi.
B.- Par jugement du 12 novembre 2001, le Tribunal administratif du canton de Berne, Cour des affaires de langue française, a rejeté le recours formé par l'assuré contre cette décision.
C.- M._ interjette recours de droit administratif contre ce jugement dont il requiert l'annulation. Il conclut, sous suite de dépens, principalement à l'octroi de prestations de l'assurance-accidents (rente et indemnité) et subsidiairement, au renvoi de la cause à l'intimée pour complément d'instruction en vue de l'allocation d'une rente.
L'Elvia conclut au rejet du recours, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé.

Considérant en droit :
1.- Le présent litige a pour objet le droit de l'assuré à des prestations de l'assurance-accidents ensuite de l'accident du 27 juin 1995; singulièrement, il s'agit de déterminer si les troubles dont il souffre encore après l'événement assuré demeurent en rapport de causalité naturelle avec ce dernier.
2.- Le jugement entrepris expose correctement les principes jurisprudentiels concernant la causalité naturelle et adéquate, ainsi que l'appréciation par le juge des documents médicaux de sorte qu'il suffit d'y renvoyer.
3.- a) Se référant aux conclusions des médecins du Centre hospitalier Y._, les premiers juges ont retenu que le lien de causalité naturelle entre les atteintes à la santé du recourant et l'accident du 27 juin 1995 n'était pas établi, si bien que l'intimée était fondée à mettre un terme au 31 décembre 1997 au versement des prestations dues pour les suites de cet événement.
b) Le recourant fait valoir principalement que les premiers juges ne pouvaient se fonder sur le seul rapport du Centre hospitalier Y._, en écartant les conclusions des autres praticiens consultés, pour nier la persistance du lien de causalité naturelle.
4.- a) En l'espèce, dans leur rapport du 14 juillet 2000, les docteurs C._ et D._ ont retenu que l'expertisé présentait, entre autres troubles, une cervicalgie chronique, caractérisée par une limitation douloureuse à la mobilisation de la tête, ainsi que des lombalgies fluctuantes avec sciatalgies dans le cadre d'un status 18 ans après une double cure de hernie discale. Selon eux, il n'existait aucune séquelle organique ou neurologique objectivable de l'accident de juin 1995, même s'il existait une causalité naturelle - qu'ils ne qualifiaient toutefois que de possible - entre l'exacerbation de certains symptômes présentés par le patient et cet accident, notamment cervicalgies, céphalées et scapulalgies. A leur avis, les facteurs étrangers à l'accident jouaient un rôle important dans les manifestations décrites par le patient.
Selon cette expertise, - qui, convaincante et rédigée à la suite d'examens complets, répond à toutes les conditions posées par la jurisprudence pour lui reconnaître une pleine valeur probante (<ref-ruling> consid. 31, 122 V 160 consid. 1c et les références) -, le lien de causalité naturelle entre l'événement assuré et les troubles dont le recourant est encore victime paraît seulement possible. Or, la seule possibilité d'un lien de causalité naturelle ne saurait suffire au regard des exigences de preuve posées par la jurisprudence (cf. <ref-ruling> consid. 1).
Contrairement à ce que soutient le recourant, les rapports émanant du docteur A._ et du docteur B._ ne justifient pas de s'écarter de l'appréciation des praticiens du Centre hospitalier Y._ sur laquelle se sont fondés les premiers juges. Dans son rapport du 11 décembre 1996, le docteur A._ indique certes que le recourant a subi un traumatisme par accélération de la colonne cervicale en juin 1995 et a développé par la suite des cervicalgies chroniques qui ont pu être soulagées partiellement par une balnéothérapie à Yverdon durant le printemps 1996. Il constate cependant que les examens radiologiques n'ont pas pu montrer de lésions traumatiques certaines (rapport du 15 janvier 1996).
Dans le même sens, le docteur B._ a certes considéré comme des "atteintes liées à l'accident du 26.6.95", les douleurs cervicales, maux de tête, contractures et douleurs de la musculature cervicale, dorsale supérieure et cervico-scapulaire (rapport du 10 février 1998). Il a toutefois retenu que le recourant était atteint de discopathies lombaires (L 4/5, L 5/S1) et cervicales (C 5/6 et C 6/7), causées par une dégénération maladive et que l'accident de 1995 n'avait pas provoqué de péjoration des discopathies et n'avait pas influencé l'état de la colonne lombaire. Il n'était par ailleurs pas possible, à son avis, de déterminer l'incapacité de travail qui résulterait de l'état cervical post-traumatique "seul sans atteinte dégénérative, cervicale préexistante (discopathie), lombaire préexistante et neurologique préexistante".
Il ressort des rapports précités que ni le docteur A._, ni le docteur B._ n'ont pu, à l'instar des docteurs C._ et D._, mettre en évidence un déficit fonctionnel de nature post-traumatique lié à l'événement assuré, ce que le recourant ne conteste au demeurant pas. Dès lors, leur appréciation ne remet nullement en cause les constatations des médecins du Centre hospitalier Y._ et ne permet pas d'admettre, au degré de la vraisemblance prépondérante, l'existence d'un lien de causalité naturelle entre le traumatisme subi et les atteintes à la santé du recourant. Partant, on ne saurait reprocher aux premiers juges de s'en être tenus à l'avis des docteurs C._ et D._ et d'avoir retenu, en l'absence de séquelles organiques ou neurologiques objectivables des troubles du recourant, que ceux-ci n'étaient plus dans un rapport de causalité naturelle avec l'accident du 27 juin 1995.
b) Comme l'a à juste titre constaté l'instance cantonale de recours, les conséquences de l'accident en question ne sauraient être qualifiées de lésions consécutives à un accident de type "coup du lapin", contrairement à ce que semble faire valoir le recourant. Si, dans son rapport du 10 février 1998, le docteur B._ fait certes état d'un status après traumatisme d'accélération cervical, il ne constate toutefois - hormis les cervicalgies et les céphalées dont souffre le recourant - la présence d'aucun des autres symptômes typiques d'un traumatisme type "coup du lapin" retenus par la pratique médicale et la jurisprudence, tels que nausées, difficultés de concentration et de mémorisation ou de vision, symptômes neurasthéniques, modification de la personnalité et signes de dépression (cf. <ref-ruling> consid. 1 et 2 et les références). En l'absence d'un tableau clinique typique, l'accident subi par le recourant ne peut donc être considéré comme un accident de type "coup du lapin" et ce dernier ne saurait rien en déduire en sa faveur.
c) Enfin, c'est en vain que le recourant fait valoir que "d'éventuelles atteintes psychiques" se trouveraient également dans un rapport de causalité adéquate avec l'accident de juin 1995, dans la mesure où le lien de causalité naturelle doit de toute façon être nié sur ce point également. D'une part, le recourant n'étaye ses allégations par aucun avis médical qui constaterait l'existence de troubles psychiques, voire qui en imputerait l'apparition ou l'aggravation à l'accident de la circulation. Si les docteurs C._ et D._ ont certes mentionné que l'expertisé se trouvait toujours en traitement psychiatrique, ils ne se sont prononcés ni sur l'existence d'atteintes psychiques, ni sur une éventuelle causalité entre celles-ci et l'accident de juin 1995. D'autre part, il ressort du dossier de l'assurance-invalidité du recourant, versé à la présente procédure, que celui-ci a suivi un traitement psychiatrique dès le mois de juillet 1991 en raison d'une dépression mixte, en partie réactionnelle, à la suite de problèmes professionnels (rapport du docteur E._, psychiatre, du 7 février 1995). Les troubles psychiques du recourant sont donc apparus bien antérieurement à l'accident en question et ne sauraient être imputés à cet événement.
Cela étant, le lien de causalité naturelle entre l'accident survenu le 27 juin 1995 et les troubles existant après le mois de décembre 1997 doit être nié. L'intimée était dès lors fondée, par sa décision du 29 octobre 1998, à supprimer le droit du recourant à des prestations d'assurance à partir du 1er janvier 1998. Le jugement entrepris n'est dès lors pas critiquable et le recours se révèle ainsi mal fondé.
5.- Le recourant qui succombe ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 159 al. 1 en corrélation avec l'art. 132 OJ).

Par ces motifs, le Tribunal fédéral des assurances
prononce :
I.Le recours est rejeté.
II.Il n'est pas perçu de frais de justice.
III.Le présent arrêt sera communiqué aux parties, au Tribunal
administratif du canton de Berne, Cour des
affaires de langue française, ainsi qu'à l'Office
fédéral des assurances sociales.
Lucerne, le 29 mai 2002
Au nom du
Tribunal fédéral des assurances
La Présidente de la IVe Chambre :
La Greffière :