A.- a) M._, a été victime d'un accident de la circulation le 2 septembre 1978. Cet événement a eu pour conséquence la résurgence de douleurs au niveau de la colonne vertébrale lombaire, alors que le prénommé était déjà atteint d'un syndrome lombosacral traité en 1977 et 1978 et souffrait de dorsalgies. Il a été mis au bénéfice d'une rente d'invalidité, fondée sur un taux d'incapacité de gain de 40 %, de la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Par la suite, il a été opéré à deux reprises, en 1982 et 1983, pour une hernie discale. De son côté, l'assurance-invalidité lui a tout d'abord alloué une demi-rente dès le 1er septembre 1983, puis un quart de rente dès le 1er novembre 1991, remplacée par une demi-rente à partir du 1er octobre 1994, avant de lui reconnaître, dès le 1er octobre 1995, le droit à une rente entière. Dessinateur en architecture de formation, l'assuré a, après une reconversion en 1984 dans un emploi de technicien paysagiste exercé à 50 % suivie d'une période de chômage, retrouvé une activité à temps partiel (30 %) en qualité de collaborateur auprès de la Régie X._, à partir du 1er septembre 1994. A ce titre, il était assuré contre les accidents professionnels et non professionnels, auprès de l'Elvia, Société suisse d'assurances, dont la nouvelle raison sociale est Allianz Suisse, Société d'assurances dès le 1er janvier 2002 (ci-après : l'Elvia). b) Le 27 juin 1995, M._ a subi un nouvel accident de la circulation au cours duquel sa voiture a été percutée à l'arrière par un véhicule qui n'a pas pu s'arrêter à temps (déclaration d'accident LAA du 29 décembre 1995). Il a subi un traumatisme cervical et lombaire. L'Elvia a pris en charge son cas. Dans un rapport du 15 janvier 1996, le docteur A._, médecin traitant de l'assuré, a diagnostiqué un syndrome cervical post-traumatique ainsi qu'une exacerbation post-traumatique de lombalgies chroniques. Il a attesté d'une incapacité de travail de 100 % depuis le 27 juin 1995. Consulté par l'assuré, le docteur B._ a fait état d'une discopathie C 5/6 et C 6/7 et d'une discopathie et ostéochondrose L 4/5 et L 5/S 1 ainsi que, comme suites de l'accident du 27 juin 1995, d'un status après traumatisme d'accélération cervical, de contractures et myalgies cervicales, cervico-scapulaires et dorsales supérieures, de raideur cervicale fonctionnelle et d'une hypermobilité du segment C 4/5. Ce médecin indiquait en outre qu'il n'était pas possible de déterminer dans quelle mesure l'incapacité de travail totale présentée par le patient à la suite de l'accident résultait de l'état cervical post-traumatique seul, sans atteintes dégénérative cervicale, lombaire et neurologique préexistantes (rapport du 10 février 1998). Par décision du 29 octobre 1998, l'Elvia a mis fin à ses prestations avec effet au 1er janvier 1998, en considérant que les atteintes à la santé de l'assuré n'étaient plus, au-delà de la fin du mois de décembre 1997, dans un rapport de causalité avec l'accident du 27 juin 1995. Elle était d'avis que la symptomatologie douloureuse au niveau de la nuque, déclenchée par l'événement assuré, devait être considérée comme la conséquence d'une décompensation d'une cervicarthrose qui était déjà présente lors de l'accident. En cours d'instruction sur l'opposition formée par M._ contre cette décision, un rapport d'expertise établi le 14 juillet 2000 à la demande de l'assureur par les docteurs C._ et D._ du Centre hospitalier Y._ a été produit. Selon ces médecins, l'assuré présentait une cervicalgie chronique, caractérisée par une limitation douloureuse à la mobilisation de la tête, un syndrome du canal carpien bilatéral déjà reconnu avant l'accident de juin 1995, la présence d'un trémor d'attitude atypique datant d'un malaise subi en mai 1996, une périarthropathie de l'épaule gauche décrite en relation avec l'accident de 1995 et des lombalgies chroniques fluctuantes avec sciatalgies dans le cadre d'un status 18 ans après une double cure de hernie discale. Ces praticiens estimaient qu'il existait une causalité naturelle possible entre l'exacerbation de certains symptômes présentés par le patient et l'accident de juin 1995, notamment cervicalgies, céphalées et scapulalgies; aucune séquelle organique ou neurologique objectivable de l'accident ne pouvait cependant être notée. Le 19 janvier 2001, l'assureur a rendu une décision rejetant l'opposition dont il était saisi. B.- Par jugement du 12 novembre 2001, le Tribunal administratif du canton de Berne, Cour des affaires de langue française, a rejeté le recours formé par l'assuré contre cette décision. C.- M._ interjette recours de droit administratif contre ce jugement dont il requiert l'annulation. Il conclut, sous suite de dépens, principalement à l'octroi de prestations de l'assurance-accidents (rente et indemnité) et subsidiairement, au renvoi de la cause à l'intimée pour complément d'instruction en vue de l'allocation d'une rente. L'Elvia conclut au rejet du recours, alors que l'Office fédéral des assurances sociales ne s'est pas déterminé.