Faits:
A. P._ est employé par la société X._ SA. Dès février 1998, il a occupé le poste de coordinateur et gestionnaire de la production interne de livres.
Le 15 août 1999, le prénommé a été victime d'un accident de la circulation : alors qu'il était arrêté à un feu rouge, son véhicule a été embouti par une autre voiture et avant d'aller percuter celui se trouvant devant lui. Souffrant de cervicalgies et de vertiges, il a été amené au Centre hospitalier Y._ où il a séjourné jusqu'au 23 août en raison d'un angor instable. Par la suite, P._ a été suivi en traitement ambulatoire par le docteur B._, de l'Hôpital orthopédique Z._, qui a fait état d'un syndrome post-commotionnel et indiqué la présence de douleurs cervicales, de céphalées frontales, ainsi que de troubles de la vision accompagnés de fatigue et de troubles de la concentration; aucune atteinte cervicale radiculaire n'était cependant constatée (rapport du 28 septembre 1999). La Suisse, Société d'assurances contre les accidents (ci-après : La Suisse), auprès de laquelle l'intéressé était assuré contre le risque d'accident, a pris en charge le cas. P._ s'est trouvé en arrêt de travail jusqu'au 8 novembre 1999, date à laquelle il a recommencé à travailler à 50 %. Une semaine plus tard, il a repris son activité en plein.
Les 25 août et 17 novembre 2000, l'assuré s'est rendu en consultation au service de neurologie du Centre Y._ pour des problèmes d'attention et de concentration. Au cours du mois de décembre 2000, X._ SA a pris la décision de restructurer le service où il travaillait. P._ s'est vu proposer un stage de 6 mois chez W._ SA pour un bilan de compétences. Il a finalement réintégré l'entreprise en juin 2001 à un autre poste que celui qu'il occupait auparavant.
Entre-temps, le 26 janvier 2001, l'employeur a annoncé une rechute de l'accident du 15 août 1999. Le docteur T._, médecin traitant de l'assuré, a attesté d'une incapacité de travail totale du 19 décembre 2000 au 7 janvier 2001 ainsi que du 22 janvier au 4 février 2001, puis partielle (50 %) à partir du 5 février 2001 pour une durée indéterminée. Dans un rapport du 5 juin 2001, le docteur G._, du service de neurologie du Centre Y._, a posé le diagnostic de céphalées chroniques d'origine tensionnelle et mixte (abus médicamenteux) sur status post whiplash et d'état dépressif lié avant tout à un problème professionnel. Depuis l'annonce de sa rechute, l'assuré a régulièrement fait des contrôles neurologiques. Après plusieurs mois de discussions, P._ et l'assureur-accidents se sont mis d'accord pour charger la Clinique V._ d'une expertise médicale.
Le 26 novembre 2003, se fondant sur cette expertise (du 28 juillet 2003), La Suisse a rendu une décision par laquelle elle a refusé de prendre en charge, au titre de rechute de l'accident du 15 août 2000, l'incapacité de travail annoncée dès le 19 décembre 2000. Saisie d'une opposition, elle l'a écartée dans une nouvelle décision du 15 janvier 2004. Le 14 juin 2004, l'assuré a été mis au bénéfice d'une demi-rente par l'assurance-invalidité, avec effet au 1er décembre 2001.
B. P._ a recouru devant le Tribunal des assurances du canton de Vaud contre la décision sur opposition de La Suisse (du 15 janvier 2004), en demandant notamment une nouvelle expertise.
Par courrier du 13 septembre 2005, Helsana Assurances SA (ci-après : Helsana) a informé le tribunal cantonal qu'elle avait succédé à La Suisse par la reprise de son portefeuille suisse d'assurances LAA, avec effet rétroactif au 1er janvier 2005.
Le tribunal cantonal a entendu comme témoins le professeur D._, N._ (de la Vaudoise Assurances, assureur responsabilité civile du conducteur impliqué dans l'accident), et O._ (responsable des ressources humaines chez X._ SA). Il a en revanche refusé de mettre en oeuvre une nouvelle expertise pluridisciplinaire (jugement incident du 16 novembre 2006, confirmé par arrêt du 21 février 2007 de la Ire Cour de droit social du Tribunal fédéral [cause 613/06]).
Par jugement du 22 janvier 2008, les premiers juges ont rejeté le recours de l'assuré.
C. P._ interjette un recours en matière de droit public dans lequel il conclut, sous suite de frais et dépens, à l'annulation du jugement cantonal et à l'allocation, par l'intimée, des prestations LAA au-delà du 19 décembre 2000; subsidiairement au renvoi de la cause à l'autorité cantonale ou à l'assureur-accidents pour nouvelle décision au sens des considérants.
Helsana conclut au rejet du recours, tandis que l'Office fédéral de la santé publique a renoncé à se déterminer.

Considérant en droit:
1. Le litige porte sur le droit du recourant aux prestations de l'assurance-accidents à partir du 19 décembre 2000, notamment des indemnités journalières puis éventuellement une rente d'invalidité. Le Tribunal fédéral n'est donc pas lié par les faits établis par l'autorité précédente (art. 97 al. 2 et 105 al. 3 LTF).
2. 2.1 Comme premier moyen, le recourant fait valoir que depuis son accident de la circulation, il n'a jamais retrouvé ses capacités professionnelles antérieures et qu'il n'a jamais cessé de souffrir de pertes de la mémoire, d'un manque de concentration, de vertiges, de maux de tête ainsi que d'une plus grande fatigabilité. Il en veut pour preuve le témoignage de O._ ainsi que les examens médicaux qu'il a subis au cours de l'année 2000. Il n'y avait pas eu de rémission des symptômes depuis le 15 août 1999 et c'était à tort que les premiers juges avaient retenu l'existence d'une rechute.
2.2 La responsabilité de l'assureur-accidents s'étend, en principe, à toutes les conséquences dommageables qui se trouvent dans un rapport de causalité naturelle et adéquate avec l'événement assuré. Les prestations d'assurance sont donc également versées en cas de rechutes ou de séquelles (<ref-law>). Selon la jurisprudence, il y a rechute lorsqu'une atteinte présumée guérie récidive, de sorte qu'elle conduit à un traitement médical ou à une (nouvelle) incapacité de travail. Les rechutes se rattachent par définition à un événement accidentel. Corrélativement, elles ne peuvent faire naître une obligation de l'assureur-accidents (initial) de verser des prestations que s'il existe un lien de causalité naturelle et adéquate entre les nouvelles plaintes de l'intéressé et l'atteinte à la santé causée à l'époque par l'accident assuré (<ref-ruling> consid. 2c et les références; RAMA 1994 n° U 206 p. 327 consid. 2).
2.3 Le moyen soulevé ici n'est pas fondé. Après son hospitalisation d'une semaine au Centre Y._, l'assuré a été suivi ambulatoirement par l'Hôpital orthopédique Z._. On lui a prescrit un traitement médicamenteux, le port d'une collerette durant 4 ou 8 semaines (les rapports médicaux divergent sur ce point) et des séances de physiothérapie. En novembre 1999, son état de santé s'est amélioré au point de justifier la fin de son incapacité de travail (rapport de sinistre du 9 novembre 1999; voir aussi le rapport du docteur G._ du 22 février 2000). Sur la feuille-accident LAA établie le 9 mai 2000, le médecin traitant indiquait que l'assuré avait pratiquement retrouvé une mobilité complète de sa nuque et confirmait l'évaluation favorable de la situation, proposant de suspendre le dossier; le traitement prescrit consistait en des antalgiques à la demande. Jusqu'à la fin de l'été 2000, date à laquelle l'assuré a refait un contrôle neurologique, aucun traitement médical spécifique ni aucune incapacité de travail ne sont documentés au dossier. On peut dès lors admettre, à l'instar des premiers juges, que ses symptômes s'étaient suffisamment amendés pour être considérés comme guéris en apparence et qu'ils ont récidivé en automne 2000, si bien qu'on se trouve en présence d'une rechute au sens de l'<ref-law>.
3. 3.1 Dans un second moyen, le recourant estime que le lien de causalité entre ses troubles, respectivement son incapacité de travail, et l'événement accidentel assuré est établi par toute une série de rapports médicaux convergents devant lesquels l'expertise du professeur D._ fait figure d'avis isolé (voir les rapports du service de neurologie du Centre Y._ et des docteurs T._, A._ et I._). L'expert de la Clinique V._ avait par ailleurs motivé ses conclusions par le fait que l'état des connaissances médicales actuelles ne lui permettaient pas de retenir que l'accident fût la "conséquence exclusive" des troubles. Or, il n'était pas nécessaire de constater qu'un accident est la cause exclusive d'une atteinte à la santé pour reconnaître l'existence d'un rapport de causalité naturelle. Enfin, le recourant soutient que s'il a certes subi, à l'occasion de la réorganisation de son département, un épisode de stress et de dépression ayant entraîné une incapacité de travail passagère, celui-ci n'est pas à l'origine de son invalidité.
3.2 La condition du lien de causalité naturelle est remplie lorsqu'il y a lieu d'admettre que, sans l'événement accidentel, le dommage ne se serait pas produit du tout, ou qu'il ne serait pas survenu de la même manière. Savoir si l'événement assuré et l'atteinte en question sont liés par un rapport de causalité naturelle est une question de fait que l'administration ou, le cas échéant, le juge, examine en se fondant essentiellement sur des renseignements d'ordre médical, et qui doit être tranchée en se conformant à la règle du degré de vraisemblance prépondérante, appliquée généralement à l'appréciation des preuves dans l'assurance sociale (<ref-ruling> consid. 3.1 p. 181, 402 consid. 4.3.1 p. 406).
3.3 Dans le cadre de sa mission d'expertise, le professeur D._, assisté par la doctoresse E._, a confié un consilium neurologique au docteur G._ et un consilium psychiatrique à la doctoresse E._ (qui avait traité l'assuré du 5 juin au 6 août 2001). A l'issue des examens effectués, il a retenu notamment les diagnostics suivants : troubles mnésiques exécutifs dans le cas d'un syndrome cognitif modéré, cervicalgies persistantes, céphalées tensionnelles et épisodes de réaction anxio-dépressive récurrente associés à différents facteurs de stress. L'expert a noté une évolution des symptômes en deux temps et deux épisodes de réaction dépressive survenus en 2001 et en 2002 dans un contexte de difficultés professionnelles (la restructuration décidée par l'employeur), respectivement familiales (problèmes de santé du fils). Selon lui, compte tenu de l'absence de lésion organique démontrée, de la nature non spécifique des plaintes ainsi que de l'ensemble des circonstances du cas, il n'était pas possible d'admettre une relation de causalité au degré de la certitude, voire du probable (réponse à la question 9; page 14 du rapport d'expertise). Entendu par les premiers juges, le professeur D._ a encore précisé qu'un médecin était en mesure de déterminer avec certitude l'impact d'un accident sur les capacités cognitives d'une personne qu'en cas de lésions spécifiques du cerveau; pour un accident du genre subi par l'assuré, un lien de causalité était généralement reconnu durant six mois. Dans le cas particulier, on se trouvait en présence d'un assuré décrit par la psychiatre comme perfectionniste et vulnérable, et dont les plaintes, d'ordre subjectif, se révélaient fluctuantes dans le temps et selon le contexte; bien que celles-ci ne puissent être mises en doute, leur origine - maladie, accident ou dépression - n'était pas démontrable (procès-verbal d'audience du 1er mars 2006).
3.4 En l'occurrence, s'il faut concéder au recourant que l'emploi répété, par l'expert, des termes "certitude" "certain" "avant tout" peut prêter à discussion - la question de la causalité naturelle devant être tranchée au degré la vraisemblance prépondérante et non pas au degré de la certitude (voir consid. 3.2 supra) -, on peut néanmoins déduire du contenu du rapport d'expertise et des explications apportées en audience que le professeur D._ considère qu'il n'existe pas non plus de rapport de causalité probable entre les troubles constatés et l'accident de circulation du 15 août 1999. Il y a lieu de s'en tenir à ces conclusions dont on ne voit pas de motif sérieux de s'écarter. En particulier, l'affirmation de l'expert selon laquelle l'existence d'un lien de causalité n'est généralement pas admis au-delà d'un délai de six mois - point de vue qui ne correspond pas à la conception de la jurisprudence en matière de causalité dans les cas de traumatisme cervical par accident de type coup du lapin - n'a constitué qu'un aspect de ses conclusions. En effet, l'expert a expliqué en quoi précisément un ensemble de circonstances personnelles et professionnelles chez l'assuré lui permettaient de nier la causalité naturelle. Un élément important aux yeux dudit expert consistait notamment dans le caractère fluctuant des plaintes en fonction de ces circonstances. Par ailleurs, contrairement à ce que prétend le recourant, les rapports du service de neurologie du Centre Y._ ne contiennent aucun argument décisif en faveur de l'existence d'une relation de causalité. Il y est certes fait mention de troubles cognitifs "sur status post-whiplash" ou "dans le cadre d'un whiplash" (par exemple le rapport du 7 février 2002 du docteur G._; voir cependant également le rapport du 5 juin 2001 plus nuancé). Cet opinion est toutefois émise dans une optique différente que celle d'un expert à qui on a confié une mission d'expertise sur cette question dès lors que l'assuré a été envoyé au service de neurologie du Centre Y._ par son médecin traitant pour traitement. Quant au professeur A._, il ne fait qu'exprimer un avis opposé à celui de l'expert sans pour autant se confronter avec les considérations qui ont amené celui-ci à nier la causalité naturelle, ce qui en réduit sa portée probante (voir le rapport du 19 décembre 2007). Enfin, le docteur I._ met surtout en exergue un comportement réactionnel excessif de l'assuré par rapport à l'accident pour justifier sa conclusion que "l'accident ne peut pas ne pas avoir eu des conséquences sur la capacité de travail [de P._]" (rapport du 30 décembre 2003). Par conséquent, la juridiction cantonale était fondée à retenir le défaut d'un lien causalité naturelle.
4. Par surabondance, on peut ajouter que dans le cadre des nouveaux critères formulés par la jurisprudence en matière de causalité adéquate en cas d'accident de type «coup du lapin» à la colonne cervicale (<ref-ruling> consid. 10 p. 126 ss) en présence d'un accident de gravité moyenne - comme en l'espèce -, on devrait quoi qu'il en soit nier le caractère adéquat de la rechute annoncée.
En effet, en ce qui concerne les critères déterminants, l'existence de circonstances particulièrement dramatiques et le caractère particulièrement impressionnant de l'accident doivent être niés. Il en va de même de celui de la gravité ou de la nature particulière des lésions, malgré ce qu'en dit le recourant (on notera que l'angor instable n'a pas été relié à l'accident de circulation; cf. rapport du 26 août 1999 du département de médecine du Centre Y._). L'assuré s'est trouvé incapable de travailler exactement trois mois, ce qui ne peut être considéré comme une période d'incapacité de travail "importante" au sens de la jurisprudence. Le critère relatif à l'administration prolongée d'un traitement médical spécifique et pénible n'est pas non plus donné : l'hospitalisation de l'assuré a été prolongée en raison de la constatation d'un angor instable; par ailleurs, le port d'une collerette, la prescription d'antalgiques et des séances physiothérapie durant les premiers mois ne sauraient répondre à cette qualification - ce n'est que plus tard, après l'annonce de sa rechute, que le recourant s'est soumis à des contrôles neurologiques réguliers. Quant aux douleurs cervicales, elles avaient fortement régressé quand l'assuré est retourné travailler (rapport précité du docteur G._ ). Enfin, le recourant n'a pas non plus été victime d'erreurs dans le traitement médical entraînant une aggravation notable des séquelles de l'accident ou de complications importantes.
Dès lors, même sous l'angle de la causalité adéquate entre les symptômes toujours présents après le 19 décembre 2000 et l'accident assuré, le recours doit être rejeté. Par ailleurs, les premiers juges pouvaient renoncer à un complément d'instruction, sous la forme d'une nouvelle expertise médicale, et confirmer la décision sur opposition litigieuse.
5. Vu l'issue du litige, le recourant doit supporter les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 750 fr., sont à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral de la santé publique.
Lucerne, le 27 octobre 2008
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
p. le Président: La Greffière:
Leuzinger von Zwehl