Faits:
A. U._, né en 1953, a travaillé, à raison de 37.55 heures par semaine, au service de X._. A ce titre, il était assuré contre le risque d'accidents par SWICA. En parallèle, il a exercé une activité de nettoyeur pour le compte des sociétés Y._ SA (7.95 heures par semaine) et Z._ SA (10 heures par semaine).
Le 2 juillet 2003, U._ a été victime d'un accident sur son lieu de travail principal. Le 9 juillet 2003, X._ a indiqué dans une déclaration d'accidents LAA que le prénommé avait « loupé » la marche de son tracteur et était tombé; cet événement avait occasionné des contusions au dos et au genou droit.
Cet accident a également été annoncé à la Caisse nationale suisse d'assurance en cas d'accidents (CNA) par Y._ SA et Z._ SA. Y._ SA a mentionné des blessures à la main droite (entorse) ainsi qu'aux épaules, au dos et à la nuque tandis que Z._ SA a fait état d'un violent choc à l'épaule droite et dans le dos.
Dès le 7 juillet 2003, U._ a consulté son médecin traitant, le docteur R._, lequel a attesté une incapacité de travail de 100 % du 3 juillet au 7 septembre 2003, puis de 50 % par la suite. Dans un rapport du 6 novembre 2003, ce médecin a indiqué que le premier diagnostic posé avait été celui d'entorse acromio-claviculaire droite de stade 2 avec contractures musculaires cervico-dorso-lombaires et contusion du genou droit. L'évolution de son patient était très lentement favorable en raison de problèmes relationnels avec son chef, lequel aurait pratiqué un véritable mobbing depuis que l'assuré a été accidenté. Le pronostic était tout de même bon: la reprise du travail était envisagée au plus tard pour le début de 2004.
Le 27 novembre 2003, un bilan radiographique des colonnes cervicale et dorsale a révélé des troubles statiques et des troubles dégénératifs étagés, sans fracture, tassement ou cunéiformation significative d'un corps vertébral ainsi qu'une possible ostéopénie. Le docteur V._, spécialiste en radiologie, a précisé que les troubles dégénératifs, marqués pour l'âge du patient, de C3 à C7, étaient prédominants en C4-C5 et C6-C7; ils étaient visibles sous la forme d'une discarthrose avec becs ostéophytaires marginaux et uncarthrose (rapport du 28 novembre 2003).
Le 7 janvier 2004, une IRM cervicale pratiquée par le docteur S._, médecin à la Clinique W._, a mis en évidence des modifications dégénératives cervicales inférieures de moyenne importance, prédominant en C6-C7 (franche protrusion discale) où le canal rachidien est rétréci/étroit, sans signe de compression médullaire. Il n'y avait pas de lésion osseuse suspecte (rapport du 8 janvier 2004).
A la demande de SWICA, un inspecteur de la société I._ SA a relaté comme suit les déclarations de l'assuré: « En descendant en arrière (comme en descendant d'une échelle) du tracteur Renault qui sert à tracter les caddies, il a raté une des deux marches; dans un effort désespéré, il a tenté de s'accrocher au levier de vitesse avec la main gauche. Finalement et pour ne pas se cogner la tête et se casser les dents, il s'est poussé en arrière et est retombé sur le sol. C'est le côté droit qui a absorbé la totalité du choc. Sur le moment, la paume de sa main droite, qu'il a posée pour amortir la chute, était douloureuse . C'est immédiatement qu'il a ressenti une vive douleur dans l'épaule droite comme si on lui enfonçait une aiguille. Sa nuque était toute coincée en raison d'un faux mouvement qu'il a fait lors de sa chute » (LAA-rapport d'investigations du 8 janvier 2004).
SWICA a pris le cas en charge.
Dans un rapport du 15 avril 2004, le docteur R._ a fait état, notamment, d'une articulation acromio-claviculaire électivement douloureuse, de contractures musculaires importantes au niveau lombaire et cervical et d'une mobilité réduite du genou droit. La physiothérapie n'apportait pas de bénéfices à long terme sur les contractures musculaires cervicales et lombaires. Selon le médecin traitant, la dégradation des conditions de travail et les tensions vécues expliquaient la persistance des douleurs. La capacité de travail maximale était de 50 %. Le cumul de deux activités était actuellement impossible.
U._ a été licencié avec effet au 30 avril 2004 par X._.
Devant la persistance des douleurs, SWICA a confié une expertise aux docteurs B._, spécialiste en rhumatologie, et O._, spécialiste en psychiatrie-psychothérapie, au Centre P._. Selon les conclusions de ces médecins, sous l'angle somatique et plus précisément d'un point de vue rhumatologique, il n'y a aucune séquelle de l'accident de 2003, l'assuré peut reprendre un travail à 100 % dans sa profession. Sous l'angle psychique, aucune psychopathologie particulière n'a été mise en évidence; l'assuré a relativement peu de plaintes; il peut tout au plus être retenu un diagnostic de dysthymie sans répercussion sur la capacité de travail. En conclusion, les atteintes présentées par l'assuré n'étaient plus liées à l'accident au-delà du 30 juin 2004. Par ailleurs, il n'y avait pas d'atteinte à l'intégrité (expertise du 29 juin 2004).
Par décision du 26 juillet 2004, SWICA a mis un terme à toutes ses prestations avec effet au 30 juin 2004.
U._ s'est opposé à cette décision. Dans le cadre de l'instruction de l'opposition, à la demande de son médecin traitant, il a été examiné par le professeur E._, spécialiste en anesthésiologie. Ce médecin a rendu deux rapports, l'un le 20 février 2005, l'autre le 23 mai 2005. Par ailleurs, le professeur E._ a adressé l'assuré au professeur M._, spécialiste en chirurgie rachidienne, pour avis chirurgical. Ce médecin a rendu ses conclusions dans un rapport (non daté) fondé sur une consultation du 22 juin 2005. Appelés à se prononcer sur les appréciations des professeurs E._ et M._, les médecins du Centre P._ ont confirmé leur expertise du 29 juin 2004, dans un avis du 5 janvier 2006.
Par décision sur opposition du 21 février 2006, SWICA a confirmé sa décision du 26 juillet 2004.
B. U._ a déféré cette décision au Tribunal des assurances du canton de Vaud qui l'a débouté par jugement du 5 mars 2007.
C. U._ interjette un recours en matière de droit public contre ce jugement. A titre principal, il demande la réformation de la décision entreprise en ce sens que SWICA continue à lui servir les pleines prestations de l'assurance-accidents. A titre subsidiaire, il requiert l'annulation de la décision entreprise et le renvoi de la cause à SWICA, pour nouvelle instruction et nouvelle décision, le tout sous suite de frais et dépens.
SWICA n'a pas répondu au recours. Quant à l'Office fédéral de la santé publique, il ne s'est pas déterminé.
Considérant en droit:
1. Le litige porte sur le point se savoir si SWICA était fondée, par sa décision sur opposition du 21 février 2006, à supprimer le droit du recourant à des prestations d'assurance avec effet au 30 juin 2004 pour les atteintes de nature somatique dont il souffre.
2. Le jugement entrepris expose de manière correcte les dispositions légales et les principes jurisprudentiels relatifs à la nécessité d'une atteinte à la santé et d'un rapport de causalité entre celle-ci et un accident assuré pour que l'assureur-accidents soit tenu à fournir des prestations (cf. ATF 129 V 177 consid. 3.1 p. 181 et les références).
On ajoutera que, dans le contexte de la suppression du droit à des prestations, la règle selon laquelle le fardeau de la preuve appartient à la partie qui invoque la suppression du droit (RAMA 2000 n° U 363 p. 46 consid. 2, arrêt U 355/98 du 9 septembre 1999) entre seulement en considération s'il n'est pas possible, dans les limites du principe inquisitoire, d'établir sur la base d'une appréciation des preuves un état de fait qui, au degré de vraisemblance prépondérante, corresponde à la réalité (ATF 117 V 261 consid. 3b p. 264). La preuve de la disparition du lien de causalité naturelle ne doit pas être apportée par la preuve de facteurs étrangers à l'accident. Il est encore moins question d'exiger de l'assureur-accidents la preuve négative qu'aucune atteinte à la santé ne subsiste plus ou que la personne assurée est dorénavant en parfaite santé. Est seul décisif le point de savoir si les causes accidentelles d'une atteinte à la santé ne jouent plus de rôle et doivent ainsi être considérées comme ayant disparu (arrêts U 48/07 du 6 novembre 2007, consid. 3 et U 172/06 du 10 mai 2007, consid. 6.2).
3. 3.1 SWICA a nié le droit de l'assuré à des prestations d'assurance au-delà du 30 juin 2004, au motif qu'il n'existait pas, après cette date, des séquelles (de nature organique ou psychique) entraînant une diminution de la capacité de travail et de gain. Ce point de vue a été confirmé par la juridiction cantonale dans le jugement attaqué.
3.2 Pour nier l'existence de séquelles invalidantes, la juridiction cantonale s'est fondée sur l'avis des experts du Centre P._ (rapport du 29 juin 2004), lesquels n'ont pas constaté de lésion organique ou de trouble psychique susceptible d'affecter la capacité de travail du recourant. Elle a écarté le rapport du professeur E._, au motif que les circonstances dans lesquelles une lésion discale au niveau des vertèbres cervicales peut se produire au dire de ce médecin (soit uniquement à la suite d'un traumatisme cervical important) n'étaient pas réalisées au vu des pièces du dossier. Par ailleurs, elle a considéré que l'avis des experts n'était pas contredit en particulier par le professeur M._, lequel ne n'était pas prononcé sur la question de la causalité naturelle.
De son côté, le recourant fait grief aux premiers juges d'avoir écarté sans motivation suffisante les conclusions contraires des professeurs E._ et M._, lesquelles se distinguaient d'avis de simples médecins traitants. Il soutient que les divergences entre les appréciations des experts et celles des médecins prénommés auraient à tout le moins dû inciter la juridiction cantonale à requérir une instruction complémentaire.
4. 4.1 Selon les experts du Centre P._, qui se sont fondés sur un examen clinique et sur le dossier radiologique de l'assuré, les plaintes subjectives ne peuvent pas être objectivées, car le patient retient volontairement tous ses mouvements. D'un point de vue ruhmatologique, il n'y a aucune séquelle de l'accident. Il n'existe pas d'état maladif préexistant. On ne peut donc pas parler de statu quo ante ou sine. A ce moment de l'expertise, il n'y a plus de troubles dus à l'accident. La capacité de travail, concluent les experts, est totale depuis le 1er juillet 2004.
4.2 Le professeur E._, qui a procédé à l'examen des disques cervicaux (discographies aux niveaux C4-C5, C5-C6 et C6-C7), constate, pour sa part, que le patient présente une lésion discale à trois niveaux, mais surtout au niveau C6-C7. Le type de lésion observé dans ce disque est uniquement possible à la suite d'un traumatisme cervical important. Il est exclu que cette pathologie existe sur la base d'une maladie dégénérative. Le professeur M._ a quant à lui constaté des signes dégénératifs pluri-étagés très probablement antérieurs à l'accident, mais la composante douloureuse actuelle est le plus vraisemblablement en relation avec le niveau C6-C7. Ce médecin déclare ne pas être en mesure de se prononcer sur « le conflit assécurologique » dans le cadre d'une simple consultation. La première expertise, poursuit ce médecin, infirme l'origine accidentelle dans les douleurs actuelles du patient, ce qui peut, en partie, se comprendre sur la base des troubles dégénératifs préexistants à l'accident. On peut aussi admettre le fait qu'il s'agit d'un accident relativement mineur, mais il est vrai que le patient ne signalait aucune douleur préexistante et que les experts n'avaient pas à disposition tous les résultats des examens pratiqués par le professeur E._. En conclusion de son rapport, le professeur M._ préconise une nouvelle expertise par une « nouvelle instance neutre ».
4.3 Sur cette base, il y a lieu de constater que l'on est en présence d'appréciations médicales opposées, principalement en ce qui concerne le diagnostic. Cette divergence provient visiblement du fait que les experts du Centre P._ se sont déclarés dans l'incapacité de poser un diagnostic du fait que l'assuré « retient (volontairement) tous ses mouvements ». Il n'y a donc pas de raison, à ce stade, d'écarter le diagnostic du professeur E._, qui se fonde sur le résultat d'examens dont ne disposaient pas les experts du Centre P._.
4.4 Il est vrai que ces derniers se sont exprimés - assez brièvement -sur les rapports des professeurs E._ et M._ en relevant que les constatations du professeur E._ étaient en contradiction avec la description de l'accident faite par l'assuré et que les lésions décrites par ce même professeur pouvaient également être dues à un état dégénératif préexistant (que les experts auraient aussi eux-mêmes constaté).
4.5 Dans cette détermination, les experts ne remettent pas sérieusement en question le diagnostic posé par le professeur E._ (même s'ils relèvent qu'une discographie en elle-même ne permet pas de poser un diagnostic de certitude). Il apparaît en tout état de cause que les rapports des professeurs E._ et M._ sont de nature à jeter un doute sérieux sur le bien-fondé des conclusions des experts. Le point de savoir si l'accident est ou non à l'origine des troubles constatés ne peut pas être tranché de manière définitive sur la base des pièces. Le seul avis du professeur E._, au demeurant tempéré par celui du professseur M._, qui va dans le sens d'une origine accidentelle, n'est à cet égard pas suffisant. En l'absence d'élément probant et décisif qui permettrait de statuer dans un sens ou dans un autre, il se justifie d'annuler le jugement attaqué ainsi que la décision sur opposition et de renvoyer la cause à l'intimée pour qu'elle mette en oeuvre une nouvelle expertise et rende une nouvelle décision.
5. Les frais de la procédure, qui n'est pas gratuite (art. 65 al. 4 LTF), seront supportés par l'intimée qui succombe (art. 66 al. 1 LTF). Par ailleurs, représenté par un avocat, le recourant qui obtient gain de cause a droit à des dépens à la charge de l'intimé (art. 68 al. 1 et 2 LTF). Sa requête d'assistance judiciaire est dès lors sans objet.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis en ce sens que le jugement du 5 mars 2007 du Tribunal des assurances du canton de Vaud ainsi que la décision sur opposition de l'intimée du 21 février 2006 sont annulés, la cause étant renvoyée à cette dernière pour instruction complémentaire et nouvelle décision au sens des considérants.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimée.
3. L'intimée versera au recourant la somme de 2'500 fr. à titre de dépens pour la dernière instance.
4. La cause est renvoyée au Tribunal des assurances du canton de Vaud pour nouvelle décision sur le dépens de la procédure antérieure.
5. Le présent arrêt est communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral de la santé publique.
Lucerne, le 25 mars 2008
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Ursprung Berset