Faits: A. R._, né en 1961, travaillait en qualité de chauffeur-livreur pour le compte de X._ SA et était, à ce titre, assuré contre les accidents par la Vaudoise Générale, Compagnie d'Assurances SA (ci-après : la Vaudoise). Le 24 août 2007, le prénommé a été victime d'un accident de la circulation. Alors qu'il roulait sur l'autoroute entre A._ et B._, il a été contraint de s'arrêter en raison de la forte densité du trafic. Le véhicule qui suivait n'a pas pu s'immobiliser suffisamment tôt et a percuté la voiture de l'assuré par l'arrière. Pris en charge par une ambulance, R._ a été conduit au Service des urgences de l'Hôpital Y._. Le lendemain, ce service a rempli la « fiche documentaire pour première consultation après un traumatisme d'accélération crânio-cervical ». D'après cette fiche, le diagnostic provisoire selon la Quebec Task Force (QTF) était une distorsion cervicale de degré I ainsi que des contusions lombaires et du poignet gauche; le patient s'était senti sonné; il avait présenté des paresthésies des membres supérieur et inférieur gauches; celles-ci avaient disparu à l'arrivée à l'Hôpital Y._ et le score de Glasgow était de 15; il n'était fait état d'aucune douleur à la colonne cervicale; les seules douleurs constatées concernaient la région lombaire et le poignet gauche; une incapacité de travail de cinq jours a été attestée; R._ a pu quitter l'hôpital le jour même (rapport du 25 août 2007). Le docteur Q._, médecin traitant, a assuré le suivi médical. Il a examiné son patient pour la première fois le 29 août 2007 et diagnostiqué une contusion grave de la colonne cervicale de type « coup du lapin » ayant entraîné une hernie discale C5-C6 (rapport 27 septembre 2008). Le docteur Q._ a mis l'intéressé au bénéfice de nombreuses incapacités de travail. Dans un rapport médical initial LAA du 12 octobre 2007, le docteur S._, médecin assistant au service de chirurgie de l'Hôpital Y._, a diagnostiqué des contusions lombaires et du poignet gauche, sans perte de connaissance et sans traumatisme crânien (rapport du 12 octobre 2007). R._ a été examiné par le docteur L._, spécialiste en neurologie, lequel n'a constaté aucune anomalie objective sur le plan neurologique, hormis un syndrome cervico-vertébral et lombo-vertébral. Pour ce spécialiste, la hernie discale cervicale pouvait être la cause du syndrome cervico-vertébral, mais il n'existait aucune évidence pour une atteinte déficitaire radiculaire ou médullaire. S'agissant de la cause de la hernie discale, le docteur L._ a estimé qu'il n'était pas possible de déterminer si cette lésion avait une origine traumatique. Il était cependant hautement vraisemblable que l'assuré présentât une pathologie dégénérative sous-jacente et non symptomatique, laquelle a été révélée par l'accident (rapport du 28 septembre 2007). R._ a été examiné au Service Z._ de l'Hôpital Y._ les 20 décembre 2007 et 17 janvier 2008 par les docteurs C._ et N._, respectivement médecin-adjoint et chef de clinique. Dans un rapport du 21 janvier 2008, le docteur N._ a diagnostiqué des cervico-dorso-lombalgies chroniques dans un contexte de déconditionnement physique mais surtout psychique, des troubles dégénératifs C5/C6 avec sténose cervicale et une suspicion de PTSD (« post traumatic stress disorder »); ces troubles n'étaient pas attribuables uniquement à l'accident mais avaient certainement été influencés par d'autres facteurs sous-jacents comme des troubles dégénératifs. Le docteur G._, spécialiste en médecine générale, a également examiné R._ et diagnostiqué des cervico-dorso-lombalgies post-accidentelles, une cervicarthrose C5-C6 avec protrusion discale et sténose canalaire modérée et un état anxieux avec un probable syndrome de stress post-traumatique (rapport du 28 février 2008). Au vu de la persistance de l'incapacité totale de travail et l'absence d'amélioration de l'état de santé, la Vaudoise a requis une expertise du docteur H._, spécialiste en neurologie. Dans son rapport du 17 mars 2008, l'expert a diagnostiqué un syndrome douloureux diffus, une sensation vertigineuse mal systématisée d'origine fonctionnelle, des troubles dégénératifs C5-C6 et un probable status après PTSD. Tout en admettant que les circonstances de l'accident pouvaient engendrer un syndrome cervical post-traumatique par distorsion cervicale, l'expert n'a pas posé ce diagnostic car il a estimé que le temps de latence de 72 heures habituellement admis pour retenir l'origine traumatique de troubles déclarés avait été dépassé: le patient avait lui-même admis que le tableau clinique était apparu après une semaine; en outre, l'ensemble des manifestations évoquait davantage une surcharge psychogène. Pour l'expert, la relation de causalité entre les atteintes et l'accident n'était que possible et le statu quo ante avait été retrouvé après trois mois. Par décision du 17 avril 2008, la Vaudoise a refusé toute prestation au-delà du 24 novembre 2007, fin du délai de trois mois, mais a renoncé à demander la restitution des prestations versées jusqu'au 31 décembre 2007. A la suite de l'opposition de R._, la Vaudoise a confié une expertise au docteur O._, spécialiste en psychiatrie et psychothérapie. Dans son rapport du 18 octobre 2008, l'expert a posé le diagnostic de facteurs psychologiques ou comportementaux, associés à des maladies ou à des troubles classés ailleurs (F. 54 CIM-10). Il n'a retenu aucune incapacité de travail sur le plan psychiatrique. Statuant sur l'opposition le 8 janvier 2009, la Vaudoise l'a rejetée et a confirmé sa décision du 17 avril 2008. B. R._ a recouru contre cette décision devant la Cour des assurances sociales du Tribunal cantonal vaudois. Au cours de la procédure, il a produit un rapport (non daté) du docteur M._, spécialiste en médecine interne, gastro-entérologie et hépatologie. Après avoir examiné l'assuré le 19 octobre 2009, ce médecin a diagnostiqué une ?sophagite de reflux grade B selon classification de Los Angeles, une hernie hiatale avec béance du cardia et une duodénite non érosive. Statuant par jugement du 6 décembre 2010, la juridiction cantonale a rejeté le recours. C. R._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation, en concluant, sous suite de frais et dépens, au renvoi de la cause à la juridiction cantonale pour nouvelle décision. En outre, il sollicite le bénéfice de l'assistance judiciaire gratuite. La Vaudoise conclut au rejet du recours, tandis que l'Office fédéral de la santé publique a renoncé à se déterminer.