Faits:
A. R._, né en 1961, travaillait en qualité de chauffeur-livreur pour le compte de X._ SA et était, à ce titre, assuré contre les accidents par la Vaudoise Générale, Compagnie d'Assurances SA (ci-après : la Vaudoise).
Le 24 août 2007, le prénommé a été victime d'un accident de la circulation. Alors qu'il roulait sur l'autoroute entre A._ et B._, il a été contraint de s'arrêter en raison de la forte densité du trafic. Le véhicule qui suivait n'a pas pu s'immobiliser suffisamment tôt et a percuté la voiture de l'assuré par l'arrière. Pris en charge par une ambulance, R._ a été conduit au Service des urgences de l'Hôpital Y._. Le lendemain, ce service a rempli la « fiche documentaire pour première consultation après un traumatisme d'accélération crânio-cervical ». D'après cette fiche, le diagnostic provisoire selon la Quebec Task Force (QTF) était une distorsion cervicale de degré I ainsi que des contusions lombaires et du poignet gauche; le patient s'était senti sonné; il avait présenté des paresthésies des membres supérieur et inférieur gauches; celles-ci avaient disparu à l'arrivée à l'Hôpital Y._ et le score de Glasgow était de 15; il n'était fait état d'aucune douleur à la colonne cervicale; les seules douleurs constatées concernaient la région lombaire et le poignet gauche; une incapacité de travail de cinq jours a été attestée; R._ a pu quitter l'hôpital le jour même (rapport du 25 août 2007).
Le docteur Q._, médecin traitant, a assuré le suivi médical. Il a examiné son patient pour la première fois le 29 août 2007 et diagnostiqué une contusion grave de la colonne cervicale de type « coup du lapin » ayant entraîné une hernie discale C5-C6 (rapport 27 septembre 2008). Le docteur Q._ a mis l'intéressé au bénéfice de nombreuses incapacités de travail. Dans un rapport médical initial LAA du 12 octobre 2007, le docteur S._, médecin assistant au service de chirurgie de l'Hôpital Y._, a diagnostiqué des contusions lombaires et du poignet gauche, sans perte de connaissance et sans traumatisme crânien (rapport du 12 octobre 2007).
R._ a été examiné par le docteur L._, spécialiste en neurologie, lequel n'a constaté aucune anomalie objective sur le plan neurologique, hormis un syndrome cervico-vertébral et lombo-vertébral. Pour ce spécialiste, la hernie discale cervicale pouvait être la cause du syndrome cervico-vertébral, mais il n'existait aucune évidence pour une atteinte déficitaire radiculaire ou médullaire. S'agissant de la cause de la hernie discale, le docteur L._ a estimé qu'il n'était pas possible de déterminer si cette lésion avait une origine traumatique. Il était cependant hautement vraisemblable que l'assuré présentât une pathologie dégénérative sous-jacente et non symptomatique, laquelle a été révélée par l'accident (rapport du 28 septembre 2007).
R._ a été examiné au Service Z._ de l'Hôpital Y._ les 20 décembre 2007 et 17 janvier 2008 par les docteurs C._ et N._, respectivement médecin-adjoint et chef de clinique. Dans un rapport du 21 janvier 2008, le docteur N._ a diagnostiqué des cervico-dorso-lombalgies chroniques dans un contexte de déconditionnement physique mais surtout psychique, des troubles dégénératifs C5/C6 avec sténose cervicale et une suspicion de PTSD (« post traumatic stress disorder »); ces troubles n'étaient pas attribuables uniquement à l'accident mais avaient certainement été influencés par d'autres facteurs sous-jacents comme des troubles dégénératifs. Le docteur G._, spécialiste en médecine générale, a également examiné R._ et diagnostiqué des cervico-dorso-lombalgies post-accidentelles, une cervicarthrose C5-C6 avec protrusion discale et sténose canalaire modérée et un état anxieux avec un probable syndrome de stress post-traumatique (rapport du 28 février 2008).
Au vu de la persistance de l'incapacité totale de travail et l'absence d'amélioration de l'état de santé, la Vaudoise a requis une expertise du docteur H._, spécialiste en neurologie. Dans son rapport du 17 mars 2008, l'expert a diagnostiqué un syndrome douloureux diffus, une sensation vertigineuse mal systématisée d'origine fonctionnelle, des troubles dégénératifs C5-C6 et un probable status après PTSD. Tout en admettant que les circonstances de l'accident pouvaient engendrer un syndrome cervical post-traumatique par distorsion cervicale, l'expert n'a pas posé ce diagnostic car il a estimé que le temps de latence de 72 heures habituellement admis pour retenir l'origine traumatique de troubles déclarés avait été dépassé: le patient avait lui-même admis que le tableau clinique était apparu après une semaine; en outre, l'ensemble des manifestations évoquait davantage une surcharge psychogène. Pour l'expert, la relation de causalité entre les atteintes et l'accident n'était que possible et le statu quo ante avait été retrouvé après trois mois.
Par décision du 17 avril 2008, la Vaudoise a refusé toute prestation au-delà du 24 novembre 2007, fin du délai de trois mois, mais a renoncé à demander la restitution des prestations versées jusqu'au 31 décembre 2007.
A la suite de l'opposition de R._, la Vaudoise a confié une expertise au docteur O._, spécialiste en psychiatrie et psychothérapie. Dans son rapport du 18 octobre 2008, l'expert a posé le diagnostic de facteurs psychologiques ou comportementaux, associés à des maladies ou à des troubles classés ailleurs (F. 54 CIM-10). Il n'a retenu aucune incapacité de travail sur le plan psychiatrique.
Statuant sur l'opposition le 8 janvier 2009, la Vaudoise l'a rejetée et a confirmé sa décision du 17 avril 2008.
B. R._ a recouru contre cette décision devant la Cour des assurances sociales du Tribunal cantonal vaudois. Au cours de la procédure, il a produit un rapport (non daté) du docteur M._, spécialiste en médecine interne, gastro-entérologie et hépatologie. Après avoir examiné l'assuré le 19 octobre 2009, ce médecin a diagnostiqué une ?sophagite de reflux grade B selon classification de Los Angeles, une hernie hiatale avec béance du cardia et une duodénite non érosive. Statuant par jugement du 6 décembre 2010, la juridiction cantonale a rejeté le recours.
C. R._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation, en concluant, sous suite de frais et dépens, au renvoi de la cause à la juridiction cantonale pour nouvelle décision. En outre, il sollicite le bénéfice de l'assistance judiciaire gratuite.
La Vaudoise conclut au rejet du recours, tandis que l'Office fédéral de la santé publique a renoncé à se déterminer.

Considérant en droit:
1. Le litige porte sur le point de savoir si l'intimée était fondée à supprimer le droit du recourant aux prestations de l'assurance-accidents à partir du 24 novembre 2007, respectivement du 31 décembre 2007, date de la fin du versement des prestations. Le Tribunal fédéral n'est donc pas lié par les faits établis par l'autorité précédente (art. 97 al. 2 et 105 al. 3 LTF).
2. 2.1 Le recourant fait grief à la juridiction cantonale de ne pas avoir ordonné une expertise multidisciplinaire, comme elle aurait à son avis dû le faire en présence de deux expertises contradictoires, celle du docteur H._ (concluant à des troubles psychogènes) et celle du docteur O._ (niant toute atteinte psychiatrique). Il fait valoir qu'en n'ordonnant pas ce complément de preuve, la juridiction cantonale a violé son droit d'être entendu.
2.2 En ce qui concerne les contradictions alléguées entre les deux expertises, il faut relever que le docteur H._ n'a pas constaté, sur le plan neurologique, d'anomalie significative en particulier pas de syndrome médullaire ou radiculaire. Il a, par contre, retenu que l'assuré était plaintif et paraissait très souffrant à la marche et à la moindre mobilisation. L'importance du syndrome cervical, lequel rendait la nuque pratiquement non mobilisable, ne pouvait pas être expliquée par des éléments purement organiques. De même, les examens radiologiques ne permettaient pas d'expliquer de telles plaintes. La présence d'une protrusion discale C5-C6 médiane et paramédiane gauche - documentée par IRM - ne pouvait expliquer au plus qu'un syndrome cervical habituel, associé à une brachialgie gauche, vu l'absence de syndrome radiculaire C5 ou C6 gauche.
Le docteur H._ a déduit de ce constat que l'assuré présentait un syndrome douloureux diffus et une sensation vertigineuse, de nature fonctionnelle, associés éventuellement à une discrète composante de cervicalgies liées à des troubles dégénératifs (protrusion discale). Il a exclu un diagnostic de syndrome cervical post-traumatique en raison d'un laps de temps supérieur à 72 heures, séparant l'accident et l'apparition des symptômes. En conclusion, le docteur H._ a retenu que l'intensité des plaintes et les répercussions objectives, avec douleurs et « grimacements » à la moindre mobilisation, étaient inhabituelles et évoquaient une surcharge psychogène.
En présence d'une suspicion d'atteinte psychique, l'assuré a été examiné par le docteur O._, lequel n'a retenu que des facteurs psychologiques ou comportementaux, associés à des maladies ou des troubles classés ailleurs (F. 54 CIM-10), sans élément de stress post-traumatique. Cette atteinte psychique était sans répercussion sur la capacité de travail. Toutefois, ce médecin a constaté que l'ensemble de la présentation corporelle évoquait des éléments de démonstration et d'accentuation.
De la confrontation de ces deux avis médicaux, on peut déduire que le docteur H._, dont la spécialité n'est pas la psychiatrie, a supposé l'existence de troubles psychogènes au vu de l'intensité des plaintes et des douleurs à la moindre mobilisation. Appelé à se prononcer sur cette problématique. le docteur O._ n'a pas confirmé la présence de troubles psychiques incapacitants, mais a retenu des éléments de démonstration et d'accentuation. Dans ces conditions, il n'y a aucune contradiction entre les deux expertises: ce qui avait été attribué à une composante psychogène, se révélait être au moins partiellement lié à un facteur d'accentuation.
Au vu de ces constatations, la juridiction cantonale pouvait statuer sans que la mise sur pied d'une expertise ne s'impose. Les premiers juges pouvaient s'en dispenser par appréciation anticipée des preuves (<ref-ruling> consid. 5.3 p. 148; <ref-ruling> consid. 3 p. 157; <ref-ruling> consid. 2 p. 428). Une telle manière de procéder ne viole pas le droit d'être entendu selon l'art. 29 al. 2 Cst. (arrêt I 362/99 du 8 février 2000 consid 4b, in SVR 2001 IV n° 10 p. 28). Il n'y a aucune raison de penser que d'autres mesures probatoires auraient permis d'aboutir à un résultat différent (cf. également par ex. arrêts 8C_361/2009 du 3 mars 2010 consid 3.2 et 8C_15/2009 du 11 janvier 2010 consid. 3.2).
3. 3.1 Selon l'<ref-law>, les prestations d'assurance sont allouées en cas d'accident professionnel, d'accident non professionnel et de maladie professionnelle.
3.2 Le droit à des prestations découlant d'un accident assuré suppose d'abord, entre l'événement dommageable de caractère accidentel et l'atteinte à la santé, un lien de causalité naturelle. Cette exigence est remplie lorsqu'il y a lieu d'admettre que, sans cet événement accidentel, le dommage ne se serait pas produit du tout, ou qu'il ne serait pas survenu de la même manière (<ref-ruling> consid. 3.1 p. 181 et les arrêts cités, 402 consid. 4.3 1 p. 406).
Le seul fait que des symptômes douloureux ne se sont manifestés qu'après la survenance d'un accident ne suffit pas à établir un rapport de causalité naturelle avec cet accident (raisonnement « post hoc, ergo propter hoc »; cf. <ref-ruling> consid 2b/bb p. 341 sv.; RAMA 1999 no U 341 p. 408 sv. consid. 3b). Il convient en principe d'en rechercher l'étiologie et de vérifier, sur cette base, l'existence du rapport de causalité avec l'événement assuré. En matière de lésions du rachis cervical par accident de type « coup du lapin », de traumatisme analogue ou de traumatisme cranio-cérébral sans preuve d'un déficit fonctionnel organique, l'existence d'un lien de causalité naturelle entre l'accident et l'incapacité de travail ou de gain doit en principe être reconnue en présence d'un tableau clinique typique présentant de multiples plaintes (maux de têtes diffus, vertiges, troubles de la concentration et de la mémoire, nausées, fatigabilité, troubles de la vue, irritabilité, dépression, modification du caractère, etc). Encore faut-il que l'existence d'un tel traumatisme et de ses suites soit dûment attestée par des renseignements médicaux fiables (<ref-ruling> consid. 1 p. 337 sv et l'arrêt cité). La jurisprudence a posé récemment diverses exigences sur les mesures d'instruction nécessaires de ce point de vue (<ref-ruling> consid. 9 p. 122 ss).
3.3 Le droit à des prestations de l'assurance-accidents suppose en outre l'existence d'un lien de causalité adéquate entre l'accident et l'atteinte à la santé. La causalité est adéquate si, d'après le cours ordinaire des choses et l'expérience de la vie, le fait considéré était propre à entraîner un effet du genre de celui qui s'est produit, la survenance de ce résultat paraissant de façon générale favorisée par une telle circonstance (<ref-ruling> consid. 3.2 p. 181, 402 consid. 2.2. p. 405; <ref-ruling> consid. 5a p. 461 et les références).
4. 4.1 La juridiction cantonale a nié l'existence de lésions du rachis cervical par accident de type « coup du lapin ». Pour cela, elle s'est fondée sur l'expertise H._ et sur le fait que la plupart des symptômes nécessaires selon la jurisprudence pour que ce genre de lésions puisse être admis sont absents.
4.2 Le recourant conteste cette appréciation: c'est de façon erronée que le docteur H._ a nié l'existence d'un traumatisme de type « coup du lapin », en raison d'un temps de latence d'une semaine séparant l'accident de l'apparition des douleurs. Selon lui, les douleurs se sont manifestées immédiatement et ont perduré, comme cela ressortait du rapport de police et des renseignements de première heure recueillis par l'Hôpital Y._.
4.3 Le recourant a déclaré aux agents de la gendarmerie vaudoise qu'il ressentait « des douleurs au dos et à la nuque » (rapport de police du 30 août 2007). Le centre interdisciplinaire des urgences de l'Hôpital Y._ a mentionné, dans la fiche documentaire du 25 août 2007, que les paresthésies des membres supérieur et inférieur gauches dont avait souffert l'assuré avaient disparu à l'arrivée à l'hôpital. Au niveau cervical, aucune douleur n'a été relevée, ni au repos, ni à la pression ni au choc. Des douleurs ont été constatées dans la région lombaire et au poignet gauche. Le recourant a indiqué au docteur S._ qu'il n'avait pas perdu connaissance et qu'il n'y avait pas eu de traumatisme cérébral. Ce médecin a diagnostiqué une contusion lombaire et du poignet gauche (rapport médical initial LAA du 12 octobre 2007). Le docteur Q._, qui traite le recourant depuis le 29 août 2007, a posé le diagnostic de contusion grave de la colonne cervicale ayant entraîné une hernie discale C5-C6 (rapport du 27 septembre 2007). Le docteur L._, spécialiste en neurologie, a constaté la présence d'un syndrome cervico-vertébral et lombo-vertébral relativement important (rapport du 28 septembre 2007).
Il ressort de ces éléments qu'aucune constatation de cervicalgies ou de contusion cervicale n'a été faite avant que le recourant ne consulte le docteur Q._ le 29 août 2007, soit approximativement une semaine après l'accident. Ce temps de latence est d'ailleurs celui que R._ a indiqué à l'expert H._. Ce médecin pouvait donc considérer que le temps de latence de 72 heures, habituellement admis pour retenir un traumatisme de type « coup du lapin », avait été dépassé. De plus, la plupart des autres affections, ordinairement présentes en cas de « whiplash injury », faisaient défaut.
Dans ces conditions, la juridiction cantonale pouvait considérer comme établi, au degré de vraisemblance prépondérante, que l'affection cervicale ne constituait pas un traumatisme de type « coup du lapin ».
5. 5.1 La juridiction cantonale a nié tout rapport de causalité naturelle entre les atteintes objectivables et non objectivables dont souffre le recourant et l'accident. Elle a retenu que les différents rapports médicaux figurant au dossier qualifiaient la hernie discale de dégénérative. Concernant la hernie hiatale, la juridiction cantonale a retenu que cette affection n'avait pas été annoncée à l'assurance comme séquelle de l'accident et que le docteur M._, qui avait diagnostiqué cette atteinte, n'avait pas attesté d'une origine traumatique. Elle a donc nié l'existence d'un rapport de causalité naturelle entre ces deux affections et l'accident. S'agissant des troubles non objectivables, elle a admis, sur la base de l'expertise du docteur H._, que le status quo sine vel ante pouvait être considéré comme atteint au plus tard trois mois après l'événement assuré.
5.2 Le recourant conteste l'appréciation de l'autorité cantonale pour des motifs qui relèvent plus de la détermination du type de traumatisme que de la question de l'existence d'une relation de causalité naturelle entre l'accident et les traumatismes. Il fait valoir que la juridiction cantonale a violé son droit être entendu en n'ordonnant pas une expertise pour établir l'étiologie des hernies discale et hiatale.
5.2 Le recourant conteste l'appréciation de l'autorité cantonale pour des motifs qui relèvent plus de la détermination du type de traumatisme que de la question de l'existence d'une relation de causalité naturelle entre l'accident et les traumatismes. Il fait valoir que la juridiction cantonale a violé son droit être entendu en n'ordonnant pas une expertise pour établir l'étiologie des hernies discale et hiatale.
5.3 5.3.1 Concernant la relation de causalité naturelle entre la hernie discale et l'accident, le docteur L._ (rapport du 28 septembre 2007) a précisé que cette lésion était de façon hautement vraisemblable due à une pathologie dégénérative sous-jacente révélée par l'accident. Le docteur N._ a, pour sa part, parlé de « troubles dégénératifs C5/C6 avec sténose cervicale » et a précisé que leur origine était attribuable à la maladie (rapport du 21 janvier 2008). L'expert H._ a diagnostiqué des « troubles dégénératifs C5/C6 ».
De plus, selon l'expérience médicale, pratiquement toutes les hernies discales s'insèrent dans un contexte d'altération des disques intervertébraux d'origine dégénérative, un événement accidentel n'apparaissant qu'exceptionnellement, et pour autant que certaines conditions particulières soient réalisées, comme la cause proprement dite d'une telle atteinte. Une hernie discale peut être considérée comme étant due principalement à un accident, lorsque celui-ci revêt une importance particulière, qu'il est de nature à entraîner une lésion du disque intervertébral et que les symptômes de la hernie discale (syndrome vertébral ou radiculaire) apparaissent immédiatement, entraînant aussitôt une incapacité de travail.
Au vu de ces différents éléments, des conditions de l'accident et du moment du déclenchement des douleurs liées à la hernie discale, la juridiction cantonale pouvait tenir pour établi au degré de la vraisemblance prépondérante que cette atteinte n'avait pas une origine traumatique sans avoir recours à une nouvelle expertise. C'est dès lors à juste titre qu'elle a nié l'existence d'un rapport de causalité naturelle entre la hernie cervicale et l'accident.
5.3.2 Concernant la question de l'étiologie de la hernie hiatale, le docteur M._ a constaté l'existence de cette hernie lors d'une oesogastroduodénoscopie effectuée le 19 octobre 2009. Il n'a pas fait état d'une éventuelle relation de causalité avec l'accident alors qu'il a nié la présence d'un tel lien en ce qui concerne la constipation.
Ce rapport médical ne permettait pas au recourant de déduire un rapport de causalité naturelle entre cette hernie et l'accident, ni même de demander que cette question soit soumise à un expert, faute de fondements médicaux. La juridiction cantonale pouvait donc admettre que la hernie hiatale n'était pas en rapport de causalité naturelle avec l'accident sans devoir recourir à une expertise.
5.3.3 La question de savoir si les cervico-dorso-lombalgies chroniques dont font état les docteurs L._ (rapport du 28 septembre 2007), Q._ (rapport du 20 novembre 2007), N._ (rapport du 21 janvier 2008), G._ (rapport du 28 février 2008) et H._ (expertise du 17 mars 2008) - et qui constituent un traumatisme à la colonne cervicale sans preuve d'un déficit organique objectivable - sont en rapport de causalité naturelle avec l'accident peut rester indécise, faute de causalité adéquate entre ces atteintes et l'événement assuré (consid. 6 ci-après).
6. La juridiction cantonale a nié l'existence d'une relation de causalité adéquate entre l'accident et les cervico-dorso-lombalgies en précisant que même si l'on retenait une incapacité de travail au-delà du 24 novembre 2007, respectivement du 31 décembre 2007, les conditions d'une telle relation ne seraient pas remplies, en présence d'un accident de moyenne gravité, à la limite d'un cas bénin.
Contestant cette appréciation, le recourant considère que la vitesse à laquelle a eu lieu la collision, place cet accident à la limite du cas grave dans la catégorie des accidents de gravité moyenne.
6.1 Dans l'<ref-ruling>, le Tribunal fédéral a précisé sur plusieurs points sa jurisprudence au sujet de la relation de causalité entre des plaintes et un traumatisme de type « coup du lapin » ou un traumatisme analogue à la colonne cervicale ou encore un traumatisme cranio-cérébral, sans preuve d'un déficit organique objectivable. Selon cet arrêt, il y a lieu de s'en tenir à une méthode spécifique pour examiner le lien de causalité adéquate en présence de tels troubles (consid. 7 à 9 de l'arrêt cité). Par ailleurs, le Tribunal fédéral n'a pas modifié les principes qui ont fait leur preuve, à savoir la nécessité, d'une part, d'opérer une classification des accidents en fonction de leur degré de gravité et, d'autre part, d'inclure, selon la gravité de l'accident, d'autres critères lors de l'examen du caractère adéquat du lien de causalité (consid. 10.1). Cependant, il a renforcé les exigences concernant la preuve d'une lésion en relation de causalité naturelle avec l'accident, justifiant l'application de la méthode spécifique en matière de traumatisme de type « coup du lapin » (consid. 9) et modifié en partie les critères à prendre en considération lors de l'examen du caractère adéquat du lien de causalité (consid. 10). Ces critères sont désormais formulés de la manière suivante :
- les circonstances concomitantes particulièrement dramatiques ou le caractère particulièrement impressionnant de l'accident (inchangé);
- la gravité ou la nature particulière des lésions (inchangé);
- l'administration prolongée d'un traitement médical spécifique et pénible (formulation modifiée);
- l'intensité des douleurs (formulation modifiée);
- les erreurs dans le traitement médical entraînant une aggravation notable des séquelles de l'accident (inchangé);
- les difficultés apparues au cours de la guérison et les complications importantes (inchangé);
- l'importance de l'incapacité de travail en dépit des efforts reconnaissables de l'assuré (formulation modifiée).
6.1.1 Selon le rapport de police du 30 août 2007, le recourant, qui roulait sur la voie de gauche de l'autoroute, était suivi par un autre véhicule roulant à 100 km/h. En raison de la forte densité du trafic, le recourant a dû ralentir. Il était quasiment à l'arrêt lorsque l'arrière de sa voiture a été heurté par l'avant du véhicule qui suivait (à une vitesse qui n'a pas été établie). Sous l'effet du choc, l'automobile du recourant a avancé tout en restant sur la voie de gauche et sans percuter le véhicule qui le précédait, alors que la voiture qui suivait, est allée finir sa course sur la bande d'arrêt d'urgence. Le recourant a pu s'extraire de son véhicule (rapport du docteur L._ du 28 septembre 2007).
Au vu de ces éléments et de la jurisprudence (arrêt U 380/04 du 15 mars 2005 consid. 5, in RAMA 2005 no U 549 p. 236 consid. 5.1.2; arrêt 8C_633/2007 du 7 mai 2008 consid. 6.2 in fine - selon laquelle, en règle générale une collision ordinaire avec un véhicule à l'arrêt est considérée comme un accident de gravité moyenne voire à la limite du cas bénin - les premiers juges étaient fondés à retenir un accident de gravité moyenne.
6.1.2 L'ensemble de ces circonstances ne donne pas à l'accident un caractère particulièrement impressionnant et on ne voit pas de circonstances concomitantes particulièrement dramatiques. Le docteur H._ a d'ailleurs mentionné dans son expertise que les séquelles liées au vécu de l'accident faisaient plus référence au rapport de police qu'à l'événement accidentel lui-même. Quant à l'expert O._, il a fait état d'une anxiété non fondée sur des réminiscences de l'accident mais sur des inquiétudes pour le futur. Or, il n'y a pas lieu de prendre en compte les craintes rétrospectives des conséquences qu'aurait pu avoir un accident (risque d'incendie ou de lésions plus graves).
6.1.3 Sous réserve des hernies cervicale et hiatale, lesquelles sont sans rapport de causalité naturelle avec l'accident, les autres lésions somatiques sont non objectivables et ne présentent pas un caractère de gravité ou une nature particulière.
6.1.4 Le recourant ne prétend pas avoir été soumis à un traitement médical prolongé et pénible.
6.1.5 Pour qu'un assuré puisse se prévaloir de l'intensité des douleurs, il faut que, durant le temps écoulé entre l'accident et la clôture du cas (<ref-law>) aient existé, sans interruption conséquente, des douleurs importantes. L'importance se mesure sur la base de la crédibilité des douleurs et sur les empêchements provoqués par les douleurs dans la vie de tous les jours pour la personne accidentée. En l'espèce, le recourant se plaint de douleurs cervicales, de maux de tête, de l'impossibilité de tourner la tête et de fourmillements dans la jambe gauche, lesquelles provoquent une instabilité qui l'oblige à utiliser une canne anglaise. Il ne précise toutefois pas quels mouvements et quelles activités il est encore en mesure d'exécuter. De plus, l'expert O._ a relevé des signes de démonstration et d'accentuation. Compte tenu de ces éléments, l'existence de douleurs intenses n'est pas établie au degré de la vraisemblance prépondérante.
6.1.6 Il n'y a pas eu d'erreurs dans le traitement médical ni de complications survenues au cours de la guérison.
6.1.7 L'importance de l'incapacité de travail est bien réelle. Toutefois, les efforts reconnaissables que l'assuré a fournis pour reprendre une activité, ne résultent pas du dossier. Il en ressort uniquement que le recourant se sent incapable d'exercer une activité lucrative. La question de savoir si ce critère est rempli peut rester indécise. En effet, au vu de l'ensemble des circonstances et du fait que l'accident du 24 août 2007 se trouve à la limite inférieure des cas de gravité moyenne, la juridiction cantonale était fondée à nier l'existence d'une relation de causalité adéquate entre l'accident et l'atteinte à la santé du recourant au-delà au 24 novembre 2007, respectivement 31 décembre 2007.
Le recours est donc mal fondé.
7. Le recourant a sollicité le bénéfice de l'assistance judiciaire pour l'instance fédérale. Les conditions d'octroi de l'assistance judiciaire gratuite étant réalisées (art. 64 al. 1 et 2 LTF), celle-ci lui est accordée de sorte qu'il sera dispensé des frais judiciaires et que les honoraires de son avocat seront pris en charge par la caisse du Tribunal fédéral. L'attention du recourant est attiré sur le fait qu'il devra rembourser la caisse du Tribunal fédéral s'il devient en mesure de le faire ultérieurement (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée au recourant.
3. Les frais judiciaires arrêtés à 500 fr. sont mis à la charge du recourant. Ils sont supportés provisoirement par la caisse du Tribunal.
4. Une indemnité de 2'800 fr., supportée par la caisse du Tribunal, est allouée à Me Mingard, à titre d'honoraires.
5. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal vaudois et à l'Office fédéral de la santé publique.
Lucerne, le 21 septembre 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Berset