Faits:
A. D._, a travaillé dès le 1er mai 2007 en qualité d'ouvrier (ferrailleur) pour le compte de l'entreprise Z._. A ce titre, il était assuré obligatoirement contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
A.a Auparavant, le 24 novembre 1997, D._ avait chuté d'un toit alors qu'il travaillait comme aide-couvreur. Il avait subi à cette occasion une fracture stable de D11 et une fracture instable de L1, lesquelles ont été traitées par spondylodèse D12-L2 le 5 décembre 1997. La CNA avait pris le cas en charge y compris les nombreuses rechutes. L'assuré avait été mis au bénéfice d'une indemnité pour atteinte à l'intégrité de 15 % (décision du 15 février 2000), laquelle avait été confirmée par la suite. A la suite d'une rechute, il avait été examiné le 18 avril 2007 par le docteur O._, médecin conseil de la CNA. Par décision du 25 avril 2007, la CNA avait mis fin à ses prestations, après avoir conclu à une perte économique inférieure à 10 %. Cette décision a été confirmée par une décision sur opposition du 29 mai 2008. Cette décision, qui porte sur les suites de l'accident de 1997 (et ses rechutes) n'a pas été attaquée.
A.b Par déclarations de sinistre LAA des 5 juillet et 21 août 2007, D._ a fait annoncer par son employeur un accident survenu sur un chantier le 21 juin 2007. Selon ces documents, il avait glissé, était tombé et s'était blessé au dos.
Il a consulté le docteur S._ le 25 juin 2007 (cf. rapport du 9 décembre 2008). Il a été adressé par ce médecin à l'Hôpital X._ où il a subi une IRM dorso-lombaire le 26 juin 2007, laquelle ne mettait en évidence aucun changement par rapport à un examen du même type qui avait été pratiqué le 15 janvier 2007.
Le 19 juillet 2007, l'assuré a consulté le docteur B._. Dans un rapport médical initial LAA du 31 août 2007, ce médecin a posé le diagnostic de dorso-lombalgie sur chute.
Le 7 septembre 2007, l'employeur a indiqué par téléphone à la CNA que l'heure à laquelle l'assuré a déclaré être tombé était inexacte, car il ne se serait pas trouvé sur son lieu de travail à cette heure. En outre, aucun témoin ne l'aurait vu tomber et se plaindre de quelconques douleurs. Interrogé par un inspecteur de la CNA le 14 septembre 2007, l'assuré a déclaré ce qui suit:
"En date du 21 juin 2007, à 14 heures, je me trouvais sur un chantier lorsque j'ai posé mon pied gauche dans un trou d'un mètre de profond. J'ai vu le vide et suis tombé sur mon flanc droit de ma hauteur. J'ai heurté mon dos contre les ferrailles posées sur le sol au niveau des lombaires".
Le 10 octobre 2007, le docteur I._, médecin-assistant en chirurgie à l'Hôpital X._, a confirmé avoir donné les premiers soins à l'assuré le 25 juin 2007 et a diagnostiqué une contusion dorso-lombaire avec hypoesthésie mal systématisée. Le 28 octobre 2007, la société Z._ a résilié le contrat de travail avec effet immédiat, au motif que l'employé avait arrêté le travail par sa propre volonté et non à cause d'un accident. Le 15 novembre 2007, le docteur M._, médecin d'arrondissement de la CNA, a examiné D._. Selon les conclusions de ce médecin, l'impression qui prévaut est que l'accident du 21 juin 2007 n'a pas entraîné grand chose, si tant est qu'il se soit réellement produit. En revanche l'arrêt de travail qui s'en est suivi a déconditionné à nouveau le patient. Ce médecin a précisé que le vrai problème de l'assuré était celui de sa réinsertion professionnelle.
Du 11 décembre au 28 décembre 2007, l'assuré a été hospitalisé à la Clinique R._. Selon les conclusions du 10 janvier 2008 des médecins de cet établissement, l'IRM lombaire du 26 juin 2007 est superposable à l'IRM du 15 janvier 2007. Les clichés standards mettent en évidence quelques troubles dégénératifs au niveau L2-L3 8 (spondylose et discret rétrolisthesis sans instabilité mesurable). A l'examen clinique du consilium neurologique on relève des incohérences et des douleurs qui ne sont pas reproductibles. L'examen et l'ENMG ne montrent pas de signe en faveur d'une atteinte médullaire, radiculaire, tronculaire ou plexulaire. La longue durée des céphalées sans changement de caractère et la normalité de l'examen neurologique parlent contre des céphalées symptomatiques. Les médecins ont noté en outre que l'assuré s'auto-limite dans tous les mouvements et tous les tests et qu'à deux reprises on a observé un passage spontané rapide de la position couchée à assise, sans l'aide des mains. Il n'y avait pas d'élément permettant d'affirmer que le traumatisme qui serait survenu le 21 juin 2007 a aggravé durablement l'atteinte à la santé pré-existante. Une incapacité de travail totale n'est reconnue que pour la durée du séjour. Le 10 mars 2008, le docteur M._ a examiné une nouvelle fois l'assuré. Il a conclu que l'accident du 21 juin 2007 ne "développait" plus d'effets.
Par décision du 9 avril 2008, confirmée sur opposition par décision du 29 mai 2008, la CNA a mis fin au paiement des indemnités journalières et des soins médicaux au 31 mars 2008 en ce qui concerne l'accident du 21 juin 2007.
B. D._ a interjeté un recours contre cette deuxième décision sur opposition, datée comme la précédente du 29 mai 2008, devant la Cour des assurances sociales du Tribunal cantonal vaudois. Il concluait à l'octroi d'une rente d'invalidité consécutive aux accidents de 1997 et 2007 ainsi qu'à la mise en oeuvre d'une expertise judiciaire.
Le 29 janvier 2009, la juridiction cantonale a entendu les représentants des parties ainsi qu'un témoin notamment sur les circonstances de l'accident.
Par jugement du 16 juin 2009, la juridiction cantonale a rejeté le recours.
C. D._ interjette un recours en matière de droit public contre ce jugement dont il demande, à titre principal, la réforme en ce sens que le droit aux prestations d'assurance lui soit reconnu pour les suites de l'accident du 21 juin 2007 (implicitement au delà du 31 mars 2008). A titre subsidiaire, il conclut à l'annulation du jugement cantonal et au renvoi à la Cour des assurances du Tribunal cantonal vaudois ou, éventuellement, à la CNA pour instruction complémentaire et nouvelle décision dans le sens des considérants. En outre, il sollicite le bénéfice de l'assistance judiciaire gratuite. A l'appui de son recours, il a produit un rapport du 11 mars 2009 du Département de psychiatrie de l'Hôpital X._.
La CNA conclut au rejet du recours, tandis que l'Office fédéral de la santé publique a renoncé à se déterminer.
Considérant en droit:
1. La décision sur opposition du 29 mai 2008, en relation avec la décision du 25 avril 2007 concernant l'accident du 24 novembre 1997 n'a pas été attaquée. Elle est passée en force. Le recourant ne le conteste pas. Il remet en cause uniquement la décision sur opposition du 29 mai 2008 en relation avec la décision du 9 avril 2008 concernant l'accident du 21 juin 2007.
2. La question litigieuse est donc de savoir si la CNA était fondée à mettre fin à ses prestations d'assurance au 31 mars 2008 pour ce qui est des suites de l'accident du 21 juin 2007.
3. Dans la procédure de recours concernant l'octroi ou le refus de prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par l'état de fait constaté par la juridiction inférieure (art. 97 al. 2 LTF). On ajoutera cependant que selon une jurisprudence récente (ATF 135 V 194), l'art. 99 al. 1 LTF, aux termes duquel aucun fait nouveau ni preuve nouvelle ne peut plus être présenté à moins de résulter de la décision de l'autorité précédente, est applicable même dans une procédure où le pouvoir d'examen n'est pas limité.
En procédure fédérale, le recourant se prévaut pour la première fois de l'existence de problèmes psychiques (épisode dépressif léger à moyen, trouble douloureux somatoforme). Il s'agit là d'un fait nouveau qui ne peut être présenté. Quant au rapport du 11 mars 2009 que l'assuré a produit également pour la première fois en annexe de son recours et qui atteste la présence de ces troubles, il s'agit d'une preuve nouvelle qui ne peut pas davantage être prise en considération. Au demeurant, ce rapport ne contient rien dont le recourant aurait pu tirer parti. Le rapport n'indique pas, en particulier, que les troubles psychiques allégués sont en lien de causalité avec l'accident du 21 juin 2007.
4. Le jugement entrepris expose de manière correcte les dispositions légales et les principes jurisprudentiels relatifs à la nécessité d'une atteinte à la santé, physique ou psychique, et d'un rapport de causalité naturelle et adéquate entre celle-ci et un accident pour que l'assureur-accidents soit tenu à fournir des prestations (ATF 129 V 177 consid. 3.1 p. 181).
5. 5.1 La juridiction cantonale a admis la réalité de l'accident du 21 juin 2007. La CNA ne conteste pas ce point, si bien qu'il n'y a pas lieu de revenir sur cette question.
5.2 La juridiction cantonale s'est fondée sur les rapports du docteur M._ (15 novembre 2007 et 10 mars 2008), ainsi que sur le rapport de la Clinique R._ du 10 janvier 2008 pour retenir que l'intimée avait à bon droit mis un terme à ses prestations d'assurance à compter du 31 mars 2008, soit un peu plus de neuf mois après l'événement du 21 juin 2007. Elle s'est appuyée également sur le fait que les radiographies de la colonne lombaire et l'IRM dorso-lombaire, réalisées quelques jours après l'accident, n'avaient pas montré de nouvelles lésions par rapport à l'IRM dorso-lombaire du 15 janvier 2007 (lui-même antérieur à l'événement du 21 juin 2007). Ainsi, il n'y avait pas d'élément permettant de retenir une aggravation durable allant au-delà de l'incapacité de travail passagère admise jusqu'au 31 mars 2008. En particulier, il n'y avait pas de rechute ni d'aggravation des atteintes de l'accident de 1997.
6. 6.1 Dans un premier moyen, le recourant fait valoir que s'il est possible que l'accident de 2007 n'ait pas fondamentalement modifié le diagnostic ni occasionné une importante péjoration de son état de santé, il n'en demeure pas moins qu'il travaillait avant cet événement, ce qui ne lui est plus possible aujourd'hui, dans son occupation habituelle à tout le moins.
Ce moyen est infondé. Le fait que le recourant ne peut plus travailler dans son activité de ferrailleur n'est pas la conséquence de l'accident du 21 juin 2007 mais est certainement attribuable à l'événement accidentel du 24 novembre 1997. A cette époque, la CNA avait considéré, au regard des appréciations médicales, que l'assuré disposait d'une capacité de travail entière dans des activités adaptées légères ne sollicitant pas le dos, avec port occasionnel de charges d'un poids maximal de 10 kilos (décision du 15 février 2000). A la suite d'une rechute, les médecins de la Clinique W._ avaient précisé l'exigibilité en indiquant que l'activité de ferrailleur (ou toute autre activité lourde) était exclue. En revanche, une activité légère à moyennement lourde pouvait être exercée toute la journée en alternant les positions (marche, position debout, position assise; rapport du 6 décembre 2004). C'est dire que l'activité de ferrailleur (avec port de charges de plus de soixante kilos) que l'assuré a exercée durant plusieurs années avant son deuxième accident était inadaptée à l'état de santé qui était le sien jusqu'au 21 juin 2007. En définitive, quoi qu'il s'en défende, le recourant entend remettre en question les suites de l'accident de 1997 (notamment, le fait qu'il n'a pas été mis au bénéfice d'une rente d'invalidité). Or, ainsi que les premiers juges l'ont retenu, celles-ci ont été définitivement tranchées par la décision, entrée en force, du 29 mai 2008 relative au premier accident.
6.2 Dans un deuxième moyen, le recourant fait valoir que les rapports des médecins de la CNA sont contraires aux faits. Il considère que cette contradiction aurait dû conduire les premiers juges à ordonner l'expertise qu'il avait requise en procédure cantonale. Par ailleurs, Il reproche aux premiers juges de s'être fondés sur des évaluations médicales antérieures au second accident pour juger des suites de cet accident. En outre, il fait valoir que sur le plan médical l'instruction du dossier après juin 2007 est assez pauvre, puisque les seuls renseignements sont des rapports du médecin-conseil de la CNA.
Ce moyen est également mal fondé. A l'instar de la juridiction cantonale, on ne voit en l'occurrence pas de motif justifiant que l'on s'écarte des conclusions du docteur M._ ainsi que de celles des médecins de la Clinique R._. Les rapports de ces médecins s'appuient sur une observation clinique attentive de l'assuré, des examens d'imagerie médicales complets et les conclusions sont bien motivées. Il n'existe au dossier aucun élément susceptible de remettre en cause leurs constatations. Elles se concilient, notamment, avec les avis des médecins ayant examiné l'assuré à l'époque de l'accident de 2007, soit, le docteur B._ (rapports des 19 juillet et 31 août 2007), le docteur I._ (rapport du 10 octobre 2007) et le docteur S._ (rapport du 9 décembre 2008). Par ailleurs, il était tout à fait logique que la juridiction cantonale compare les rapports médicaux antérieurs à l'événement de juin 2007 avec les avis rendus postérieurement pour se prononcer sur la question du statu quo sine.
6.3 Dans ces conditions, les pièces du dossier se révélaient suffisantes pour statuer en pleine connaissance de cause, sans que l'administration d'autres preuves ne s'impose. Les premiers juges pouvaient s'en dispenser par appréciation anticipée des preuves ( ATF 131 I 153 consid. 3 p. 157; 130 II 425 consid. 2 p. 428; voir aussi par ex. arrêts 8C_361/2009 du 3 mars 2010 consid. 3.2 et 8C_15/2009 du 11 janvier 2010 consid. 3.2). Il n'y a donc pas lieu d'accueillir le grief du recourant selon lequel l'intimée et la juridiction cantonale auraient dû mettre en oeuvre un complément d'instruction sous la forme d'une expertise.
6.4 Vu ce qui précède, la CNA était fondée, par sa décision sur opposition du 29 mai 2008, à supprimer le droit du recourant aux prestations de l'assurance-accidents, à partir du 1er avril 2008 en ce qui concerne l'accident du 21 juin 2007. Le jugement entrepris n'est dès lors pas critiquable et le recours se révèle mal fondé.
7. Le recourant, qui voit ses conclusions rejetées, ne peut prétendre de dépens (art. 68 al. 1 LTF). Il a déposé une demande d'assistance judiciaire (art. 64 al. 1 LTF). Dès lors que les conclusions du recours paraissaient d'emblée vouées à l'échec (art. 64 al. 1 LTF a contrario; arrêt 5A_312/2009 du 30 juin 2009 consid. 4, non publié in ATF 135 III 545), sa requête doit être rejetée. Le recourant supportera les frais judiciaires (art. 66 al. 1 1ère phrase et art. 65 LTF).
Par ces motifs, le Tribunal fédéral ordonne:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 750 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal vaudois et à l'Office fédéral de la santé publique.
Lucerne, le 7 avril 2010
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Ursprung Berset