Faits:
A. A.a B._, né en 1983, travaillait en qualité de menuisier pour le compte de l'entreprise X._ SA, à Y._ et était, à ce titre, assuré contre les accidents professionnels et non professionnels auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Le 7 juillet 2008, il s'est retrouvé coincé par une machine de travail entre la 4ème et la 12ème côte. Les radiographies du thorax réalisées à l'hôpital n'ont montré ni pneumothorax, ni épanchement, ni fracture. Celles de la colonne dorsolombaire n'ont pas mis en évidence de fracture. Quant au CT-Scan, il a permis de déceler une lésion osseuse non traumatique d'aspect bénin en D12. Le diagnostic de contusion costale gauche a été posé et une incapacité de travail totale a été prescrite.
Dans un rapport du 8 août 2008, le docteur P._, spécialiste FMH en médecin interne, a retenu le diagnostic de contusion thoraco-abdominale et dorsale et indiqué qu'après investigations, la lésion suspecte de D12 s'était avérée bénigne. Selon l'IRM de la colonne dorsale du 4 août 2008, il s'agissait très vraisemblablement d'une lésion kystique bénigne du pédicule gauche de D12 associée à des zones d'infiltration graisseuse pédiculo-corporéales homolatérales postérieures et d'une hernie intraspongieuse du plateau supérieur, partie postérieure gauche de cette même vertèbre, sans signe de fracture, d'oedème, ni d'hématome.
Au cours d'un entretien avec un inspecteur de la CNA le 28 août 2008, B._ a indiqué être atteint de la maladie de Scheuermann et avoir été traité par le docteur P._ en 2001 pour des douleurs dans le bas du dos.
Le 1er octobre 2008, B._ a repris son activité de menuisier en plein mais n'arrivait pas à effectuer l'ensemble des tâches qui lui étaient dévolues avant son accident. Lors d'un entretien ayant eu lieu le 7 novembre 2008 en présence de l'assuré, l'inspecteur de la CNA et l'employeur de B._ ont convenu qu'un rendement de 80 % sur l'ensemble de la journée paraissait conforme à la réalité et ce, rétroactivement au 1er octobre 2008.
Se plaignant de douleurs dorsales et lombaires chroniques, l'assuré a été examiné le 3 décembre 2008 par le docteur E._, spécialiste FMH et médecin d'arrondissement de la CNA. Dans son rapport subséquent du 9 décembre 2008, ce médecin a rappelé qu'aucune lésion post-traumatique n'avait été mise en évidence par les radiographies conventionnelles avec CT-Scan, scintigraphie et IRM. La lésion au niveau D12 avait été interprétée comme non-traumatique et la réaction ostéophytaire montrait qu'il s'agissait d'une ancienne lésion. L'assuré présentait une anamnèse antérieure avec des lombalgies récidivantes depuis l'âge de 18 ans qui avaient été associées à un morbus Scheuermann confirmé radiologiquement. Le docteur E._ a constaté que les troubles actuels se situaient plus bas, au niveau S1. La relation de causalité entre ceux-ci et l'accident était invraisemblable. Selon lui, la nouvelle incapacité de travail ayant débuté le 14 novembre 2008 n'était probablement plus en relation de causalité avec l'accident mais devait être associée aux altérations maladives chez un sujet leptosome et peu apte à un travail lourd.
Avant la clôture du cas, la CNA a encore fait examiner l'assuré par le docteur R._, spécialiste FMH en médecine physique et réhabilitation et en rhumatologie et chef de service à la Clinique Z._. Après avoir posé le diagnostic de lombalgies persistantes, discrets troubles statiques et raideur lombaire haute dans le cadre de séquelles de dystrophie rachidienne de croissance et plusieurs anomalies d'allure bénigne dans la partie D du corps vertébral et le pédicule D de D12, le docteur R._ a constaté que selon les documents d'imagerie, aucune fracture n'était mise en évidence. Les anomalies de D12 avaient une allure non évolutive et n'étaient pas de nature traumatique. Il a précisé que la douleur était ressentie à la jonction lombosacrée, mais son origine était située plus haut. Les anomalies structurelles et surtout fonctionnelles de la colonne lombaire haute, ainsi que le manque de flexibilité (muscles ischio-cruraux courts) pouvaient expliquer la mauvaise adaptation fonctionnelle et la douleur lombaire lors de travaux exigeants pour le dos (cf. rapport du 5 février 2009).
Après avoir pris connaissance de ce rapport, le docteur E._ a confirmé, le 18 février 2009, que les troubles de l'assuré n'étaient plus en relation de causalité pour le moins probable avec l'accident et qu'il y avait donc lieu de mettre un terme à la prise en charge du cas.
Par décision du 19 février 2009, la CNA a mis un terme à ses prestations avec effet immédiat. Cette décision n'a pas été attaquée par l'assuré.
A.b Par courrier du 27 novembre 2009, le docteur I._, spécialiste FMH en anesthésiologie, a demandé à la CNA la réouverture du dossier de l'assuré, au motif que des pathologies expliquant intégralement ses plaintes avaient été mises en évidence. Selon le rapport médical annexé à sa lettre, une arthrographie effectuée au niveau des articulations D11-D12 et L1-L2 avait mis en évidence une rupture de la capsule D11-D12. Or, selon ce médecin, cette pathologie n'avait jamais été observée dans cette tranche d'âge sans association avec un traumatisme. Une dénervation des articulations concernées avait été réalisée le 24 novembre 2009 et son résultat pourrait être évalué deux mois plus tard.
Le docteur E._ a estimé que le rapport du docteur I._ n'apportait pas d'éléments nouveaux, ni preuves nouvelles, dans la mesure où les altérations au niveau D12 étaient déjà bien connues. Il s'agissait d'une autre hypothèse basée sur les mêmes faits.
Représenté par les Syndicats chrétiens interprofessionnels, B._ a demandé à la CNA de reconsidérer sa décision du 9 (recte: 19) février 2009.
Par décision du 27 janvier 2010, la CNA a refusé d'entrer en matière sur la demande de reconsidération, rappelant que cette décision ne pouvait être attaquée par une voie de droit ordinaire. Elle a par ailleurs examiné la demande sous l'angle de la révision procédurale et l'a rejetée. Contre la décision de rejet de sa demande de révision procédurale, l'assuré a formé opposition, laquelle a été rejetée par décision du 22 mars 2010.
B. B._ a recouru contre cette décision devant la Cour des assurances sociales du Tribunal cantonal valaisan.
Par jugement du 25 octobre 2010, le Tribunal cantonal a rejeté le recours.
C. B._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant au renvoi de la cause à l'autorité inférieure pour instruction complémentaire et nouvelle décision, le tout sous suite de frais et dépens.
La CNA conclut au rejet du recours tandis que l'Office fédéral de la santé publique a renoncé à se déterminer.

Considérant en droit:
1. Le présent recours est dirigé contre la confirmation, sur recours, d'une décision sur opposition par laquelle l'assureur-accidents a refusé la révision de sa décision de suppression de prestations du 19 février 2009. Le litige ne porte pas comme tel sur l'octroi ou le refus de prestations de l'assurance-accidents, mais sur un point de procédure, de sorte que le Tribunal fédéral est lié par les faits constatés dans le jugement attaqué, sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law> a contrario).
Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>). Par conséquent, les pièces nouvelles versées à la cause par le recourant à l'appui de son recours (cf. le rapport du docteur I._, du 19 novembre 2010 et l'attestation médicale du docteur F._, du 3 février 2010) ne seront pas prises en considération par le Tribunal fédéral.
2. 2.1 Selon l'<ref-law>, les décisions et les décisions sur opposition formellement passées en force sont soumises à révision si l'assuré ou l'assureur découvre subséquemment des faits nouveaux importants ou trouve des nouveaux moyens de preuve qui ne pouvaient être produits auparavant.
La notion de faits ou moyens de preuve nouveaux s'apprécie de la même manière en cas de révision (procédurale) d'une décision administrative (<ref-law>), de révision d'un jugement cantonal (<ref-law>) ou de révision d'un arrêt fondée sur l'<ref-law>. Sont "nouveaux" au sens de ces dispositions, les faits qui se sont produits jusqu'au moment où, dans la procédure principale, des allégations de faits étaient encore recevables, mais qui n'étaient pas connus du requérant malgré toute sa diligence. En outre, les faits nouveaux doivent être importants, c'est-à-dire qu'ils doivent être de nature à modifier l'état de fait qui est à la base de l'arrêt entrepris et à conduire à un jugement différent en fonction d'une appréciation juridique correcte. Les preuves, quant à elles, doivent servir à prouver soit les faits nouveaux importants qui motivent la révision, soit des faits qui étaient certes connus lors de la procédure précédente, mais qui n'avaient pas pu être prouvés, au détriment du requérant. Dans ce contexte, le moyen de preuve ne doit pas servir à l'appréciation des faits seulement, mais à l'établissement de ces derniers. Ainsi, il ne suffit pas qu'une nouvelle expertise donne une appréciation différente des faits; il faut bien plutôt des éléments de fait nouveaux, dont il résulte que les bases de la décision entreprise comportaient des défauts objectifs. Pour justifier la révision d'une décision, il ne suffit pas que l'expert tire ultérieurement des faits connus au moment du jugement principal, d'autres conclusions que le tribunal ou l'assureur, en cas de révision d'une décision administrative (<ref-ruling> consid. 5b p. 358; arrêt 8C_934/2009 du 24 février 2010 consid. 2.1).
2.2 Les premiers juges ont considéré que le rapport du docteur I._, lequel confirme que l'origine des douleurs se situe au niveau des articulations D11-D12, ne contenait aucun fait nouveau susceptible de remettre en cause les conclusions concordants des docteurs R._ et E._. Il ne faisait, de surcroît, état d'aucune aggravation de l'état de santé du recourant. La rupture de la capsule D11-D12 signalée par le docteur I._ n'était qu'une altération parmi d'autres atteintes dégénératives localisées au niveau de ces articulations. Bien que nouveau, ce diagnostic relevait d'une même symptomatologie. En outre, le rapport du docteur I._ n'était pas concluant en ce qui concernait la question de la causalité naturelle. L'appréciation des docteurs E._ et R._ attribuant les troubles du recourant, pour une part exclusive ou prépondérante, à une origine dégénérative, ne pouvait être remis en cause par le seul avis du docteur I._, ce d'autant que celui-ci ne démontrait pas de manière indiscutable le lien de causalité naturelle entre l'accident et la rupture de la capsule D11-D12. En l'absence de faits nouveaux importants ou nouveaux moyens de preuve, les conditions d'une révision n'étaient pas données.
2.3 Cela étant, il y a lieu d'admettre que le rapport du docteur I._, du 27 novembre 2009, n'apporte pas de faits nouveaux dont il résulte que les bases de la décision du 19 février 2009 comportait des défauts objectifs. Le docteur I._ indique qu'il existe une forte suspicion d'un problème provenant des articulations postérieures D11-D12 et L1-L2 à gauche. Or, cette observation ne tend pas à établir un fait réellement inconnu au moment de la décision du 19 février 2009 puisque tous les médecins qui s'étaient alors exprimés avaient observé l'existence d'une lésion au niveau de D12. Si le diagnostic posé par le docteur I._, à savoir une rupture de la capsule D11-D12, est certes nouveau, il relève, comme l'ont mentionné les premiers juges, d'une même symptomatologie. Il s'agit dès lors d'une appréciation différente des mêmes faits. Du reste, le docteur I._ se contente de poser l'hypothèse d'une rupture de la capsule de D11-D12 en se fondant sur une arthrographie qui n'est pas annexée à son rapport, alors que les docteurs E._ et R._ ont étayés leurs conclusions sur différents examens (scanner, scintigraphie et IRM) dont le résultat se trouve au dossier. En ce qui concerne la question de la causalité naturelle, le rapport du docteur I._ n'est pas concluant. Celui-ci se contente d'affirmer, sans l'étayer, que la rupture de la capsule de D11-D12 est une pathologie qui n'est jamais observée dans la tranche d'âge à laquelle appartient le recourant sans association avec un traumatisme. Si cette hypothèse permet à la rigueur de rouvrir une discussion sur la question de la causalité naturelle, elle ne démontre pas de manière indiscutable que le lien de causalité naturelle a perduré au-delà du 19 février 2009.
Par conséquent, le jugement entrepris n'est pas critiquable et le recours se révèle mal fondé.
3. Vu l'issue du litige, le recourant supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais de justice, d'un montant de 750 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal valaisan, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 24 août 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Fretz Perrin