Faits:
A. V._, né en 1972, travaillait depuis le 18 avril 2007 en qualité de maçon au service de l'entreprise X._ et était, à ce titre, assuré contre les accidents professionnels et non professionnels auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Le 25 mai 2007, en se baissant pour ramasser un linteau, il a glissé sur le côté droit et s'est heurté la hanche en tombant. Il a repris son travail jusqu'au 31 mai 2007, date à partir de laquelle il a été incapable de travailler.
V._ a été hospitalisé du 31 mai au 2 juin 2007 en raison d'un syndrome lombosciatique hyperalgique postraumatique. Une imagerie par résonance magnétique (IRM) lombaire pratiquée le 14 juin 2007 a révélé une hernie discale au niveau L4-L5 et L5-S1, sanctionnée par une microdiscectomie L4-L5 le 16 juin 2007. Au terme d'un séjour en rééducation du 6 au 24 août 2007 à l'Hôpital Y._, les diagnostics de lombalgies chroniques et d'état anxiodépressif important ont été posés. Une tentative de reprise du travail à 20 % a échoué en raison des douleurs.
Dans un rapport du 26 octobre 2007, le docteur B._, spécialiste FMH en médecine interne et maladies rhumatismales, a posé le diagnostic de lombosciatalgies droites algo-paresthésiantes et de hernie inguinale droite. Il a en outre indiqué qu'une IRM de contrôle du rachis lombaire avait mis en évidence un status après microdiscectomie L4-L5 avec un remaniement cicatriciel local conduisant à une déformation du fourreau dural.
Après avoir examiné l'assuré le 25 janvier 2008, le docteur E._, médecin d'arrondissement de la CNA, a estimé que la hernie inguinale droite n'était pas en relation de causalité pour le moins probable avec l'accident. Selon ce médecin, les données anamnestiques, cliniques et radiologiques ne permettaient pas d'expliquer dans toute leur ampleur les plaintes subjectives. Il a par conséquent préconisé un bilan neurologique ainsi qu'un soutien psychologique. L'exercice de la profession antérieure était réservée à très long terme, voire définitivement. En revanche, d'un point de vue médico-théorique, la capacité de travail de l'assuré était complète dans une activité légère, parfaitement adaptée à ses limitations fonctionnelles (alternant la position assise et debout mais excluant les déplacements importants et les positions vicieuses ou figées du rachis). Ce pronostic semblait toutefois hypothéqué par la baisse de moral du patient, laquelle était en relation de causalité naturelle avec l'accident.
Un examen clinique rhumatologique et psychiatrique a été mis en oeuvre par l'office de l'assurance-invalidité du Jura, auprès duquel l'assuré s'était également annoncé. Dans leur rapport du 4 juillet 2008, les docteurs P._ (spécialiste FMH en médecine interne et rhumatologie) et O._ (spécialiste FMH en psychiatrie), médecins-conseils au SMR, ont posé comme diagnostics avec répercussion sur la capacité de travail, des lombosciatalgies droites chroniques persistantes, un épisode dépressif moyen avec syndrome somatique et des traits de personnalité narcissique, décompensée. La capacité de travail était jugée nulle dans quelque activité que ce soit en raison de l'intime intrication entre la problématique somatique, elle-même sévère, et la problématique psychiatrique, cette dernière interdisant des mesures de reclassement professionnel.
Une myélographie et une IRM de la colonne lombaire ont été réalisées respectivement les 21 et 22 septembre 2009. Ces examens n'ont pas permis d'établir une corrélation claire entre les plaintes émises et le substrat objectivable.
Le 18 décembre 2009, le docteur E._ a procédé à l'examen médical final de l'assuré. Il a constaté une certaine discordance entre l'importance des plaintes subjectives et le substrat organique objectivable, mis en évidence par l'examen clinique et l'imagerie médicale. Il n'envisageait pas de mesures diagnostiques ou thérapeutiques particulières, mise à part la poursuite d'un traitement symptomatique. Il a par ailleurs renvoyé à son évaluation du 25 janvier 2007 (recte: 2008) en ce qui concerne les limitations fonctionnelles à prendre en compte pour la détermination de la capacité de travail résiduelle de l'assuré. Un lien de causalité naturelle entre l'importante baisse du moral et l'accident du 25 mai 2007 pouvait être retenu. Il n'avait pas d'explication anatomopathologique ou pathogénétique pour les céphalées diffuses et la symptomatologie étendue à tous les membres, sous forme de douleurs et paresthésies, rappelant à cet égard qu'un CT-scan et un examen neurologique dans ce contexte s'étaient révélés normaux. Enfin, il était d'avis que l'atteinte dégénérative au niveau cervical, comportant une petite protrusion discale C4-C5 et C5-C6, sans conflit disco-radiculaire, ainsi qu'un léger rétrécissement foraminal bilatéral au niveau C5-C6, ne concernait pas l'assurance-accident.
Par courrier du 23 décembre 2009, la CNA a informé l'assuré qu'elle mettait fin au paiement des soins médicaux et de l'indemnité journalière avec effet au 31 décembre 2009. L'indemnité pour atteinte à l'intégrité a été fixée à 20 %.
Par décision du 3 mai 2010, confirmée sur opposition le 25 août 2010, la CNA a alloué à V._ une rente d'invalidité de 10 % dès le 1er janvier 2010 ainsi qu'une indemnité pour atteinte à l'intégrité de 21'360 fr.
B. Saisie d'un recours de l'assuré contre cette décision, la Cour des assurances sociales du Tribunal cantonal jurassien l'a rejeté par arrêt du 7 janvier 2011. Il a par ailleurs accordé l'assistance judiciaire au recourant.
C. V._ interjette un recours en matière de droit public, dans lequel il conclut à l'octroi d'une rente d'invalidité de 100 % dès le 1er janvier 2010 ainsi qu'une indemnité pour atteinte à l'intégrité de 100 %, soit un montant de 106'800 fr.; subsidiairement, à ce que la cause soit renvoyée à la CNA pour nouvelle décision au sens des considérants. Il requiert en outre le bénéfice de l'assistance judiciaire et la désignation de sa mandataire en qualité d'avocate d'office. A l'appui de son recours, il produit plusieurs rapports médicaux, tous postérieurs au jugement attaqué.
La CNA conclut au rejet du recours, tandis que l'Office fédéral de la santé publique a renoncé à présenter des déterminations.

Considérant en droit:
1. 1.1 Le litige porte sur le taux de la rente d'invalidité et sur celui de l'indemnité pour atteinte à l'intégrité allouées au recourant.
Le jugement entrepris expose de manière exacte et complète les dispositions légales et les principes jurisprudentiels applicables au présent cas, de sorte qu'il suffit d'y renvoyer.
Le Tribunal fédéral n'est pas lié par l'état de fait constaté par la juridiction précédente lorsque le litige porte sur des prestations en espèces de l'assurance-accidents (art. 97 al. 2 LTF).
1.2 Aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF). En l'occurrence, les pièces nouvelles versées en cause ne seront donc pas prises en considération par le Tribunal fédéral.
2. 2.1 La juridiction cantonale a confirmé le taux d'incapacité de gain de 10 % retenu par l'intimée dans sa décision sur opposition du 25 août 2010. Elle a nié l'existence d'une relation de causalité adéquate entre l'accident du 25 mai 2007 et les troubles psychiques. Quant à l'atteinte somatique, elle ne limitait pas la capacité de travail de l'intéressé dans une activité légère, ne comportant pas de déplacements importants, permettant des positions alternées et évitant les positions vicieuses ou figées du rachis.
2.2 Par un premier moyen, le recourant reproche à la juridiction cantonale d'avoir nié l'existence d'un lien de causalité adéquate entre l'accident du 25 mai 2007 et les troubles psychiques dont il est atteint.
Dans le cas particulier, on est en présence d'un accident de gravité moyenne (glissade en se baissant pour ramasser un linteau, suivie d'une chute sur la hanche). Les circonstances de l'accident sont dépourvues de caractère dramatique ou impressionnant. Les lésions subies, à savoir un syndrome lombosciatique hyperalgique postraumatique ainsi qu'une hernie discale, ne sauraient être considérées, au regard de leurs conséquences purement physiques, d'une gravité ou d'une nature propre, selon l'expérience, à entraîner des troubles psychiques. Le traitement médical a consisté principalement en une microdiscectomie le 16 juin 2007 et une cure de rééducation du 6 au 24 août 2007. Dès le mois de janvier 2008, le recourant a été déclaré apte à reprendre une activité adaptée à son handicap par le docteur E._. Le traitement ne saurait par conséquent pas être qualifié d'anormalement long. On ne saurait pas non plus voir une complication dans le seul fait que le soupçon de lésions cicatricielles à l'origine de la symptomatologie douloureuse a nécessité plusieurs mesures diagnostiques et thérapeutiques (IRM, infiltration épidurale de stéroïdes, médicaments) pour être finalement écarté. Enfin, on ne peut parler d'une longue incapacité de travail, celle-ci n'étant pas imputable aux lésions physiques mais à la persistance des troubles psychiques. En définitive, un seul critère objectif est rempli (la persistance des douleurs physiques) sans qu'on puisse toutefois retenir qu'il a revêtu en l'espèce une intensité particulière. Si les médecins s'accordent en effet à reconnaître une certaine cohérence entre les plaintes douloureuses, d'une part, et le status clinique et l'imagerie d'autre part, ils sont aussi unanimes sur le fait que les données objectives ne permettent pas d'expliquer dans toute leur ampleur les plaintes subjectives, l'extrême importance des douleurs alléguées et la résistance à tous les traitements adéquats proposés évoquant une part d'amplification des plaintes, s'expliquant par les singularités psychiatriques mis en évidence au cours des nombreux examens effectués (cf. notamment les rapports des docteurs B._, du 24 janvier 2008 et E._, du 28 janvier 2008; rapport du SMR, du 4 juillet 2008).
2.3 C'est ainsi à juste titre que les premiers juges ont nié l'existence d'un lien de causalité adéquate entre l'accident et les troubles psychiques dont souffre le recourant au regard des critères posés par la jurisprudence (<ref-ruling>).
3. Par un deuxième moyen, le recourant fait valoir qu'il est totalement inapte à travailler dans quelque activité que ce soit, comme cela ressort de l'expertise du SMR. Du reste, l'assurance-invalidité lui aurait reconnu le droit à une rente fondée sur un degré d'invalidité de 100 %. Selon lui, l'intimée ne disposait pas de motifs suffisants pour s'écarter du taux d'invalidité de 100 % fixé par l'assurance-invalidité.
Les premiers juges ont constaté que les limitations fonctionnelles sur le plan somatique posées par le docteur E._ étaient superposables à celles constatées par les médecins du SMR, ces derniers retenant toutefois une diminution de rendement imputable aux douleurs neurogènes. Comme le relèvent les premiers juges, l'expertise du SMR réalisée le 2 juillet 2008 est cependant antérieure aux examens neurologiques et à l'IRM effectués les 21 et 22 septembre 2009, selon lesquels il n'existe pas de corrélation claire entre les plaintes émises et le substrat objectivable. D'autre part, l'incapacité totale de travail retenue par le SMR dans toute activité tient également compte de l'affection psychique dont le lien de causalité adéquate avec l'accident doit, ainsi qu'on l'a vu, être nié. Cela étant, l'intimée était fondée à évaluer l'incapacité de gain due à l'accident sans tenir compte de l'influence d'une éventuelle affection psychique. Or, sur le plan somatique, on doit admettre que le recourant est capable d'exercer à plein temps une activité adaptée à ses limitations fonctionnelles dues à l'accident. Quant à la comparaison des revenus opérée par la CNA et confirmée par les premiers juges, elle n'est pas discutée en tant que telle et ne prête pas le flanc à la critique.
4. Le recourant conclut à l'octroi d'une indemnité pour atteinte à l'intégrité d'un montant de 106'800 fr., correspondant à un taux d'atteinte à l'intégrité de 100 %. Se contentant d'alléguer que le taux de l'atteinte à l'intégrité devrait être identique à celui de son invalidité - ce qui est contraire aux art. 24 s. LAA, 36 OLAA, ainsi qu'à l'annexe 3 à l'OLAA -, il n'explique pas pour quels motifs l'indemnité qui lui a été allouée par l'intimée serait insuffisante au regard des dispositions légales précitées. Sur ce point, le recours ne répond pas aux exigences de motivation posées à l'art. 42 al. 1 et 2 LTF, et cette conclusion n'est pas admissible.
5. Il résulte de ce qui précède que le recours doit être rejeté. Comme le recours paraissait d'emblée dénué de chances de succès, le recourant ne saurait bénéficier de l'assistance judiciaire (cf. art. 64 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. L'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 750 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton du Jura, Chambre des assurances, et à l'Office fédéral de la santé publique.
Lucerne, le 3 novembre 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Fretz Perrin