Faits:
A. A.a K._, né en 1960, travaillait en qualité de monteur en ventilation au service de l'entreprise X._. A ce titre, il était assuré auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA) contre les accidents professionnels et non professionnels. Le 10 septembre 2001, alors qu'il se trouvait sur un chantier, il a chuté d'une hauteur d'environ 4,5 mètres, subissant un traumatisme thoracique gauche, des fractures de côtes en série, un hémothorax gauche, un hématome péri-rénal gauche et un hématome intra-scapulaire de la rate. Il a été hospitalisé du 10 au 25 septembre 2001 à l'Hôpital Y._. Selon le rapport de sortie du 28 septembre 2001, K._ s'est bien rétabli sur le plan pulmonal. Il a toutefois continué à souffrir de douleurs importantes. Il a séjourné du 27 février au 22 mars 2002 à la Clinique Z._. Le rapport de sortie du 9 avril 2002 a fait état de fractures costales gauches (5ème à 8ème côtes), de pseudo-arthrose au niveau des 7ème et 8ème côtes gauches et d'épisode dépressif moyen. L'incapacité de travail était totale jusqu'au 28 avril 2002. L'assuré n'a pas repris d'activité professionnelle depuis son accident.
A.b Dans un rapport du 3 septembre 2002, le docteur R._, médecin-conseil de la CNA, a indiqué que l'assuré était suivi dans le Service de Chirurgie thoracique de l'Hôpital W._. Une intervention stabilisatrice de la 8ème côte lui avait été proposée, sans aucune garantie de succès. Selon le docteur R._, l'assuré, qui lui avait fait une très bonne impression lors d'un précédent examen à l'agence, était beaucoup moins nuancé et très revendicateur. Il était également plus démonstratif et moins cohérent. Se plaignant toujours de douleurs thoraciques insupportables, il ne prenait pratiquement pas d'antalgiques, hormis du Dafalgan en raison de céphalées. Dans une appréciation ultérieure du 5 mars 2003, le docteur R._ a relevé que selon l'assuré, les différents traitements entrepris par le docteur B._, spécialiste en anesthésiologie et antalgie à l'Hôpital V._, ne lui avaient strictement rien apporté. Il se plaignait de douleurs dans l'hémithorax gauche ainsi que dans l'épaule gauche et au dos. Les douleurs étaient permanentes, exacerbées par les changements de temps. L'assuré avait aussi des douleurs nocturnes qui le réveillaient fréquemment. Il se plaignait en outre de céphalées qui étaient déjà présentes avant l'accident mais qui étaient devenues plus fréquentes depuis celui-ci. Selon le docteur R._, l'examen clinique était avant tout marqué par une autolimitation et des plaintes incessantes qui étaient toujours rapportées à l'hémithorax gauche. Les examens complémentaires avaient mis en évidence de petites pseudarthroses des 7ème et 8ème arcs latéraux gauches, qui ne justifiaient pas d'intervention d'après l'avis des spécialistes. Une surcharge psychogène était par ailleurs certaine. Du point de vue somatique, l'assuré ne pouvait plus travailler comme monteur en ventilation. En revanche, une pleine capacité de travail restait tout à fait exigible dans toute activité légère de type industriel, exercée à hauteur d'établi. Par ailleurs, une indemnisation pour atteinte à l'intégrité de 5 % était envisageable par analogie avec une arthrose débutante, douloureuse.
A.c Le 16 septembre 2003, le docteur H._, généraliste et médecin traitant de l'assuré, a posé le diagnostic d'état dépressif sévère consécutif au polytraumatisme du 10 septembre 2001. Dans un rapport du 24 novembre 2003 adressé à l'office de l'assurance-invalidité (ci-après: l'OAI), la doctoresse M._, spécialiste FMH en psychiatrie et psychothérapie, a posé le diagnostic de trouble douloureux associé à des facteurs psychologiques. Elle a relevé que celui-ci ne convenait que par élimination. Selon cette praticienne, l'assuré présentait une certaine perte d'intérêt pour la vie, une anhédonie ainsi qu'une psychorigidité importante. En revanche, il ne présentait aucun élément de la lignée psychotique.
A.d Le 24 février 2005, la CNA a informé K._ qu'elle mettait fin au paiement des soins médicaux et de l'indemnité journalière avec effet au 1er avril 2005. Par décision du 29 décembre 2005, la CNA a accordé à K._ une rente fondée sur une incapacité de gain de 19 % à partir du 1er avril 2005 ainsi qu'une indemnité pour atteinte à l'intégrité de 5 %.
Par acte du 30 janvier 2006, l'assuré a formé opposition contre la décision du 29 décembre 2005 en requérant la mise en oeuvre d'une expertise psychiatrique. Par décision sur opposition du 28 septembre 2006, la CNA a rejeté l'opposition. Elle s'est notamment fondée sur un rapport d'examen psychiatrique du Service médical régional de l'assurance-invalidité (SMR), établi le 28 juin 2004 par la doctoresse N._, laquelle a estimé que la capacité de travail de l'assuré était entière sur le plan psychiatrique.
K._ a recouru devant le Tribunal cantonal des assurances du canton de Vaud contre la décision sur opposition du 28 septembre 2006. Par jugement du 14 mars 2008, le Tribunal cantonal a admis le recours, annulé la décision attaquée et renvoyé le dossier à la CNA pour instruction complémentaire et nouvelle décision. Il a notamment retenu que la valeur probante du rapport d'examen psychiatrique de la doctoresse N._ était diminuée du fait que ce médecin n'était pas titulaire des titres de psychiatre FMH dont elle se prévalait, ni au bénéfice d'une autorisation de pratiquer selon le droit cantonal.
A.e A la demande de l'OAI, le docteur F._, spécialiste FMH en psychiatrie et psychothérapie, a rendu un rapport d'expertise le 5 mai 2008, établi sur la base de deux examens de l'assuré des 25 et 28 avril 2008. L'expert a posé le diagnostic de trouble dépressif récurrent (épisode actuel léger) et de syndrome douloureux somatoforme persistant, qu'il a qualifié de peu de gravité car à la limite du seuil diagnostique. Dans un tel contexte, il n'était pas légitime de retenir une incapacité de travail significative sur le plan psychiatrique.
Par décision du 16 décembre 2008, confirmée sur opposition le 18 mars 2009, la CNA a maintenu sa décision du 29 décembre 2005, au motif qu'il n'y avait pas d'incapacité de travail, respectivement d'invalidité psychique résultant de l'accident du 10 septembre 2001.
B. K._ a recouru contre cette décision devant le Tribunal cantonal vaudois, Cour des assurances sociales, en concluant à sa réforme, en ce sens qu'il était mis au bénéfice d'une rente d'invalidité fondée sur une incapacité de gain de 100 % dès le 1er avril 2005 et d'une indemnité pour atteinte à l'intégrité de 100 %. Il a également conclu à la mise en oeuvre de mesures d'instruction complémentaires, sous la forme d'une expertise pluridisciplinaire. La CNA a conclu au rejet du recours. Dans sa réplique, K._ a demandé l'audition du docteur F._, ainsi que celle du docteur G._, son psychiatre traitant depuis le mois de février 2006. Il a également produit une lettre de ce praticien, du 24 août 2007, rédigée à la demande du Tribunal cantonal dans le cadre de la procédure de recours contre la décision de l'OAI. Dans cette lettre, le docteur G._ pose le diagnostic d'épisode dépressif moyen avec syndrome somatique et de syndrome douloureux persistant post-traumatique.
Par jugement du 6 janvier 2011, la juridiction cantonale a rejeté le recours.
C. K._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire contre ce jugement, dont il demande principalement la réforme, en ce sens qu'il est mis au bénéfice d'une rente d'invalidité de 100 % dès le 1er avril 2005. Subsidiairement, il conclut à l'annulation du jugement attaqué et au renvoi de la cause à la juridiction cantonale pour nouvelle instruction et nouvelle décision dans le sens des considérants.
Considérant en droit:
1. Le recours en matière de droit public remplit les conditions de recevabilité posées par les art. 82 à 85 LTF. Partant, en raison de son caractère subsidiaire, le recours constitutionnel n'est pas recevable (art. 113 LTF).
2. Le litige porte uniquement sur le taux d'invalidité de la rente allouée au recourant. Le Tribunal fédéral n'est dès lors pas lié par l'état de fait constaté par l'autorité précédente (art. 105 al. 3 LTF).
3. Le jugement entrepris expose correctement les dispositions légales (art. 8 et 16 LPGA; art. 18 al. 1 LAA) et la jurisprudence applicables en matière d'évaluation de l'invalidité, de sorte qu'il suffit d'y renvoyer.
4. Par un premier moyen, le recourant conteste le taux d'invalidité de 19 % fixé par l'intimée en ne tenant compte que des séquelles physiques de l'accident et confirmé par la juridiction cantonale.
L'arrêt attaqué repose sur deux motivations, chacune d'entre elles suffisant à justifier la solution retenue. En premier lieu, la juridiction cantonale retient l'absence de causalité adéquate entre l'accident du 10 septembre 2001 et les affections psychiques dont souffre le recourant (épisode dépressif et syndrome douloureux somatoforme persistant). Subsidiairement, la cour cantonale considère que même si l'on devait admettre un rapport de causalité entre l'accident et les affections psychiques, comme semblait l'avoir fait l'intimée, il n'existerait aucun motif en l'espèce pour renverser la présomption que le recourant est apte à accomplir l'effort de volonté raisonnablement exigible pour surmonter le syndrome somatoforme douloureux persistant et l'épisode dépressif, ces affections n'étant dès lors pas susceptibles d'affecter durablement la capacité de travail du recourant.
Il appartenait au recourant de s'en prendre à chacune des motivations en faisant valoir qu'elle est contraire au droit (ATF 133 IV 119 consid. 6.3). En l'occurrence, il soutient que les troubles somatoformes douloureux dont il souffre entraînent une limitation totale de sa capacité de travail. A cet égard, il reproche aux premiers juges d'avoir procédé à une constatation manifestement inexacte des faits pertinents consécutive à une mauvaise appréciation des preuves, en ne prenant pas en considération l'évolution de son état de santé et en se fondant exclusivement sur le rapport des docteurs F._ et R._. Le recours est toutefois dépourvu de toute argumentation au sujet de la motivation selon laquelle il n'existerait pas de lien de causalité adéquate entre l'accident qu'il a subi et ses affections psychiques. Dans cette mesure, il est donc irrecevable.
Pour le reste, et si l'on fait abstraction des troubles psychiques, le taux de la rente d'invalidité n'est pas contesté par le recourant.
5. Dans un second moyen, le recourant reproche au Tribunal cantonal d'avoir violé son droit d'être entendu en rejetant la requête de mise en oeuvre d'une expertise pluridisciplinaire qu'il avait formulée en instance cantonale. Il soutient que cette expertise se justifiait d'autant plus que les contradictions entre les différents rapports médicaux sont nombreuses et que l'arrêt entrepris se fonde pour une grande part sur le rapport du docteur R._. En réalité, le grief soulevé par le recourant relève de l'appréciation des preuves plutôt que de la violation du droit d'être entendu. Toutefois, il n'y a pas lieu d'examiner ce qu'il en est exactement puisque le recourant n'a pas contesté la motivation des premiers juges concernant l'absence de causalité adéquate entre l'accident et les troubles psychiques. Pour la même raison, il faut également rejeter le grief de violation du droit d'être entendu du recourant qui reproche à la juridiction cantonale de n'avoir pas donné suite à sa requête tendant à l'audition des docteurs F._ et G._.
6. Vu ce qui précède, le recours doit être rejeté, dans la mesure où il est recevable. Comme ses conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (art. 64 al. 1 LTF). Le recourant devra donc supporter les frais (art. 66 al. 1 LTF).
Le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière de droit public est rejeté dans la mesure où il est recevable.
3. La demande d'assistance judiciaire est rejetée.
4. Les frais judiciaires, arrêtés à 750 fr., sont mis à la charge du recourant.
5. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral de la santé publique.
Lucerne, le 3 août 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Ursprung Fretz Perrin