Faits:
A. S._ a été victime d'une chute le 27 juin 2001, alors qu'il travaillait en qualité de monteur en échafaudages. Il a déposé le 26 juillet 2002 une demande de prestations de l'assurance-invalidité auprès de l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: OAI). Par décision du 8 novembre 2004, confirmée sur opposition le 21 juin 2005, l'OAI a refusé de lui octroyer une rente; en revanche, il lui a accordé une aide au placement.
En janvier 2006, l'assuré a déposé une nouvelle demande, au motif que son état de santé s'était aggravé. Entre autres mesures d'instruction, l'OAI a confié une expertise interdisciplinaire à la Clinique X._ fonctionnant comme Centre d'observation médicale de l'assurance-invalidité (COMAI). Selon les conclusions des experts, si la reprise de l'ancienne occupation était exclue, l'assuré était en mesure d'exercer une activité adaptée à 80 % (rapport du 28 juin 2007). Par décision du 6 novembre 2007, l'OAI a derechef refusé d'allouer à l'assuré une rente d'invalidité, compte tenu du fait que celui-ci présentait un taux d'invalidité insuffisant pour ouvrir le droit à la prestation demandée (35 %).
B. S._ a déféré cette décision à l'ancien Tribunal administratif du canton de Fribourg, auquel a succédé la Cour des assurances sociales du Tribunal cantonal fribourgeois. Il concluait à la mise en oeuvre d'une contre-expertise complémentaire et d'une mesure d'observation professionnelle ainsi qu'à la prise en charge du traitement psychiatrique et psychothérapeutique. Il s'est notamment prévalu d'un rapport du 21 janvier 2008 établi à sa demande par le docteur M._, psychiatre traitant. Par la suite, il a produit un rapport complémentaire du 20 août 2008 de ce même médecin.
Statuant le 17 mars 2010, la Cour des assurances sociales du Tribunal cantonal fribourgeois a rejeté le recours.
C. S._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation en concluant, sous suite de dépens, au renvoi de la cause à l'instance cantonale « pour ordonnance par elle-même ou par l'administration d'une expertise multidisciplinaire ». Par ailleurs, il sollicite le bénéfice de l'assistance judiciaire gratuite.
L'OAI déclare n'avoir pas de remarques particulières à formuler. Quant à l'Office fédéral des assurances sociales, il a renoncé à se déterminer.

Considérant en droit:
1. Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit selon l'art. 95 sv. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Eu égard à l'exigence de motivation prévue à l'art. 42 al. 1 et 2 LTF, il n'examine que les griefs invoqués, pour autant que les vices ne soient pas évidents. Il n'est pas tenu de traiter toutes les questions juridiques qui se posent, comme le ferait une autorité de première instance, lorsque celles-ci ne sont pas ou plus abordées devant lui. Le Tribunal fédéral statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. Le jugement entrepris expose correctement les dispositions légales et la jurisprudence sur la notion d'invalidité et son évaluation ainsi que les principes jurisprudentiels relatifs à la valeur probante des rapports médicaux. Il suffit donc d'y renvoyer.
3. Les premiers juges ont examiné la situation médicale du recourant prévalant au moment de la première décision de refus de la rente, puis son évolution jusqu'à la date de la décision litigieuse. Pour ce faire, ils se sont fondés, notamment, sur le rapport des experts de la Clinique X._, plus spécialement sur celui de la doctoresse C._, spécialiste en médecine physique, rééducation et rhumatologie et du docteur A._, spécialiste en psychiatrie et pychothérapie. Ils ont estimé que les atteintes physiques décrites par les experts correspondaient à celles présentes depuis 2001. Par ailleurs, ils ont considéré que l'évolution du dossier médical faisait apparaître un glissement lent, mais certain, de troubles d'origine physique vers une problématique psychique. Ils ont repris à leur compte les conclusions du docteur A._ selon lesquelles il n'existait aucun diagnostic ayant une répercussion sur la capacité de travail sous l'angle psychique. D'un point de vue global, ils ont estimé que l'état de santé de l'assuré ne s'était ainsi pas fondamentalement modifié depuis la décision du 21 juin 2005, ni sous l'angle physique ni sous l'angle psychique. Les premiers juges ont entériné les conclusions des médecins du COMAI selon lesquelles l'assuré disposait d'une capacité de travail de 80 % dans une activité adaptée excluant les positions statiques assises ou debout prolongées, particulièrement la tête penchée en avant, les travaux physiquement lourds, les travaux lourds impliquant les bras levés au-dessus de l'horizontale, le port itératif de charges supérieures à 15-20 kilos, les mouvements itératifs mettant fortement à contribution le rachis en flexion/extension/rotation du tronc, les travaux sur des échelles ou des échafaudages.
4. La juridiction cantonale s'est interrogée sur la question de savoir si cette modification (diminution de rendement de 20 %) influençait le calcul du degré d'invalidité au point d'ouvrir le droit à une rente. Procédant à une comparaison des revenus, elle a fixé le degré d'invalidité du recourant à 39 %. La juridiction cantonale en a conclu que l'assuré n'avait pas droit à une rente d'invalidité. Elle a donc confirmé le bien-fondé de la décision de refus de rente de l'OAI et rejeté toutes les conclusions de l'assuré (mise en oeuvre d'une contre-expertise, octroi d'une mesure d'observation professionnelle, prise en charge d'un traitement psychiatrique et psychothérapeutique).
5.1 Le recourant se plaint d'une violation de l'art. 61 let. c LPGA selon lequel le juge établit les faits déterminants pour la solution du litige, administre les preuves nécessaires et les apprécie librement. Plus précisément, il fait grief à la juridiction cantonale d'avoir constaté que son psychiatre traitant, le docteur M._, avait évoqué dans ses différents rapports des diagnostics nouveaux, décelés en 2005, sans qu'elle les prenne en considération pour différents motifs qu'il estime infondés. Faisant valoir que le juge des assurances sociales procède selon la maxime d'office et la maxime inquisitoriale, il allègue que les premiers juges ne pouvaient se contenter de constater que les preuves qu'il avait apportées manquaient de substance ou de motivation. Selon lui, ils auraient dû instruire la cause, soit, par exemple, en la renvoyant à l'administration pour qu'elle complète l'instruction, soit en interrogeant le médecin par écrit sur les motifs ayant conduit ce dernier à retenir un taux de capacité différent de celui des experts, ou encore en convoquant le psychiatre traitant à une audience pour lui poser des questions.
5.2 Ce grief n'est pas fondé. Les premiers juges se sont appuyés sur un dossier médical bien étayé et une expertise du COMAI convaincante. Ils disposaient de tous les éléments requis pour statuer sur l'évaluation de l'invalidité du recourant et pouvaient s'abstenir d'administrer des preuves complémentaires. On ajoutera qu'en cas de divergence d'opinion entre experts et médecins traitants, il n'est pas, de manière générale, nécessaire de mettre en oeuvre une nouvelle expertise. La valeur probante des rapports médicaux des uns et des autres doit bien plutôt s'apprécier au regard des critères jurisprudentiels (<ref-ruling> consid. 3a p. 352). A cet égard, il convient de rappeler qu'au vu de la divergence consacrée par la jurisprudence entre un mandat thérapeutique et un mandat d'expertise (<ref-ruling> consid. 4 p. 175; arrêt 9C_882/2008 du 29 octobre 2009 consid. 2.2, in SVR 2010 IV no 15 p. 46 et les arrêts cités), on ne saurait remettre en cause une expertise ordonnée par l'administration ou le juge et procéder à de nouvelles investigations du seul fait qu'un ou plusieurs médecins traitants ont une opinion contradictoire. Il n'en va différemment que si ces médecins traitants font état d'éléments objectivement vérifiables ayant été ignorés dans le cadre de l'expertise et qui sont suffisamment pertinents pour remettre en cause les conclusions de l'expert. En l'espèce, on doit admettre que de tels éléments n'existent pas.
6. 6.1 Le recourant se plaint ensuite d'une violation du principe de l'égalité des armes. Il soulève trois arguments à cet égard.
Il fait valoir tout d'abord que les appréciations et avis de la Clinique X._ sont contestables dans leur ensemble, dès lors qu'ils sont critiqués par le docteur M._, spécialiste expérimenté, lequel déclare expressément qu'il « ne partage pas le rapport de l'expert qui affirme ne pas constater de diagnostic psychiatrique » (rapport du 20 août 2008). Ce premier argument tombe à faux. En effet, comme on l'a vu plus haut, le seul fait qu'un médecin traitant ne partage pas l'opinion des experts ne suffit pas pour remettre en cause les conclusions d'une expertise interdisciplinaire.
Le recourant rappelle également qu'une expertise doit être mise en oeuvre lorsque les rapports du médecin traitant laissent subsister des doutes, mêmes faibles, quant à la fiabilité et la pertinence des constatations médicales effectuées par les médecins de l'assurance (cf. <ref-ruling>). La situation du recourant n'est toutefois pas comparable à celle visée par l'<ref-ruling>. Dans cet arrêt en effet, le Tribunal fédéral a précisé que lorsqu'une décision administrative s'appuie exclusivement sur l'appréciation d'un médecin interne à l'assureur social et que l'avis d'un médecin traitant ou d'un expert privé auquel on peut également attribuer un caractère probant laisse subsister des doutes suffisants quant à la fiabilité et la pertinence de cette appréciation, la cause ne saurait être tranchée en se fondant sur l'un ou l'autre de ces avis et il y a lieu de mettre en oeuvre une expertise par un médecin indépendant selon la procédure de l'<ref-law> ou une expertise judiciaire. En l'espèce, les experts de la Clinique X._ ne sauraient être assimilés à des médecins internes à l'assurance. Ce deuxième argument tombe également à faux.
Le recourant soutient encore qu'il est inexact de prétendre, comme l'aurait fait la juridiction cantonale, que la jurisprudence constante ordonnerait d'écarter les constatations du médecin traitant. En réalité, les premiers juges ont considéré que l'avis du psychiatre traitant devait être apprécié de façon prudente, compte tenu du lien particulier qui l'unit à son patient. La juridiction cantonale ne s'est toutefois pas contentée de cette considération d'ordre général. Elle a pris en compte les rapports du psychiatre traitant dans une appréciation globale de leur valeur probante. Elle a expliqué les raisons pour lesquelles elle ne pouvait le suivre (étroitesse du lien avec le patient, absence d'un avis motivé s'agissant de la capacité de travail, omission par le psychiatre traitant de répondre à une question du mandataire relative à la prise régulière des médicaments prescrits, manque de précision quant au suivi du traitement depuis 2006, mention par les experts d'un dosage insuffisant des antidépresseurs, abaissement du rythme de la psychothérapie à une séance mensuelle). Ce troisième argument n'est donc pas plus fondé que les précédents.
7. 7.1 Le recourant invoque enfin l'arbitraire du jugement entrepris. Il fait valoir qu'en présence d'une augmentation du degré d'invalidité de 17 % à 39 % et d'un rapport d'expertise émanant d'une clinique dont l'indépendance n'était peut-être pas certaine, les premiers juges devaient redoubler de prudence. Il estime que le refus de poursuivre l'instruction alors qu'il l'a demandé est arbitraire dans une « cause limite comme celle-là ».
7.2 L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables (<ref-ruling> consid. 4.3 p. 62 et les références; arrêt 9C_764/2009 du 26 mars 2010 consid. 3.2, in SVR 2010 IV no 55 p. 169). Il résulte des considérants précédents que les premiers juges ont dûment motivé leur choix de s'en s'en tenir aux conclusions des médecins du COMAI plutôt qu'à celles du psychiatre traitant. On ne saurait donc retenir une appréciation arbitraire des preuves.
8. Il s'ensuit qu'en niant le droit de S._ à une rente d'invalidité au motif que l'état de santé de l'intéressé ne s'était pas aggravé dans un mesure suffisante, la juridiction cantonale n'a pas violé le droit fédéral, étant précisé que le prénommé n'a adressé aucune critique sur les autres aspects du jugement entrepris, notamment l'appréciation de ses limitations physiques et l'évaluation proprement dite de son invalidité.
9. Vu ce qui précède, le recours doit être rejeté. Le recours était par ailleurs d'emblée dénué de chance de succès, si bien que la requête d'assistance judiciaire doit être rejetée (<ref-law>). Succombant, le recourant supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal, fribourgeois, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 21 décembre 2010
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: La Greffière:
Ursprung Berset