Faits: A. S._ a été victime d'une chute le 27 juin 2001, alors qu'il travaillait en qualité de monteur en échafaudages. Il a déposé le 26 juillet 2002 une demande de prestations de l'assurance-invalidité auprès de l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: OAI). Par décision du 8 novembre 2004, confirmée sur opposition le 21 juin 2005, l'OAI a refusé de lui octroyer une rente; en revanche, il lui a accordé une aide au placement. En janvier 2006, l'assuré a déposé une nouvelle demande, au motif que son état de santé s'était aggravé. Entre autres mesures d'instruction, l'OAI a confié une expertise interdisciplinaire à la Clinique X._ fonctionnant comme Centre d'observation médicale de l'assurance-invalidité (COMAI). Selon les conclusions des experts, si la reprise de l'ancienne occupation était exclue, l'assuré était en mesure d'exercer une activité adaptée à 80 % (rapport du 28 juin 2007). Par décision du 6 novembre 2007, l'OAI a derechef refusé d'allouer à l'assuré une rente d'invalidité, compte tenu du fait que celui-ci présentait un taux d'invalidité insuffisant pour ouvrir le droit à la prestation demandée (35 %). B. S._ a déféré cette décision à l'ancien Tribunal administratif du canton de Fribourg, auquel a succédé la Cour des assurances sociales du Tribunal cantonal fribourgeois. Il concluait à la mise en oeuvre d'une contre-expertise complémentaire et d'une mesure d'observation professionnelle ainsi qu'à la prise en charge du traitement psychiatrique et psychothérapeutique. Il s'est notamment prévalu d'un rapport du 21 janvier 2008 établi à sa demande par le docteur M._, psychiatre traitant. Par la suite, il a produit un rapport complémentaire du 20 août 2008 de ce même médecin. Statuant le 17 mars 2010, la Cour des assurances sociales du Tribunal cantonal fribourgeois a rejeté le recours. C. S._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation en concluant, sous suite de dépens, au renvoi de la cause à l'instance cantonale « pour ordonnance par elle-même ou par l'administration d'une expertise multidisciplinaire ». Par ailleurs, il sollicite le bénéfice de l'assistance judiciaire gratuite. L'OAI déclare n'avoir pas de remarques particulières à formuler. Quant à l'Office fédéral des assurances sociales, il a renoncé à se déterminer.