Faits :
A.
A.a. A._, né en 1965, a travaillé en dernier lieu au service d'une société de maintenance et de dépannage d'ascenseurs. Au mois de septembre 2008, il a déposé une demande de prestations de l'assurance-invalidité, en relation avec deux accidents subis respectivement les 23 octobre 2006 et 6 juin 2007.
Se fondant sur les conclusions d'une expertise bidisciplinaire du Centre B._ du 11 juin 2009, l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'OAI) a nié le droit de l'assuré à une rente par décision du 3 mai 2010, au motif que le taux d'invalidité (30 %) était insuffisant pour ouvrir droit à une telle prestation. Cette décision a été déférée à la Cour des assurances sociales du Tribunal cantonal du canton de Fribourg, laquelle a rejeté le recours par arrêt du 9 juillet 2013. Saisi d'un recours en matière de droit public contre ce dernier, le Tribunal fédéral l'a rejeté par arrêt du 4 juin 2014 (8C_659/2013).
A.b. A._ a déposé une nouvelle demande de prestations de l'assurance-invalidité le 14 septembre 2017. L'OAI a mandaté Swiss Medical Expertise (SMEX SA) pour une expertise pluridisciplinaire (rapport des docteurs C._, spécialiste FMH en médecine interne générale, D._, spécialiste FMH en psychiatrie et psychothérapie, ainsi que E._, spécialiste FMH en chirurgie orthopédique et traumatologie de l'appareil locomoteur, du 15 février 2019). Les experts ont fait état, avec une incidence sur la capacité de travail, de personnalité paranoïaque (F60.0), de prothèse totale du genou gauche pour arthrose avec douleurs persistantes depuis 2015 et de douleurs chroniques de l'épaule gauche, en augmentation depuis l'intervention chirurgicale du 2 juillet 2013 pour arthrose acromio-claviculaire et lésions dégénératives de la coiffe des rotateurs. Ils ont conclu à une capacité de travail médico-théorique de 100 % dans une activité adaptée aux limitations fonctionnelles décrites. Après avoir requis l'avis de son Service médical régional, l'OAI a nié le droit de l'assuré à une rente d'invalidité, au motif que le taux d'incapacité de gain (20 % [19,62 %]) était insuffisant pour ouvrir droit à une rente (décision du 3 mai 2019).
B.
L'assuré a déféré cette décision à la I e Cour des assurances sociales du Tribunal cantonal du canton de Fribourg. Au cours de la procédure cantonale, il a produit divers rapports et certificats établis par ses médecins traitants, dont celui de son psychiatre traitant, le docteur F._, du 20 avril 2020. Statuant le 1 er octobre 2020, la juridiction cantonale a rejeté le recours.
C.
A._ interjette un recours en matière de droit public contre cet arrêt dont il demande l'annulation. Il conclut principalement à l'octroi d'une rente entière d'invalidité dès le 1 er mars 2018 et, subsidiairement, au renvoi de la cause à la juridiction cantonale pour investigations complémentaires et mise en oeuvre d'une nouvelle expertise pluridisciplinaire. Par ailleurs, il demande à bénéficier de l'assistance judiciaire.
L'OAI a indiqué ne pas avoir de remarques particulières à formuler et a renvoyé aux considérants de l'arrêt attaqué. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit :
1.
1.1. Le recours en matière de droit public peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il statue par ailleurs sur la base des faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). Le recourant qui entend s'en écarter doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut pas être pris en considération.
1.2. Les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de la personne assurée et l'exigibilité - pour autant qu'elles ne soient pas fondées sur l'expérience générale de la vie - relèvent d'une question de fait et ne peuvent donc être contrôlées par le Tribunal fédéral que sous un angle restreint (<ref-ruling> consid. 3.2). On rappellera, en particulier, qu'il n'y a pas arbitraire du seul fait qu'une solution autre que celle de l'autorité cantonale semble concevable, voire préférable (<ref-ruling> consid. 2.2; <ref-ruling> consid. 6.1). Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que sa motivation soit insoutenable; il faut encore que cette décision soit arbitraire dans son résultat (<ref-ruling> consid. 3.4).
2.
2.1. Le litige s'inscrit dans le cadre d'une nouvelle demande de prestations. Il s'agit en particulier de déterminer si, compte tenu de l'<ref-law> relatif à la révision des rentes et autres prestations durables, applicable par analogie aux nouvelles demandes de prestations, la juridiction cantonale était en droit de nier l'aggravation de la situation médicale du recourant entre le moment où la décision initiale du 3 mai 2010 et celui où la décision litigieuse du 3 mai 2019 ont été rendues.
2.2. Le jugement attaqué expose de manière complète les dispositions légales et les principes jurisprudentiels en matière de révision de la rente d'invalidité, applicables par analogie à l'examen matériel d'une nouvelle demande (art. 17 PLGA, art. 87 al. 2 et 3 RAI; <ref-ruling> consid. 5; <ref-ruling> consid. 3.5.2; <ref-ruling> consid. 3 et les références), ainsi que ceux relatifs à la notion d'invalidité (art. 7 et 8 al. 1 LPGA en relation avec l'<ref-law>) et à son évaluation (<ref-law> et <ref-law>), en particulier s'agissant du caractère invalidant de troubles psychiques (<ref-ruling> consid. 4.5; <ref-ruling> consid. 6 et 7; <ref-ruling>). Il rappelle également les règles applicables à la valeur probante des rapports médicaux, y compris les expertises, et leur appréciation (135 V 465 consid. 4.4; <ref-ruling> consid. 5.1; <ref-ruling> consid. 3a). Il suffit d'y renvoyer.
3.
Se fondant sur les éléments médicaux au dossier, en particulier sur le rapport d'expertise du 15 février 2019, dont les conclusions ont été jugées pleinement probantes, les premiers juges ont constaté que depuis la décision de l'OAI du 3 mai 2010 - et mis à part pendant les trois mois suivant les interventions en 2012, 2013 et 2014 et au cours des six mois postérieurs à la mise en place d'une prothèse totale du genou en 2015 -, l'état de santé du recourant ne s'était pas aggravé, ce dernier disposant d'une capacité de travail résiduelle de 100 % dans une activité adaptée, soit une activité simple, routinière et structurée au sein d'une équipe et avec un encadrement approprié, en position alternée, sans charge et sans utilisation de l'épaule gauche au-dessus de la ligne des mamelons et excluant la marche en terrain inégal, les échelles, les échafaudages et la position accroupie. En particulier, ils ont exposé les raisons pour lesquelles les avis des médecins traitants, notamment ceux des docteurs G._ (spécialiste en médecine physique et rééducation), H._ (spécialiste en chirurgie orthopédique), I._ (spécialiste en médecine interne), J._ (spécialiste en chirurgie orthopédique) et F._, ne remettaient pas valablement en cause le rapport d'expertise.
4.
Dans un premier grief, le recourant s'en prend aux constatations de la juridiction cantonale relatives à son état de santé sous un angle psychiatrique. Il reproche à la juridiction cantonale d'avoir retenu de manière arbitraire, en se fondant exclusivement sur les conclusions de l'experte-psychiatre D._, que le trouble de la personnalité paranoïaque n'était pas incompatible avec l'exercice d'une activité au sein d'une équipe.
4.1.
4.1.1. Le recourant fait tout d'abord valoir que les premiers juges auraient dû prendre en compte le rapport du docteur G._ du 3 juin 2019, quand bien même cet avis avait été établi postérieurement à la décision litigieuse, dès lors qu'il se rapportait à un diagnostic existant déjà au moment de cette décision. Par ailleurs, le recourant reproche aux premiers juges d'avoir dénié toute valeur probante au rapport du docteur G._, au motif que ce dernier n'était pas spécialiste en psychiatrie, alors qu'il avait mis en évidence des contradictions et des incohérences objectivement vérifiables ne pouvant être simplement ignorées par la juridiction cantonale.
4.1.2. Quand bien même le rapport du docteur G._ du 3 juin 2019 était postérieur à la décision litigieuse du 3 mai 2019 - ce que les premiers juges ont souligné en rappelant la jurisprudence selon laquelle le juge examine la légalité des décisions attaquées d'après l'état de fait existant au moment où la décision litigieuse a été rendue et qu'il n'a pas à prendre en considération des modifications de droit ou de l'état de fait qui sont postérieures à celles-ci -, les juges cantonaux en ont tenu compte (cf. jugement attaqué, p. 25). Leur appréciation ne paraît par ailleurs pas arbitraire en ce qu'ils ont considéré que l'avis du docteur G._ n'était pas pertinent pour invalider les conclusions de l'experte-psychiatre dès lors que ce médecin n'était pas spécialiste en psychiatrie mais en médecine physique et rééducation. A leur suite, on constate que le docteur G._ avait reconnu un degré de professionnalisme très élevé à l'expertise du SMEX en ce qui concerne les volets de médecine interne et d'orthopédie, alors que les aspects psychiques sortent de son champ de spécialisation.
Par ailleurs, on ne saurait suivre le recourant lorsqu'il affirme que sa personnalité paranoïaque est incompatible avec une activité professionnelle au sein d'une équipe, au motif qu'il aurait "un caractère soupçonneux, une tendance envahissante à déformer les événements et à considérer les actions d'autrui comme hostiles et méprisantes, un sens tenace et combatif de ses droits légitimes, des doutes répétés à l'égard de la fiabilité d'autrui, une tendance à surévaluer sa propre importance et à ressentir les autres comme complotant contre [lui]". Il se contente en effet de reprendre les symptômes mis en évidence par la doctoresse D._ en en donnant sa propre appréciation et en omettant que l'experte avait conclu que le trouble de la personnalité paranoïaque du recourant était d'intensité moyenne et que ce dernier gardait un contrôle sur ses idées de préjudices et ne se laissait pas complètement envahir par ses idées psychotiques. D'autre part, l'experte-psychiatre avait souligné que l'activité du recourant devait être bien structurée et qu'il ne devait jamais s'y sentir seul, la réparation d'ascenseurs n'apparaissant pas comme une activité optimale parce qu'elle était souvent solitaire. Le recourant pouvait exercer une activité simple, routinière et structurée, au sein d'une équipe et avec un encadrement approprié qui pouvait le cas échéant désamorcer les conflits, l'anamnèse ayant au demeurant clairement montré que le recourant ne supportait pas des emplois dans lesquels il se sentait isolé.
4.2.
4.2.1. Le recourant soutient que les premiers juges ne pouvaient pas non plus écarter le rapport du docteur F._, du 20 avril 2020, parce qu'il émanait de son médecin traitant ou qu'il avait été établi à la demande de son ancien mandataire.
4.2.2. Contrairement à ce qu'affirme le recourant, la juridiction cantonale n'a pas écarté le rapport du docteur F._ du 20 avril 2020 du seul fait qu'il émanait de son médecin traitant. Elle a retenu qu'elle n'avait pas à en suivre les conclusions parce que ce rapport comprenait uniquement une appréciation différente de la situation du recourant en lien avec son trouble de la personnalité paranoïaque (selon le docteur F._, le trouble du recourant n'était compatible qu'avec une activité solitaire). Par ailleurs, le rapport du docteur F._ ne comprenait ni anamnèse, ni réelle motivation, ni discussion sur les points litigieux et il avait en outre été établi spécialement pour la procédure de recours, étant précisé que le recourant n'avait débuté un suivi psychiatrique chez ce médecin que bien après la décision litigieuse. L'appréciation des premiers juges n'est pas arbitraire.
4.3.
4.3.1. Le recourant fait ensuite valoir que la juridiction cantonale aurait versé dans l'arbitraire en tenant pour établi que le trouble de la personnalité dont il souffrait ne l'avait pas empêché de travailler - en équipe - comme ouvrier sur un chantier en 2017. Cette prétendue information donnée par le docteur H._ lors d'un entretien téléphonique du 27 octobre 2017 avec une collaboratrice de l'OAI serait manifestement erronée. Le docteur H._ avait simplement indiqué, dans un rapport du 13 juillet 2017, au titre des limitations fonctionnelles, que la montée sur les échafaudages était interdite; il avait en outre démenti que le recourant travaillait sur des chantiers dans un courrier du 4 avril 2019. Le rapport du docteur H._ du 14 février 2018 ne permettait pas non plus de conclure que le recourant avait exercé en qualité d'ouvrier de chantier, le terme "ouvrier" employé par ce médecin désignant simplement une fonction de travailleur salarié exécutant une activité manuelle.
4.3.2. En l'occurrence, il ressort de la note d'entretien téléphonique du 27 octobre 2017 que l'OAI a contacté le docteur H._ pour lui demander de préciser son courrier du 13 juillet 2017, dans lequel il mentionnait la montée d'échafaudages. Il ressort sans équivoque de cette note qu'à la question de l'OAI de savoir si l'assuré était ouvrier de chantier, le médecin précité avait répondu par l'affirmative. A la question de savoir depuis quand, le médecin avait indiqué que l'assuré lui avait annoncé cela trois ou quatre mois auparavant. Le recourant ne conteste pas le compte-rendu de cet entretien téléphonique dont on peut déduire, comme l'a fait sans arbitraire la juridiction cantonale, qu'il avait exercé la profession d'ouvrier de chantier, à tout le moins au cours de l'année 2017. Par ailleurs, contrairement à ce qu'il prétend, dans son avis du 4 avril 2019, le docteur H._ n'a pas démenti avoir indiqué à l'assurance-invalidité que son patient lui avait dit travailler sur un chantier; il mentionne uniquement ne pas se poser "la question si le travail est effectué au noir".
4.4.
4.4.1. Le recourant reproche encore à la juridiction cantonale d'avoir accordé pleine valeur probante à la conclusion de la doctoresse D._, selon laquelle le trouble de la personnalité paranoïaque aurait toujours existé et l'aurait toujours empêché de travailler dans une activité à responsabilités et de manière solitaire, alors que le dossier contiendrait plusieurs attestations prouvant que durant la période précédant son émigration en Suisse en 2006, il avait été en mesure de travailler comme monteur-technicien d'ascenseurs, soit une activité à responsabilités et solitaire.
4.4.2. Dans son expertise spécialisée psychiatrique, la doctoresse D._ a indiqué que le type de diagnostic et trouble de personnalité paranoïaque était chronique et remontait systématiquement au début de l'âge adulte avec des phases d'aggravation avec l'avancée de l'âge. Elle en a déduit que ce trouble avait vraisemblablement toujours été présent chez le recourant et qu'il avait eu une influence sur sa capacité de travail depuis toujours. Selon l'experte-psychiatre, la capacité de travail médico-théorique du recourant aurait toujours été nulle dans la profession de monteur-technicien en ascenseurs parce que celle-ci ne correspondait pas à son profil d'effort, lequel supposait une activité bien structurée, sans responsabilités, avec un encadrement constant et fiable, dans laquelle le recourant ne devait jamais se sentir seul. A l'appui de son recours, le recourant n'avance aucun élément qui viendrait remettre en cause ces constatations. Comme l'ont retenu les premiers juges, les attestations au dossier concernant le parcours professionnel du recourant pour la période précédant son émigration en Suisse ne démontrent en rien qu'il aurait travaillé "sans incident" dans son pays d'origine en tant que monteur-technicien d'ascenseurs. Elles ne suffisent en tous les cas pas à invalider la conclusion de l'experte-psychiatre selon laquelle cette activité, d'un point de vue médico-théorique, n'a jamais été adaptée aux troubles présentés par le recourant, indépendamment du fait qu'il l'a exercée pendant plusieurs années. Le grief soulevé est dès lors mal fondé.
5.
5.1. Sur le plan orthopédique également, le recourant reproche à la juridiction cantonale d'avoir accordé une pleine valeur probante aux conclusions de l'expertise du SMEX. Il soutient que les experts D._ et E._ ont omis de prendre en considération le syndrome du tunnel carpien bilatéral dans leur appréciation de sa capacité de travail résiduelle, alors que les docteurs J._, G._, I._ et H._ avaient attesté, dans un rapport du 29 novembre 2018, que cette problématique engendrait une incapacité de travail dans toute activité professionnelle.
5.2. Quoi qu'en dise le recourant, il ressort des constatations des premiers juges que l'expert E._ a investigué le poignet droit du recourant en raison d'une suspicion de compression du nerf médian. Il a toutefois retenu que l'examen était sans particularité. Quant aux docteurs J._, G._, I._ et H._, ils ont certes mentionné que la reprise d'une activité professionnelle par le recourant semblait illusoire (rapport du 29 novembre 2018). Leur point de vue n'est cependant pas motivé par la problématique du poignet droit mais par les multiples interventions subies par le recourant, lesquelles ne concernent pas le poignet droit. Ces médecins ont par ailleurs nuancé leur conclusion en précisant que le recourant ne pourrait plus reprendre son activité de technicien en ascenseurs ainsi que toute activité nécessitant le port de charges, la déambulation, la montée et la descente d'escaliers ainsi que la station debout. Force est ainsi de constater, à l'instar des premiers juges, que les limitations fonctionnelles et les douleurs mentionnées par les docteurs J._, G._, I._ et H._ ne sont pas manifestement incompatibles avec l'exercice d'une activité adaptée, telle que décrite par l'expert-orthopédiste, à savoir une activité en position alternée, sans charges et sans utilisation de l'épaule gauche au-dessus de la ligne des mamelons et excluant la marche en terrain inégal, les échelles, les échafaudages et la position accroupie.
6.
Au vu des considérations qui précèdent, les griefs du recourant quant à la valeur probante des conclusions de l'expertise du SMEX se révèlent mal fondés. Le recours doit dès lors être rejeté.
7.
Vu l'issue de la procédure, les frais judiciaires sont à la charge du recourant (<ref-law>). Celui-ci a cependant sollicité le bénéfice de l'assistance judiciaire gratuite pour l'instance fédérale. Dès lors que les conditions en sont réalisées (art. 64 al. 1 et 2 LTF), l'assistance judiciaire lui est accordée. L'attention du recourant est attirée sur le fait qu'il devra rembourser la Caisse du Tribunal fédéral s'il devient en mesure de le faire ultérieurement (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
L'assistance judiciaire est accordée et Maître Ricardo Fraga Ramos est désigné comme avocat d'office du recourant.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la Caisse du Tribunal fédéral.
4.
Une indemnité de 2800 fr. est allouée à l'avocat du recourant à titre d'honoraires à payer par la Caisse du Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 24 septembre 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
La Greffière : Fretz Perrin