Faits:
A.
A.a. C._ a travaillé en qualité de monteur de charpentes métalliques auprès de l'entreprise X._ SA. En incapacité de travail depuis le 5 mars 2002, il a déposé, le 10 février 2003, une demande de prestations auprès de l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI), en indiquant souffrir d'une polyalgie, de lombalgies et d'une hypoacousie. Dans le cadre de l'instruction de cette demande, l'office AI a mis en oeuvre une expertise psychiatrique qui a été réalisée par les médecins de l'Hôpital psychiatrique Y._. Ceux-ci ont indiqué que l'assuré souffrait d'un syndrome douloureux somatoforme persistant, d'une dysthymie et d'un syndrome vertébral lombaire chronique, l'empêchant d'exercer une activité à plus de 50 % (rapport du 26 mars 2004). Sur la base de ces conclusions, l'office AI a reconnu, par décision du 3 novembre 2004 confirmée sur opposition le 24 mai 2005, le droit de l'assuré à une demi-rente d'invalidité, fondée sur un taux d'invalidité de 53 %, à compter du 1 er mars 2003. Saisie d'un recours de l'intéressé, la Cour des assurances sociales du Tribunal administratif du canton de Fribourg (aujourd'hui: Cour des assurances sociales du Tribunal cantonal du canton de Fribourg) l'a, par jugement du 6 avril 2006, partiellement admis, a annulé la décision sur opposition et renvoyé la cause à l'administration pour instruction complémentaire et nouvelle décision. Les prestations ont tout de même été versées.
A.b. A la suite de ce renvoi, l'office AI a mandaté le Centre d'expertise médicale de la Clinique Z._ pour qu'il réalise une expertise. Dans leur rapport du 18 décembre 2006, les experts de Z._ ont conclu que l'assuré avait épuisé toutes ses ressources adaptatives, sa capacité de travail résiduelle n'étant plus que de 20 % dans une activité de type occupationnel. Compte tenu des critiques émises à l'encontre de cette expertise par le Service médical régional (SMR; rapport du 29 janvier 2007), l'office AI a requis une expertise neuropsychologique. Les experts B._, spécialiste FMH en psychiatrie-psychothérapie auprès de la Clinique W._, et L._, psychologue FSP et neuropsychologue, n'ont retenu aucune limitation de la capacité de travail (rapport du 10 avril 2007). Un troisième mandat d'expertise a été confié au Centre d'expertise médicale V._. Les experts du Centre V._ ont posé les diagnostics, avec répercussion sur la capacité de travail, de gonarthrose gauche avec implantation d'une prothèse unicompartimentale interne, gonarthrose droite et atteinte méniscale, troubles dégénératifs des mains, différenciation intellectuelle au-dessous de la moyenne (QI inférieur à 84) et, sans répercussion sur la capacité de travail, de syndrome douloureux somatoforme persistant (F45.4), épisode dépressif léger avec syndrome somatique (F32.01), syndrome pulmonaire restrictif discret dans le cadre d'une obésité (IMC 34 kg/m2), surdité neurosensorielle appareillée et acouphène bilatéral depuis 1998. Dans une activité manuelle légère, simple et répétitive, respectant les limitations fonctionnelles décrites, l'assuré disposait d'une capacité de travail résiduelle de 6 heures par jour (rapport du 17 novembre 2009).
Par décision du 22 avril 2010, l'office AI a nié tout droit de l'assuré à une rente d'invalidité au motif que le degré d'invalidité fixé à 38 % était insuffisant pour ouvrir le droit à cette prestation. Il a, par ailleurs, renoncé à demander la restitution des prestations versées jusqu'ici.
B.
C._ a déféré la décision de l'office AI au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, en produisant notamment un rapport du 15 novembre 2010 de son psychiatre traitant, le docteur J._, spécialiste FMH en psychiatrie et psychothérapie, ainsi qu'un rapport du 18 février 2011 de la doctoresse O._, spécialiste FMH en chirurgie orthopédique. Par jugement du 9 août 2012, le Tribunal cantonal a rejeté le recours.
C.
C._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement à l'octroi d'une rente entière d'invalidité, subsidiairement, au maintien du versement de la demi-rente d'invalidité. Plus subsidiairement encore, il conclut au renvoi de la cause à l'intimé pour instruction complémentaire et mise en oeuvre d'une nouvelle expertise médicale pluridisciplinaire.

Considérant en droit:
1.
Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), n'examine en principe que les griefs invoqués (<ref-law>) et fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> auquel cas il peut les rectifier ou les compléter d'office (<ref-law>).
2.
Aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente, ce qui n'est pas le cas en l'espèce (<ref-law>; <ref-ruling>). Dans la mesure où ils ont été établis postérieurement au jugement du 9 août 2012, les rapports - produits par le recourant - du 30 août 2012 du docteur J._ et du 5 septembre 2012 du docteur P._, médecin adjoint et spécialiste FMH en chirurgie orthopédique auprès de la clinique de chirurgie orthopédique de l'Hôpital T._, ne seront donc pas pris en considération par le Tribunal fédéral.
3.
3.1. Compte tenu des motifs et conclusions du recours, le litige porte sur le droit de l'assuré à une rente d'invalidité à compter du 1 er mars 2003, singulièrement sur le taux d'invalidité qu'il présente depuis cette date. A cet égard, c'est à juste titre que les premiers juges ont considéré qu'on ne se trouvait pas, en l'espèce, dans un cas de révision au sens de l'<ref-law> (cf. arrêt 9C_236/2010 du 10 janvier 2011 et les arrêts cités), dès lors que la décision sur opposition du 24 mai 2005 fondant le droit du recourant à une demi-rente d'invalidité a été annulée par le jugement du 6 avril 2006 et la cause renvoyée à l'administration pour instruction complémentaire et nouvelle décision. Les prestations versées sur la base de la décision du 24 mai 2005 ne reposaient, par conséquent, sur aucun fondement juridique.
3.2. Le jugement attaqué expose correctement les règles légales et la jurisprudence applicables au litige, en particulier celle relative au caractère invalidant des troubles somatoformes douloureux, d'une fibromyalgie ou de toute autre affection dont l'étiologie est incertaine. Il suffit donc d'y renvoyer.
4.
4.1. La juridiction cantonale a accordé pleine valeur probante à l'expertise de V._ et fait siennes les conclusions des experts. Elle a retenu que sur le plan somatique, la capacité de travail du recourant était entière depuis 2002 dans une activité adaptée à ses limitations fonctionnelles, son état de santé n'ayant nécessité que de courtes périodes d'incapacité de travail entre 2007 et 2010. Les premiers juges ont souligné que les atteintes au niveau des deux genoux étaient déjà connues des experts de V._. Ces derniers avaient retenu qu'en raison des atteintes au dos, aux genoux et aux mains, les activités exigeant des positions debout prolongées, des déplacements importants ou sur terrain irrégulier, en pente ou sur des échelles, ainsi que les activités requérant une force de préhension, des ports de charges et des gestes répétitifs amples des membres supérieurs, n'étaient plus exigibles.
Sur le plan psychiatrique, les premiers juges ont déduit de l'expertise de V._ que le recourant ne souffrait plus d'aucun trouble psychique incapacitant. Il existait, toutefois, sur le plan neuropsychologique, une différenciation intellectuelle en dessous de la norme entraînant une diminution de la capacité de travail de l'assuré de 20 à 30 %. Examinant le caractère invalidant du trouble douloureux somatoforme à l'aune des critères jurisprudentiels déterminants, la juridiction cantonale a admis que le recourant disposait encore des capacités nécessaires pour vaincre ses douleurs et réintégrer le monde du travail à 70 %. En effet, l'assuré ne présentait pas de comorbidité psychiatrique grave. Il avait, par ailleurs, toujours mené une vie sociale restreinte depuis son arrivée en Suisse, de telle sorte que l'on ne pouvait parler de perte d'intégration sociale. Enfin, toujours selon les premiers juges, on pouvait douter de l'existence d'un état psychique cristallisé, le traitement psychothérapeutique n'ayant débuté qu'au mois de septembre 2009. Il n'était, en revanche, pas exclu que des limitations psychiatriques aient existé auparavant, comme cela ressortait de l'expertise effectuée en 2004 par les médecins de l'Hôpital psychiatrique Y._, lesquels avaient conclu à une capacité de travail résiduelle limitée à 50 %, en évoquant la possibilité d'une évolution favorable. La juridiction cantonale a laissé ouverte la question du droit à une rente d'invalidité limitée dans le temps, dès lors que l'assuré avait perçu une demi-rente jusqu'au moment du prononcé de la décision du 22 avril 2010, alors que le droit à une demi-rente n'avait plus de raison d'exister à partir de l'année 2007 au moins.
4.2. Le recourant critique l'appréciation des preuves opérée par les premiers juges dans la mesure où elle les a conduits à accorder pleine valeur probante à l'expertise de V._ sans tenir compte de circonstances survenues postérieurement, telles les atteintes au niveau des genoux. Il soutient que son état de santé ne s'est pas amélioré depuis 2002, mais au contraire détérioré. Il fonde son argumentation sur différents rapports médicaux, dont certains ne peuvent être pris en compte par le Tribunal fédéral (cf. supra consid. 2).
5.
5.1. Le Tribunal fédéral n'examine le résultat de l'appréciation des preuves à laquelle a procédé l'autorité cantonale de recours que sous l'angle restreint de l'arbitraire. L'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.1 p. 9).
5.2. Il ressort du jugement attaqué que la juridiction cantonale a procédé à une analyse consciencieuse et exhaustive des rapports médicaux qui lui ont été soumis, expliquant les raisons pour lesquelles il convenait de s'écarter de certaines opinions au profit de l'appréciation des médecins de V._. A juste titre, l'autorité cantonale de recours a considéré que l'expertise de V._ répondait aux critères dégagés par la jurisprudence permettant d'accorder pleine valeur probante à un rapport médical (cf. <ref-ruling> consid. 3a).
Quoi qu'en dise le recourant, l'expertise privée de la doctoresse Jollès-Haeberli n'a apporté aucun élément de nature à remettre en cause le bien-fondé de l'expertise de V._. Malgré la pose d'une prothèse totale du genou gauche subie par le recourant au mois de mai 2010, cette spécialiste en chirurgie orthopédique n'a retenu aucune nouvelle limitation fonctionnelle par rapport à celles décrites par les experts de V._. Elle a certes fait état d'une aggravation de l'état de santé du recourant depuis 2002, relevant qu'en sus des douleurs dorso-lombaires, il présentait désormais des douleurs ostéo-articulaires généralisées, plus marquées au niveau des genoux; elle n'en a toutefois tiré aucune conséquence quant à la capacité de travail, concluant à une pleine capacité de travail dans une activité adaptée. Enfin, les activités suggérées par l'experte (montage à l'établi, contrôle des produits finis ou usinage de pièces légères) rejoignent celles retenues par l'intimé (cf. décision du 22 avril 2010).
Par ailleurs, les experts de V._ ont pris en compte le fait que le recourant avait besoin de deux cannes anglaises pour se déplacer (cf. rapport d'expertise du 17 novembre 2009, p. 8). On ajoutera qu'on ne voit pas en quoi cette limitation empêcherait l'assuré d'exercer une activité se déroulant principalement en position assise. Les experts ont également tenu compte des autres atteintes somatiques, notamment le syndrome pulmonaire restrictif discret, la surdité neurosensorielle appareillée et l'acouphène bilatéral, estimant qu'elles n'avaient pas de répercussion sur la capacité de travail du recourant.
Cela étant, les premiers juges n'ont pas constaté les faits de façon manifestement inexacte en retenant - sur la base de l'expertise de V._ - que sur le plan somatique le recourant disposait d'une pleine capacité de travail dans une activité adaptée. Tout au plus auraient-ils pu souligner que la réduction de la capacité de travail admise par les experts dans leurs conclusions finales, soit une capacité de travail limitée à 6 heures de travail par jour, tenait également compte des limitations consécutives aux atteintes physiques et non seulement des limitations intellectuelles (cf. rapport du 17 novembre 2009, p. 16).
5.3. Sur le plan psychiatrique, le recourant reproche encore aux premiers juges de ne pas avoir suffisamment tenu compte de l'appréciation du docteur J._, lequel a mis en évidence la présence d'un trouble dépressif moyen à sévère et conclu à une capacité de travail limitée à 50 %.
Toutefois, au regard des motifs qu'ils ont invoqués pour s'écarter de cette appréciation et de la valeur probante accordée à l'expertise de V._, le choix des premiers juges de privilégier l'avis des experts à celui du psychiatre traitant n'apparaît nullement arbitraire. Au demeurant, contrairement à ce que soutient le recourant, le fait que le docteur J._ s'est fondé sur les différents rapports d'expertise figurant au dossier ne permet pas d'expliquer la gravité du trouble auquel il conclut, le dossier médical ne contenant aucun avis allant dans ce sens.
5.4. Concernant le caractère invalidant du trouble somatoforme douloureux persistant, il n'y a pas lieu de s'écarter du point de vue des premiers juges, selon lequel l'état douloureux n'était pas d'une gravité telle au regard des critères jurisprudentiels déterminants - correctement exposés dans le jugement entrepris (cf. <ref-ruling> consid. 4.2.2 p. 71 sv.) - qu'il empêchait le recourant de fournir l'effort d'exigibilité en vue de surmonter sa douleur et de réintégrer le monde du travail. En effet, l'épisode dépressif léger jugé sans répercussion sur la capacité de travail par les experts de V._ ne permettait pas de conclure à l'existence d'une comorbidité psychiatrique importante par sa gravité, son acuité et sa durée (cf. <ref-ruling> consid. 2.2.3 p. 354; <ref-ruling> consid. 4.2.2 p. 71). En ce qui concerne les autres critères développés par la jurisprudence, seul celui de la perte sociale dans toutes les manifestations de la vie est contesté par le recourant. Il ressort des différents éléments anamnestiques recueillis que l'apparition des troubles n'a pas modifié les habitudes sociales du recourant, son étayage relationnel se limitant aux contacts qu'il entretient avec sa famille. On ne peut, dès lors, parler de perte d'intégration sociale dans toutes les manifestations de la vie. Les constatations de la juridiction cantonale portant sur l'état psychique cristallisé et l'échec de traitements ambulatoires ou stationnaires conformes aux règles de l'art, n'étant pas remises en cause par l'intéressé, il n'y a pas lieu de s'en écarter (cf. <ref-law>).
La juridiction cantonale a limité la portée de son examen au sujet du caractère invalidant du trouble somatoforme douloureux en laissant ouverte la question d'un droit éventuel à une demi-rente avant l'année 2007. Or, il n'apparaît pas qu'il existait à l'époque des limitations psychiatriques telles qu'elles auraient pu conduire à un résultat différent. En effet, le diagnostic de dysthymie (dépression chronique) retenu à l'époque par les experts de l'Hôpital psychiatrique Y._ (cf. rapport du 26 mars 2004) ne permettait pas de fonder une comorbidité psychiatrique indépendante selon la jurisprudence (cf. <ref-ruling> consid. 3.3.1 in fine p. 358). Dès lors, la juridiction cantonale aurait dû constater qu'avant 2007 déjà, le trouble douloureux somatoforme ne présentait pas un caractère suffisamment grave pour empêcher le recourant de fournir l'effort de volonté raisonnablement exigible pour exercer partiellement une activité professionnelle et ainsi réintégrer le marché du travail. Il convient par conséquent de compléter les constatations des premiers juges sur ce point (cf. <ref-law>; supra consid. 1). Cela n'a toutefois aucune conséquence pour le recourant, puisque l'intimé a renoncé à réclamer les prestations perçues sans fondement juridique jusqu'au moment du prononcé de sa décision du 22 avril 2010 (cf. également art. 25, 2ème phrase, LPGA).
5.5. En outre, contrairement aux conclusions prises par le recourant à ce sujet qu'il convient par conséquent de rejeter, en l'absence de doutes sérieux quant à la situation médicale, il n'était et n'est pas nécessaire d'ordonner une expertise pluridisciplinaire complémentaire.
6.
6.1. En ce qui concerne le calcul du degré d'invalidité, le recourant critique le taux d'abattement de 10 % appliqué sur le salaire d'invalide et considère que son état de santé justifiait un abattement de 20 %.
6.2. Alors que le point de savoir s'il y a lieu de procéder à un abattement sur le salaire statistique en raison de circonstances particulières (liées au handicap de la personne ou d'autres facteurs) est une question de droit qui peut être examinée librement par le Tribunal fédéral, l'étendue de l'abattement du salaire statistique dans un cas concret constitue une question relevant du pouvoir d'appréciation, qui est soumise à l'examen du juge de dernière instance uniquement si la juridiction cantonale a exercé son pouvoir d'appréciation de manière contraire au droit, soit a commis un excès positif ("Ermessensüberschreitung") ou négatif ("Ermessensunter-schreitung") de son pouvoir d'appréciation ou a abusé ("Ermessensmissbrauch") de celui-ci (<ref-ruling> consid. 3.3 p. 399, 137 V 71 consid. 5 p. 72).
6.3. Les premiers juges ont considéré que le taux de 10 % retenu par l'intimé tenait suffisamment compte des circonstances du cas d'espèce. Un abattement plus élevé n'était pas indiqué, en raison de l'âge de l'assuré encore relativement jeune, du fait qu'il se trouvait au bénéfice d'un permis d'établissement et qu'il avait travaillé en Suisse pendant seize ans nonobstant ses difficultés linguistiques et un problème de socialisation. Le recourant, qui ne remet pas sérieusement en cause cette argumentation, n'apporte aucun élément qui permettrait de constater que la juridiction cantonale a commis un excès ou un abus de son pouvoir d'appréciation. On notera que le taux d'abattement de 10 % tient compte des limitations fonctionnelles, lesquelles ont également été prises en compte dans la diminution de la capacité de travail (cf. supra consid. 5.2 in fine), et du fait que l'assuré ne peut plus exercer une activité à plein temps.
6.4. Enfin, le recourant ne peut rien tirer du grief portant sur le caractère "purement théorique" du salaire d'invalide fixé par l'intimé. En effet, lorsqu'il s'agit d'examiner dans quelle mesure un assuré peut encore exploiter économiquement sa capacité de gain résiduelle sur le marché du travail entrant en considération pour lui (<ref-law>), on ne saurait subordonner la concrétisation des possibilités de travail et des perspectives de gain à des exigences excessives. Il s'ensuit que pour évaluer l'invalidité, il n'y a pas lieu d'examiner la question de savoir si un invalide peut être placé eu égard aux conditions concrètes du marché du travail, mais uniquement de se demander s'il pourrait encore exploiter économiquement sa capacité résiduelle de travail lorsque les places de travail disponibles correspondent à l'offre de la main d'oeuvre (arrêt I 198/97 du 7 juillet 1998 consid. 3b et les références, in VSI 1998 p. 293). En l'occurrence, au regard des conclusions de l'expertise de V._ quant à la capacité de travail résiduelle du recourant, il n'apparaissait pas critiquable de la part des premiers juges de retenir qu'il était encore en mesure - malgré ses limitations fonctionnelles - d'exercer une activité simple et répétitive de l'industrie légère ou des services, ne nécessitant aucune formation particulière autre qu'une mise au courant, et de se référer aux données salariales statistiques y correspondant.
7.
Compte tenu de ce qui précède, le recours se révèle mal fondé et doit être rejeté.
8.
Vu l'issue du litige, les frais judiciaires sont mis à la charge du recourant (<ref-law>) qui ne peut prétendre des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 7 juin 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant: Meyer
La Greffière: Reichen