Faits: A. A.a. C._ a travaillé en qualité de monteur de charpentes métalliques auprès de l'entreprise X._ SA. En incapacité de travail depuis le 5 mars 2002, il a déposé, le 10 février 2003, une demande de prestations auprès de l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI), en indiquant souffrir d'une polyalgie, de lombalgies et d'une hypoacousie. Dans le cadre de l'instruction de cette demande, l'office AI a mis en oeuvre une expertise psychiatrique qui a été réalisée par les médecins de l'Hôpital psychiatrique Y._. Ceux-ci ont indiqué que l'assuré souffrait d'un syndrome douloureux somatoforme persistant, d'une dysthymie et d'un syndrome vertébral lombaire chronique, l'empêchant d'exercer une activité à plus de 50 % (rapport du 26 mars 2004). Sur la base de ces conclusions, l'office AI a reconnu, par décision du 3 novembre 2004 confirmée sur opposition le 24 mai 2005, le droit de l'assuré à une demi-rente d'invalidité, fondée sur un taux d'invalidité de 53 %, à compter du 1 er mars 2003. Saisie d'un recours de l'intéressé, la Cour des assurances sociales du Tribunal administratif du canton de Fribourg (aujourd'hui: Cour des assurances sociales du Tribunal cantonal du canton de Fribourg) l'a, par jugement du 6 avril 2006, partiellement admis, a annulé la décision sur opposition et renvoyé la cause à l'administration pour instruction complémentaire et nouvelle décision. Les prestations ont tout de même été versées. A.b. A la suite de ce renvoi, l'office AI a mandaté le Centre d'expertise médicale de la Clinique Z._ pour qu'il réalise une expertise. Dans leur rapport du 18 décembre 2006, les experts de Z._ ont conclu que l'assuré avait épuisé toutes ses ressources adaptatives, sa capacité de travail résiduelle n'étant plus que de 20 % dans une activité de type occupationnel. Compte tenu des critiques émises à l'encontre de cette expertise par le Service médical régional (SMR; rapport du 29 janvier 2007), l'office AI a requis une expertise neuropsychologique. Les experts B._, spécialiste FMH en psychiatrie-psychothérapie auprès de la Clinique W._, et L._, psychologue FSP et neuropsychologue, n'ont retenu aucune limitation de la capacité de travail (rapport du 10 avril 2007). Un troisième mandat d'expertise a été confié au Centre d'expertise médicale V._. Les experts du Centre V._ ont posé les diagnostics, avec répercussion sur la capacité de travail, de gonarthrose gauche avec implantation d'une prothèse unicompartimentale interne, gonarthrose droite et atteinte méniscale, troubles dégénératifs des mains, différenciation intellectuelle au-dessous de la moyenne (QI inférieur à 84) et, sans répercussion sur la capacité de travail, de syndrome douloureux somatoforme persistant (F45.4), épisode dépressif léger avec syndrome somatique (F32.01), syndrome pulmonaire restrictif discret dans le cadre d'une obésité (IMC 34 kg/m2), surdité neurosensorielle appareillée et acouphène bilatéral depuis 1998. Dans une activité manuelle légère, simple et répétitive, respectant les limitations fonctionnelles décrites, l'assuré disposait d'une capacité de travail résiduelle de 6 heures par jour (rapport du 17 novembre 2009). Par décision du 22 avril 2010, l'office AI a nié tout droit de l'assuré à une rente d'invalidité au motif que le degré d'invalidité fixé à 38 % était insuffisant pour ouvrir le droit à cette prestation. Il a, par ailleurs, renoncé à demander la restitution des prestations versées jusqu'ici. B. C._ a déféré la décision de l'office AI au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, en produisant notamment un rapport du 15 novembre 2010 de son psychiatre traitant, le docteur J._, spécialiste FMH en psychiatrie et psychothérapie, ainsi qu'un rapport du 18 février 2011 de la doctoresse O._, spécialiste FMH en chirurgie orthopédique. Par jugement du 9 août 2012, le Tribunal cantonal a rejeté le recours. C. C._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement à l'octroi d'une rente entière d'invalidité, subsidiairement, au maintien du versement de la demi-rente d'invalidité. Plus subsidiairement encore, il conclut au renvoi de la cause à l'intimé pour instruction complémentaire et mise en oeuvre d'une nouvelle expertise médicale pluridisciplinaire.