Faits:
A. A.a N._ a travaillé comme chauffeur de poids lourds et mécanicien auprès de l'entreprise X._, pépiniériste-paysagiste. Souffrant de lombalgies, il a déposé, le 9 avril 2003, après avoir subi plusieurs périodes d'incapacité de travail, une demande de prestations de l'assurance-invalidité. Par décision du 1er septembre 2004, confirmée sur opposition le 21 janvier 2004 (recte: 2005), l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: office AI) a nié le droit de l'intéressé à une rente d'invalidité et à des mesures de réadaptation professionnelle sur la base d'un taux d'invalidité de 6 %, en le mettant toutefois au bénéfice d'une aide au placement.
Dans le cadre de cette mesure, l'assuré a effectué en tant que mécanicien un stage d'entraînement au travail, suivi d'un stage de mise au courant, auprès de la société Y._ SA (cf. décisions des 29 juin 2005, 21 septembre 2005, 3 novembre 2005 et 28 avril 2006).
Le 28 janvier 2006, alors qu'il portait des caisses de bouteilles à son domicile, l'assuré s'est tordu le genou droit et a chuté. Dans un premier temps, le traitement a été conservateur et l'assuré a pu reprendre son activité à 50 %. En raison de gonalgies persistantes, il a néanmoins dû subir une intervention chirurgicale en date du 2 juin 2006 et a été mis en arrêt de travail. La Caisse nationale suisse d'assurance en cas d'accidents (CNA) a pris en charge le cas.
A compter du 12 avril 2007, l'assuré a bénéficié d'un nouveau stage financé par l'office AI auprès de l'entreprise Z._ à l'issue duquel il a été engagé en qualité de mécanicien-électricien au taux de 50 %.
A.b Le 9 juin 2008, l'assuré a fait valoir une aggravation de son état de santé et demandé la "révision" de son droit à des prestations de l'assurance-invalidité. L'office AI a alors mandaté le Centre d'expertise W._ pour qu'il réalise une expertise interdisciplinaire, rhumatologique et psychiatrique. Sur le plan rhumatologique, la doctoresse L._, spécialiste FMH en rhumatologie - médecine physique et réadaptation, a conclu à une diminution de rendement de 15 à 20 % compte tenu de la nécessité de changer de position et de faire des pauses. Chargée du volet psychiatrique, la doctoresse V._, spécialiste FMH en psychiatrie et psychothérapie, a considéré que la dysthymie et le syndrome douloureux somatoforme diagnostiqués n'avaient pas d'impact sur la capacité de travail; elle a retenu une diminution de rendement de 20 à 30 % en raison des douleurs, de l'épuisement mental et de la fatigabilité de l'assuré (cf. rapport du 28 septembre 2009). En définitive, les médecins de W._ ont conclu qu'une activité adaptée était exigible à raison de 8 heures par jour avec une diminution de rendement de 20 à 30 % en raison des troubles psychiques (épuisement, tristesse, angoisse), de la nécessité de changer fréquemment de position et d'une certaine lenteur dans l'exécution des mouvements du membre supérieur droit (rapport du 22 décembre 2009).
Par décision du 27 avril 2010, confirmant le projet de décision du 28 janvier 2010, l'office AI a nié le droit de l'intéressé à une rente d'invalidité, motif pris que le taux d'invalidité de 31 % était insuffisant pour ouvrir le droit à cette prestation.
A.c Entre-temps, la CNA a rendu une décision le 12 mai 2009, confirmée sur opposition le 30 juin 2009, reconnaissant le droit de l'intéressé à une rente d'invalidité fondée sur un taux d'invalidité de 15 % à partir du 1er juillet 2009. La décision sur opposition a fait l'objet d'un recours devant la Cour des assurances sociales du Tribunal cantonal du canton de Fribourg qui l'a rejeté par jugement du 21 décembre 2011 (605 2009-251). Saisi d'un recours en matière de droit public contre ce jugement, le Tribunal fédéral a statué par arrêt dont la date est identique à celle du présent arrêt (cause 8C_208/2012).
B. N._ a déposé un recours contre la décision du 27 avril 2010 de l'office AI devant le Tribunal du canton de Fribourg, Cour des assurances sociales, qui l'a débouté par jugement du 21 décembre 2011 (605 2010-181).
C. N._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement à l'allocation d'une rente d'invalidité à partir du 1er décembre 2008. Subsidiairement, il demande le renvoi de la cause à la juridiction cantonale pour nouvelle décision "au sens des considérants".
L'office AI a indiqué qu'il n'avait aucune remarque particulière à formuler, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF) et fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sous réserve des cas prévus à l'art. 105 al. 2 LTF. Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Le recourant ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été constatés en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte (art. 97 al. 1 LTF).
2. Est litigieux en l'espèce le droit du recourant à une rente d'invalidité à compter du 1er décembre 2008, singulièrement le degré d'invalidité qu'il présente. A cet égard, le jugement entrepris expose correctement les règles légales et la jurisprudence relative à la notion d'invalidité et à son évaluation, ainsi qu'à la valeur probante des rapports médicaux. Il suffit donc d'y renvoyer.
3. Dans un premier temps, la juridiction cantonale a constaté que l'état de santé du recourant s'était aggravé depuis la décision initiale de refus de rente d'invalidité du 1er septembre 2004, confirmée sur opposition le 21 janvier 2005. Concernant l'influence de cette péjoration sur la capacité de travail résiduelle du recourant, les premiers juges ont considéré, en se fondant sur les conclusions de l'expertise de W._ - auxquelles ils ont accordé pleine valeur probante -, que l'assuré était encore en mesure d'exercer à plein temps une activité adaptée à ses limitations fonctionnelles moyennant toutefois une diminution de rendement de 25 %, correspondant à la moyenne de la perte de rendement de 20 à 30 % retenue par les experts. Procédant à la comparaison des revenus avec et sans invalidité en tenant compte notamment d'un abattement de 10 % sur le revenu d'invalide, la juridiction cantonale a confirmé le taux d'invalidité de 31 % calculé par l'intimé.
4. Le recourant critique l'expertise des médecins de W._, dans la mesure où ceux-ci ont conclu à une diminution de rendement globale de 20 à 30 %. D'après lui, la perte de rendement de 15 à 20 % retenue par la doctoresse L._ au regard des seules atteintes physiques aurait dû être additionnée à celle constatée par la doctoresse V._, soit de 20 à 30 %, en raison des affections psychiques, pour atteindre une diminution globale de 35 à 50 %. Il remet également en cause la participation de la doctoresse V._ à la conférence de consensus ayant donné lieu à l'élaboration des conclusions finales de l'expertise.
5. 5.1 En l'occurrence, il n'existe aucun indice qui laisse à penser que les conclusions de l'expertise de W._ ne seraient pas le fruit d'un consensus entre tous les intervenants concernés. Le simple fait que l'expertise n'a pas été cosignée par tous les médecins ayant participé à son établissement ou que son contenu est présenté dans deux rapports séparés ne permet pas de remettre en doute sa valeur probante. Ce qui importe, c'est que les conclusions finales résultent d'un dialogue interdisciplinaire entre les différents spécialistes impliqués. Or, tel est bien le cas en l'espèce. En effet, le rapport des médecins de W._, qui intègre au demeurant l'évaluation psychiatrique, mentionne expressément que "la quantification finale des limitations de la capacité de travail en termes de présence et de rendement a été décidée lors d'une conférence de consensus ayant réuni les médecins qui ont participé à l'élaboration de cette expertise" (p. 1). Dans la partie intitulée "Appréciation du cas et pronostic" (p. 14 et suivantes), il apparaît que les conclusions ont été prises en consensus par "les médecins impliqués dans l'expertise médicale" de l'assuré (p. 16). Contrairement à ce que soutient le recourant, il est fait référence à tous les experts et non seulement aux médecins internes de W._ ou aux seuls cosignataires du rapport d'expertise du 22 décembre 2009. A cet égard, rien n'indique que la doctoresse V._, bien qu'elle ne soit pas rattachée au Centre W._, n'a pas pris part à la conférence de consensus ni participé à l'élaboration des conclusions finales.
Par ailleurs, quoi qu'en dise le recourant, les experts ont motivé leurs conclusions, indiquant que la perte de rendement de 20 à 30 % était due à la présence des troubles psychiques (épuisement, tristesse, angoisse), la nécessité de changer fréquemment de position et une certaine lenteur dans l'exécution des mouvements du membre supérieur droit.
5.2 Par conséquent, dès lors que la diminution de rendement globale résultait d'un consensus entre les experts et qu'elle tenait compte à la fois des atteintes physiques et psychiques, il n'appartenait pas au juge de revoir cette estimation en se livrant à des conjectures qui relèvent strictement de la science médicale (voir arrêt 9C_573/2009 du 16 décembre 2009 consid. 2.3). Au demeurant, on ajoutera que le taux final auquel sont parvenus les experts n'apparaît pas surprenant. La doctoresse V._ a retenu une perte de rendement (de 20 à 30 %) sur le plan psychique pour des considérations relevant essentiellement de la symptomatologie physique, soit la présence des douleurs chroniques et la fatigabilité induite par la symptomatologie douloureuse (cf. p. 5 du rapport du 28 septembre 2009). Ainsi, les causes des diminutions de rendement rhumatologique et psychiatrique se recoupaient en partie; notamment, comme l'ont relevé à juste titre les premiers juges, la nécessité de faire des pauses se confondait avec les états de fatigabilité et d'épuisement mental. En ce qui concerne l'incohérence - évoquée par le recourant - entre les taux divergents de la diminution de rendement globale indiqués dans les conclusions finales du rapport d'expertise du 22 décembre 2009, soit en page 17 de 15 à 20 % et en page 18 de 20 à 30 %, il n'y a pas lieu de s'écarter de l'appréciation des premiers juges, selon laquelle il s'agissait d'une erreur de plume et que celle-ci n'était pas préjudiciable au recourant. En effet, l'intimé a pris en compte la perte de rendement la plus favorable à l'assuré, soit le taux de 20 à 30 %.
Par ses arguments, le recourant ne parvient donc pas à faire douter du bien-fondé des conclusions de l'expertise de W._. En l'absence de doutes sérieux quant à leur fiabilité, les premiers juges pouvaient s'y fier et retenir que le recourant disposait d'une pleine capacité de travail résiduelle dans une activité adaptée avec une diminution de rendement de 25 %, sans devoir procéder à un complément d'expertise. Il convient, par conséquent, de rejeter les conclusions de l'intéressé sur ce point et de confirmer le revenu d'invalide de 40'485 fr. 75 retenu par les premiers juges.
5.3 Enfin, il n'y a pas lieu d'entrer en matière sur le grief du recourant portant sur le montant du revenu sans invalidité de 58'354 fr. établi par les premiers juges, dès lors que la prise en compte de ce montant lui est plus favorable et qu'elle ne modifie pas le taux d'invalidité calculé par l'intimé.
6. Au vu de ce qui précède, le recours se révèle mal fondé et doit être rejeté.
7. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant, qui succombe (art. 66 al. 1 LTF). Il ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 9 avril 2013
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant: Ursprung
La Greffière: Reichen