Faits:
A. A.a D._, né en 1960, a exercé, depuis 1987, la profession de maçon auprès de l'entreprise X._ SA. En raison d'une allergie au ciment, il a déposé en 1994 une demande de prestations de l'assurance-invalidité qui a été classée en janvier 1995. Victime d'une chute quelque temps plus tard, il a subi une fracture de la cheville droite avec écrasement du pilon tibial droit; le traitement par ostéosynthèse s'est compliqué par un ulcère de la plaie. Le 2 février 1999, il a présenté une deuxième demande de prestations qui a été refusée par l'Office de l'assurance-invalidité du canton de Genève (ci-après: l'office AI) par décision sur opposition du 12 mars 2004. Saisi d'un recours de l'assuré, le Tribunal cantonal des assurances sociales (aujourd'hui: Cour de justice de la République et canton de Genève, Chambre des assurances sociales) l'a partiellement admis, octroyant à celui-ci une rente d'invalidité du 1er août 1999 au 31 mars 2001, et des mesures de reclassement (arrêt du 20 décembre 2004).
A.b A la suite de cet arrêt, une mesure de reclassement sous la forme d'un stage a été mise en place; elle a été prématurément interrompue, l'assuré ayant présenté un certificat médical d'incapacité de travail. L'office AI a alors chargé son Service médical Régional (SMR) de réaliser un examen rhumato-psychiatrique de l'assuré. Selon les conclusions des docteurs N._, médecin-chef du SMR, R._, spécialiste FMH en médecine physique et rééducation, et B._, ancien chef de clinique adjoint en psychiatrie, l'assuré présentait une incapacité de travail dans toute forme d'activité à caractère physique depuis le 18 août 1998; en revanche, une activité sédentaire était possible à 100% depuis novembre 2000, avec une diminution de rendement de 25% compte tenu des limitations fonctionnelles - pas de montée ou de descente d'escaliers, diminution du périmètre de marche à 200 mètres, pas de port de charges supérieures à 5kg ou de position statique debout plus de 5 à 10 minutes, pas de position en porte-à-faux ou en antéflexion du rachis contre résistance, pas de position en génuflexion ou de position accroupie à répétition, pas d'activité en terrain instable ou en hauteur et pas de position assise plus de trois quarts d'heure sans alterner les positions assis/debout - et de la symptomatologie algique persistante (cf. rapport du 30 octobre 2007). Par projets de décision du 2 juillet 2008, confirmés par décisions du 20 octobre 2008, l'office AI a nié le droit de l'assuré à une rente d'invalidité - sur la base d'un taux d'invalidité de 38,7% - et à une mesure de reclassement.
A.c Le 13 décembre 2010, l'assuré a déposé une nouvelle demande de prestations. Invité à rendre plausible une péjoration de son état de santé, D._ a produit deux rapports de la doctoresse A._, spécialiste FMH en médecine générale et médecin traitant. Après avoir consulté son médecin conseil (cf. avis du 9 mars 2011), l'office AI a informé l'intéressé qu'il n'entrerait pas en matière sur sa nouvelle demande, dès lors qu'il n'avait pas rendu «vraisemblable que les conditions de fait s'étaient modifiées de manière notable» (projet de décision du 21 mars 2011). L'assuré a alors transmis un rapport (du 9 février 2011) portant sur des radiographies de la cheville droite, sur lequel le SMR s'est prononcé (avis du 3 mai 2011). Par décision du 8 juin 2011, l'office AI a formellement confirmé son refus d'entrer en matière.
B. D._ a déféré cette décision à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, en produisant de nouveaux rapports médicaux. Statuant le 14 novembre 2011, la Cour de justice de la République et canton de Genève a débouté l'assuré.
C. D._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Sous suite de frais et dépens, il conclut principalement à l'octroi d'une rente entière d'invalidité à compter du 1er mai 2009 et subsidiairement au renvoi de la cause au Tribunal cantonal pour qu'il statue à nouveau au sens des considérants. Il sollicite également le bénéfice de l'assistance judiciaire.
Le Tribunal fédéral renonce à procéder à un échange d'écritures.
Considérant en droit:
1. 1.1 Lorsque la rente a été refusée une première fois parce que le degré d'invalidité était insuffisant, la nouvelle demande ne peut être examinée que si l'assuré rend plausible que son invalidité s'est modifiée de manière à influencer ses droits (art. 87 al. 3 et 4 RAI dans leur teneur en vigueur jusqu'au 31 décembre 2011; ATF 109 V 262 consid. 3 p. 264 s.). Cette exigence doit permettre à l'administration, qui a précédemment rendu une décision de refus de prestations entrée en force, d'écarter sans plus ample examen de nouvelles demandes dans lesquelles l'assuré se borne à répéter les mêmes arguments, sans alléguer une modification des faits déterminants (ATF 125 V 410 consid. 2b p. 412, 117 V 198 consid. 4b p. 200 et les références).
1.2 Lorsqu'elle est saisie d'une nouvelle demande, l'administration doit commencer par examiner si les allégations de l'assuré sont, d'une manière générale, plausibles. Si tel n'est pas le cas, l'affaire est liquidée d'entrée de cause et sans autres investigations par un refus d'entrée en matière. A cet égard, l'administration se montrera d'autant plus exigeante pour apprécier le caractère plausible des allégations de l'assuré que le laps de temps qui s'est écoulé depuis sa décision antérieure est bref. Elle jouit sur ce point d'un certain pouvoir d'appréciation que le juge doit en principe respecter. Ainsi, le juge ne doit examiner comment l'administration a tranché la question de l'entrée en matière que lorsque ce point est litigieux, c'est-à-dire quand l'administration a refusé d'entrer en matière en se fondant sur l'art. 87 al. 4 RAI et que l'assuré a interjeté recours pour ce motif. Ce contrôle par l'autorité judiciaire n'est en revanche pas nécessaire lorsque l'administration est entrée en matière sur la nouvelle demande (ATF 109 V 108 consid. 2b p. 114).
1.3 Le principe inquisitoire, selon lequel les faits pertinents de la cause doivent être constatés d'office par l'autorité (cf. art. 43 al. 1 LPGA en vigueur depuis le 1er janvier 2003), ne s'applique pas à la procédure de l'art. 87 al. 3 RAI (ATF 130 V 64 consid. 5.2.5 p. 68 s.). Eu égard au caractère atypique de celle-ci dans le droit des assurances sociales, le Tribunal fédéral a précisé que l'administration pouvait appliquer par analogie l'art. 73 aRAI (cf. art. 43 al. 3 LPGA depuis le 1er janvier 2003) - qui permet aux organes de l'AI de statuer en l'état du dossier en cas de refus de l'assuré de coopérer - à la procédure régie par l'art. 87 al. 3 RAI, à la condition de s'en tenir aux principes découlant de la protection de la bonne foi (cf. art. 5 al. 3 et 9 Cst.; ATF 124 II 265 consid. 4a p. 269 s.). Ainsi, lorsqu'un assuré introduit une nouvelle demande de prestations ou une procédure de révision sans rendre plausible que son invalidité s'est modifiée, notamment en se bornant à renvoyer à des pièces médicales qu'il propose de produire ultérieurement ou à des avis médicaux qui devraient selon lui être recueillis d'office, l'administration doit lui impartir un délai raisonnable pour déposer ses moyens de preuve, en l'avertissant qu'elle n'entrera pas en matière sur sa demande pour le cas où il ne se plierait pas à ses injonctions. Enfin, cela présuppose que les moyens proposés soient pertinents, en d'autres termes qu'ils soient de nature à rendre plausibles les faits allégués. Si cette procédure est respectée, le juge doit examiner la situation d'après l'état de fait tel qu'il se présentait à l'administration au moment où celle-ci a statué (ATF 130 V 64 consid. 5.2.5 p. 68, arrêts 9C_708/2007 du 11 septembre 2008 consid. 2.3 et I 52/03 du 16 janvier 2004 consid. 2.2).
2. En premier lieu, le recourant soutient que l'intimé est implicitement entré en matière sur sa demande de prestations, dès lors qu'il a soumis les pièces médicales produites au SMR. Cela étant, l'intimé et, à sa suite, la juridiction cantonale auraient dû instruire la cause et procéder aux investigations nécessaires. Le recourant reproche également aux premiers juges de s'être écartés des conclusions de son médecin traitant, la doctoresse A._, sans l'avoir préalablement entendue. Ce médecin avait pourtant constaté, dans son rapport du 6 juillet 2011, une aggravation de son état de santé depuis 2008 au niveau musculaire et osseux, attestant une perte importante de la masse musculaire et l'apparition d'une ostéopénie.
3. Quoi qu'en dise le recourant, on ne se trouve pas dans le cas de figure de l'arrêt 9C_537/2009 du 1er mars 2010 où le Tribunal fédéral avait considéré que l'office AI était implicitement entré en matière sur la nouvelle demande de prestations déposée par l'assuré. En l'espèce, l'intimé a certes soumis les pièces produites par le recourant à son médecin conseil pour qu'il les examine, mais cet examen s'est limité au point de savoir si le recourant avait rendu plausible une aggravation de son état de santé. Après avoir pris connaissance des avis du SMR, l'intimé a simplement déclaré, sans se prononcer sur le fond, que l'assuré n'avait pas rendu plausible une péjoration de sa situation médicale (cf. sa décision du 8 juin 2011). On ne peut donc suivre le raisonnement du recourant, lorsqu'il soutient que l'intimé est entré (implicitement) en matière sur sa nouvelle demande de prestations. Dès lors, en instance fédérale, le litige porte uniquement sur le bien-fondé du refus d'entrer en matière prononcé par l'intimé, de sorte que les conclusions de l'assuré tendant à l'octroi d'une rente d'invalidité sont irrecevables.
4. 4.1 A l'appui de sa nouvelle demande de prestations, le recourant a fait verser au dossier deux avis (des 17 octobre 2008 et 2 février 2011) de la doctoresse A._ et un rapport de radiographie (du 9 février 2011) établi par le docteur G._, spécialiste FMH en radiologie. Au cours de la procédure cantonale de recours, il a produit un nouvel avis de la doctoresse A._ (du 6 juillet 2011) et un rapport du 23 mars 2011 du docteur K._, spécialiste FMH en radiologie.
4.2 Examinant l'ensemble de ces pièces médicales, la juridiction cantonale a considéré que le recourant n'avait pas rendu plausible une modification de son état de santé susceptible d'influencer ses droits depuis le dernier examen de l'office AI du droit à la rente de l'assurance-invalidité (cf. décision du 20 octobre 2008). Elle a en effet constaté que la situation décrite par la doctoresse A._ dans ses rapports des 2 février et 6 juillet 2011 était superposable à celle ressortant de son appréciation du 17 octobre 2008. Quant aux radiographies de la cheville droite du 8 février 2011, elles n'avaient permis de fonder aucun nouveau diagnostic conformément à l'avis du SMR du 3 mai 2011. Les premiers juges ont par ailleurs expliqué les raisons pour lesquelles ils n'avaient pas retenu le diagnostic d'ostéopénie mis en évidence par le docteur K._ dans son rapport du 23 mars 2011 et repris par la doctoresse A._ dans son rapport du 6 juillet 2011. Enfin, concernant l'état anxieux, celui-ci avait déjà été attesté par la doctoresse A._ dans ses avis des 9 septembre 2005, 20 février 2006 et 17 octobre 2008, soit antérieurement à la décision du 20 octobre 2008. Selon la juridiction cantonale, c'était par conséquent à juste titre que l'intimé avait refusé d'entrer en matière sur la nouvelle demande du recourant.
4.3 Au regard de la jurisprudence évoquée ci-dessus (cf. supra consid. 1.3 in fine), la juridiction cantonale aurait dû se contenter d'examiner la question litigieuse à la lumière des rapports produits par le recourant antérieurement à la décision du 8 juin 2011, sans examiner les documents médicaux déposés au cours de la procédure cantonale de recours, soit ultérieurement à la décision administrative (cf. rapports du 6 juillet 2011 de la doctoresse A._ et du 23 mars 2011 du docteur K._). En effet, dans un litige portant sur le bien-fondé du refus d'entrer en matière sur une nouvelle demande, le juge doit examiner la situation d'après l'état de fait tel qu'il se présentait à l'administration au moment où celle-ci a statué. Son examen est ainsi d'emblée limité au point de savoir si les pièces déposées en procédure administrative justifiaient ou non la reprise de l'instruction du dossier. Il ne sera donc pas tenu compte des rapports produits postérieurement à la décision litigieuse dans la présente procédure. Dans la mesure où les constatations de fait des premiers juges se fondent sur les rapports (des 17 octobre 2008, 2 février 2011 et 9 février 2011) pris en compte par l'intimé lors de sa décision du 8 juin 2011, elles restent valables et lient le Tribunal fédéral (art. 105 al. 1 LTF).
4.4 Malgré l'invitation qui lui a été faite en ce sens (le 15 décembre 2010), il convient de constater, à l'instar de la juridiction cantonale, que le recourant n'a pas apporté les éléments médicaux permettant de rendre plausible que son degré d'invalidité s'était modifié. Contrairement à ce qu'il soutient, dès lors que le principe inquisitoire ne s'applique pas à la procédure d'entrée en matière sur une nouvelle demande des art. 87 al. 3 et 4 RAI, il n'appartenait pas à l'intimé, ni à la juridiction cantonale, de procéder à des mesures d'instruction, notamment en entendant la doctoresse A._, mais à l'intéressé de fournir les éléments médicaux pertinents. A cet égard, on relèvera qu'il ne suffisait pas au recourant de déposer des rapports médicaux; encore aurait-il fallu que les pièces produites fassent état d'une aggravation des atteintes ayant une répercussion sur les limitations fonctionnelles et le taux de capacité de travail résiduelle retenus à l'époque (cf. rapport du 30 octobre 2007 du SMR).
Tel n'est pas le cas en l'espèce. Il ressort en effet des constatations de la juridiction cantonale, qui ne sont que partiellement remises en cause par le recourant, que la situation médicale actuelle telle que décrite par la doctoresse A._ est superposable à celle de 2008. Il est vrai que, comme l'allègue l'intéressé, l'appréciation de la doctoresse A._ du 17 octobre 2008 - parvenue à l'office AI postérieurement à sa décision de 20 octobre 2008 - n'avait à l'époque pas été prise en compte par l'intimé lors de son examen du droit à des prestations de l'assurance-invalidité. Cet élément n'est toutefois pas déterminant, dès lors que les rapports des 9 septembre 2005 et 20 février 2006 de ce médecin, dont l'administration avait tenu compte à l'époque, font état des mêmes atteintes.
Le seul élément médical objectif mis en évidence par le recourant concerne le diagnostic d'ostéopénie (cf. rapports du 23 mars 2011 du docteur K._ et du 6 juillet 2011 de la doctoresse A._). Nonobstant le fait que la juridiction cantonale n'était pas tenue de prendre ces rapports en considération (cf. supra consid. 4.3), on retiendra toutefois que l'appréciation des preuves à laquelle elle s'est livrée et qui l'a conduite à écarter le diagnostic d'ostéopénie - au motif que la doctoresse A._ n'avait pas indiqué si l'ostéopénie était survenue postérieurement à la décision de l'intimé du 20 octobre 2008, ni précisé si cette affection était de nature à entraîner des limitations fonctionnelles qui n'auraient pas été prises en compte dans la procédure administrative précédente - n'apparaît pas insoutenable (cf. également avis du 2 août 2011 du SMR).
4.5 Faute pour le recourant d'avoir apporté les éléments médicaux pertinents permettant de rendre plausible que son degré d'invalidité s'était modifié, les premiers juges pouvaient donc retenir, sans procéder à des mesures d'instruction complémentaires, que c'était à bon droit que l'intimé n'était pas entré en matière sur la nouvelle demande de prestations de l'assuré.
5. Par conséquent, le recours se révèle mal fondé et doit être rejeté.
6. Le recourant voit ses conclusions rejetées, de sorte qu'il doit en principe supporter les frais de justice et ses propres dépens (art. 66 al. 1 et 68 al. 1 LTF). Il a toutefois déposé une demande d'assistance judiciaire. Dès lors que le recours n'était pas dénué de chances de succès, que l'indigence du recourant est établie et que l'assistance d'un avocat est justifiée (art. 64 al. 1 et 2 LTF), il convient de lui accorder l'assistance judiciaire. Le recourant est toutefois rendu attentif au fait qu'il devra rembourser la caisse du Tribunal s'il se trouve ultérieurement en mesure de le faire (art. 64 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure où il est recevable.
2. L'assistance judiciaire est accordée au recourant.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la caisse du Tribunal.
4. Me Manuel Bolivar est désigné en tant qu'avocat d'office du recourant et une indemnité de 2'800 fr. lui est allouée à titre d'honoraires, supportée par la caisse du Tribunal.
5. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 6 août 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Reichen