Faits:
A. A.a A._ a travaillé en qualité de tailleur de pierres. Invoquant des douleurs au poignet gauche, il a présenté le 30 mai 2000 une demande de prestations de l'assurance-invalidité. Par décision sur opposition du 26 juin 2006, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) lui a octroyé une rente entière limitée dans le temps pour la période comprise entre le 1er mai et le 30 septembre 2000 (recte: entre le 1er mai 2000 et le 30 septembre 2001), confirmant ses décisions des 7 septembre 2004 et 10 janvier 2005.
A.b Le 22 mars 2007, l'assuré a déposé une nouvelle demande de prestations, faisant état d'une dépression et d'un trouble de l'adaptation avec réaction mixte anxio-dépressive. L'office AI a recueilli des renseignements médicaux auprès des docteurs S._, spécialiste FMH en psychiatrie et psychothérapie, et J._ (rapport du 7 juin 2007); il a versé au dossier une lettre des docteurs K._ et H._ (courrier du 7 avril 2006), ainsi qu'un rapport des docteurs D._ et E._ (du 13 septembre 2005). Après avoir soumis ces documents à son Service médical régional (ci-après: SMR; rapport du docteur B._, spécialiste FMH en médecine interne générale, du 18 février 2008), l'administration a dénié à l'assuré le droit à des prestations par décision du 29 septembre 2008, aux motifs que son état de santé était demeuré stationnaire depuis le prononcé des décisions précédentes et que sa capacité de travail était entière. Faute d'avoir été attaquée, cette décision est entrée en force.
A.c Après que les docteurs C._ et I._ ont informé l'office AI d'une péjoration de l'état de santé de A._ (rapport du 2 mars 2010), celui-ci a déposé le 27 mai 2010 une demande de prestations AI tendant à l'octroi d'une rente en raison d'une dépression. Ayant requis l'avis de son SMR (rapport du docteur B._ du 28 mai 2010), l'administration a refusé, par décision du 27 septembre 2010, d'entrer en matière sur cette nouvelle demande.
B. L'assuré a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, concluant à ce que l'office AI, à qui le dossier devait être renvoyé, entre en matière sur sa demande. Il a été débouté par jugement du 18 juillet 2011.
C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut au renvoi de la cause à l'office AI afin que celui-ci entre en matière sur sa demande. Il sollicite le bénéfice de l'assistance judiciaire pour la procédure fédérale.
L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. Le litige porte sur le bien-fondé de la décision de non-entrée en matière de l'intimé. Les premiers juges ont correctement exposé les dispositions légales et les principes jurisprudentiels régissant l'entrée en matière sur une demande de prestations lorsqu'une rente a été refusée parce que le degré d'invalidité était insuffisant. Il suffit sur ce point de renvoyer au jugement entrepris.
3. Selon l'instance cantonale, c'est à bon droit que l'intimé a refusé d'entrer en matière sur la demande du recourant. Le rapport des docteurs C._ et I._ était insuffisant pour rendre vraisemblable une péjoration de son état de santé depuis la décision de l'intimé du 29 septembre 2008. Ce document ne contenait en effet pas d'éléments objectivement vérifiables attestant de la gravité de l'atteinte psychique dont il souffrait et de l'influence de celle-ci sur sa capacité de travail.
4. Le recourant ne prétend pas que son état de santé se serait modifié entre septembre 2008 et septembre 2010. Cette question ne serait toutefois pas pertinente. En effet, la décision du 29 septembre 2008 ne pourrait pas constituer le point de départ temporel pour l'examen d'une telle modification, puisqu'elle résulterait d'une appréciation arbitraire par l'intimé du rapport des docteurs S._ et J._. C'est dès lors la décision du 7 septembre 2004 qui serait déterminante. Or, à l'époque, il n'aurait pas présenté de troubles psychiques. Son état de santé se serait donc dégradé entre ce moment et celui où a été rendue la décision litigieuse, si bien que l'intimé aurait dû entrer en matière sur sa demande.
5. 5.1 Selon l'art. 17 LPGA, si le taux d'invalidité du bénéficiaire de la rente subit une modification notable, la rente est, d'office ou sur demande, révisée pour l'avenir, à savoir augmentée ou réduite en conséquence, ou encore supprimée (al. 1). Cela vaut également pour d'autres prestations durables accordées en vertu d'une décision entrée en force, lorsque l'état de fait déterminant se modifie notablement par la suite (al. 2). Le point de savoir si un tel changement s'est produit doit être tranché en comparant les faits tels qu'ils se présentaient au moment de la décision initiale de rente et les circonstances régnant à l'époque de la décision litigieuse. Pour qu'une décision de révision entrée en force constitue elle aussi une (nouvelle) base de comparaison dans le cadre d'une révision ultérieure, il faut qu'elle repose sur un examen matériel du droit à la rente avec une constatation des faits pertinents, une appréciation des preuves et une comparaison des revenus conformes au droit (ATF 133 V 108). Ces principes s'appliquent également en cas de nouvelle demande (ATF 130 V 71 consid. 3 p. 73 ss).
5.2 L'appréciation des preuves à laquelle a procédé l'intimé pour rendre sa décision du 29 septembre 2008 est dénuée de pertinence dans le cadre du présent litige. Pour fixer le cadre temporel des faits à comparer au regard d'une éventuelle révision, respectivement comme dans le cas d'espèce pour trancher la question de savoir si l'assuré a rendu vraisemblable une éventuelle péjoration de son état de santé, seul importe que la décision à la base de la comparaison se fonde sur un examen matériel de la situation, sans que le résultat de celui-ci ne doive être apprécié ou ne joue un rôle dans ce contexte (arrêt 9C_860/2008 du 19 février 2009 consid. 3.1). Or, avant de rendre la décision précitée, l'intimé a procédé à un tel examen - du moins s'agissant de l'état de santé du recourant, ce qui est suffisant puisque seul cet aspect était en cause dans la procédure initiée par la demande du 27 mai 2010 (cf. arrêt 9C_899/2009 du 26 mars 2010 consid. 2.1, in SVR 2010 IV n° 54 p. 167). Cette décision reposait en effet sur une évaluation par le SMR des différents éléments médicaux figurant au dossier, en particulier les rapports des docteurs S._ et J._ d'une part, et D._ et E._ d'autre part, lesquels ont notamment procédé à une anamnèse complète ainsi qu'à un examen clinique du recourant et se sont livrés à une discussion. Dès lors, c'est à bon droit que les premiers juges ont comparé les faits tels qu'ils se présentaient en septembre 2008 et les circonstances existant en septembre 2010.
5.3 Il suit de ce qui précède que le recours est mal fondé.
6. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant qui succombe (art. 66 al. 1 LTF). Il remplit toutefois les conditions du droit à l'assistance judiciaire dont il a requis le bénéfice (art. 64 LTF), dès lors que le recours n'était pas d'emblée voué à l'échec, qu'il ne dispose pas de ressources suffisantes et que l'assistance d'un avocat était indiquée. Le recourant sera ainsi provisoirement dispensé de payer les frais de justice et les honoraires de son mandataire d'office seront pris en charge par la caisse du tribunal; le recourant est toutefois rendu attentif au fait qu'il devra rembourser la caisse du Tribunal, s'il retrouve ultérieurement une situation financière lui permettant de le faire.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée au recourant.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la caisse du tribunal.
4. Maître Jean-Marie Agier est désigné en tant qu'avocat d'office du recourant et une indemnité de 2'000 fr. (y compris la taxe à la valeur ajoutée) lui est allouée à titre d'honoraires, supportée par la caisse du Tribunal.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 6 mars 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Bouverat