Faits: A. A.a A._ a travaillé en qualité de tailleur de pierres. Invoquant des douleurs au poignet gauche, il a présenté le 30 mai 2000 une demande de prestations de l'assurance-invalidité. Par décision sur opposition du 26 juin 2006, l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) lui a octroyé une rente entière limitée dans le temps pour la période comprise entre le 1er mai et le 30 septembre 2000 (recte: entre le 1er mai 2000 et le 30 septembre 2001), confirmant ses décisions des 7 septembre 2004 et 10 janvier 2005. A.b Le 22 mars 2007, l'assuré a déposé une nouvelle demande de prestations, faisant état d'une dépression et d'un trouble de l'adaptation avec réaction mixte anxio-dépressive. L'office AI a recueilli des renseignements médicaux auprès des docteurs S._, spécialiste FMH en psychiatrie et psychothérapie, et J._ (rapport du 7 juin 2007); il a versé au dossier une lettre des docteurs K._ et H._ (courrier du 7 avril 2006), ainsi qu'un rapport des docteurs D._ et E._ (du 13 septembre 2005). Après avoir soumis ces documents à son Service médical régional (ci-après: SMR; rapport du docteur B._, spécialiste FMH en médecine interne générale, du 18 février 2008), l'administration a dénié à l'assuré le droit à des prestations par décision du 29 septembre 2008, aux motifs que son état de santé était demeuré stationnaire depuis le prononcé des décisions précédentes et que sa capacité de travail était entière. Faute d'avoir été attaquée, cette décision est entrée en force. A.c Après que les docteurs C._ et I._ ont informé l'office AI d'une péjoration de l'état de santé de A._ (rapport du 2 mars 2010), celui-ci a déposé le 27 mai 2010 une demande de prestations AI tendant à l'octroi d'une rente en raison d'une dépression. Ayant requis l'avis de son SMR (rapport du docteur B._ du 28 mai 2010), l'administration a refusé, par décision du 27 septembre 2010, d'entrer en matière sur cette nouvelle demande. B. L'assuré a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, concluant à ce que l'office AI, à qui le dossier devait être renvoyé, entre en matière sur sa demande. Il a été débouté par jugement du 18 juillet 2011. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut au renvoi de la cause à l'office AI afin que celui-ci entre en matière sur sa demande. Il sollicite le bénéfice de l'assistance judiciaire pour la procédure fédérale. L'office AI conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.