Faits:
A. A.a B._ a travaillé en qualité de peintre indépendant. Le 18 octobre 1991, il a été victime d'un accident de la circulation. Présentant à la suite de cet accident des céphalées avec sensations vertigineuses et des douleurs frontales gauches, le prénommé a déposé le 10 juin 1998 une demande de prestations de l'assurance-invalidité.
Dans le cadre de l'instruction diligentée par l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: office AI), l'assuré a bénéficié d'une mesure de reclassement sous la forme d'un cours d'informaticien de réseau, qui a été interrompue pour des raisons médicales. Par décision du 24 janvier 2005, confirmée sur opposition le 20 décembre 2005, l'office AI a dénié à l'assuré le droit à une rente d'invalidité, motif pris que le degré d'invalidité, fixé à 9,5 %, n'était pas suffisant pour ouvrir un tel droit. Cette décision a été confirmée sur recours par le Tribunal cantonal des assurances sociales du canton de Vaud (aujourd'hui: Tribunal cantonal du canton de Vaud, Cour des assurances sociales; jugement du 26 avril 2007), puis par le Tribunal fédéral (arrêt 9C_343/2007 du 4 février 2008).
A.b Le 15 juillet 2008, l'intéressé a présenté une nouvelle demande de prestations, à l'appui de laquelle il a produit plusieurs rapports médicaux. Invité à rendre plausible une péjoration de son état de santé, B._ a notamment déposé l'expertise du professeur D._, spécialiste FMH en neurologie. Selon les conclusions de cet expert, l'assuré n'était plus en mesure d'exercer son ancienne profession de plâtrier-peintre, ni de poursuivre une formation en informatique (rapport du 29 septembre 2008). Après avoir pris conseil auprès de son Service médical régional (SMR; rapports du docteur L._ des 6 et 17 novembre 2008), l'office AI a, par décision du 7 avril 2010, refusé d'entrer en matière sur la nouvelle demande de prestations, dès lors que l'assuré n'avait pas rendu vraisemblable que les conditions de fait s'étaient modifiées de manière à influencer son degré d'invalidité.
B. B._ a déféré cette décision au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en produisant de nouveaux rapports médicaux. Statuant le 1er février 2011, le Tribunal cantonal a débouté l'assuré.
C. B._ interjette un recours en matière de droit public contre ce jugement, dont il demande, sous suite de frais et dépens, principalement la réforme, en ce sens qu'il soit ordonné à l'office AI d'entrer en matière sur la nouvelle demande. Il conclut subsidiairement à son annulation et au renvoi de la cause à l'administration pour nouvelle instruction et/ou nouvelle décision dans le sens des considérants. Il sollicite également le bénéfice de l'assistance judiciaire.
L'office AI conclut implicitement au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. Le litige porte sur le point de savoir si le recourant a rendu plausible l'existence d'une aggravation de son état de santé de nature à modifier son droit aux prestations d'invalidité.
3. 3.1 Lorsque la rente a été refusée une première fois parce que le degré d'invalidité était insuffisant, la nouvelle demande ne peut être examinée que si l'assuré rend plausible que son invalidité s'est modifiée de manière à influencer ses droits (art. 87 al. 3 et 4 RAI; ATF 109 V 262 consid. 3 p. 264 s.). Cette exigence doit permettre à l'administration, qui a précédemment rendu une décision de refus de prestations entrée en force, d'écarter sans plus ample examen de nouvelles demandes dans lesquelles l'assuré se borne à répéter les mêmes arguments, sans alléguer une modification des faits déterminants (ATF 125 V 410 consid. 2b p. 412, 117 V 198 consid. 4b p. 200 et les références).
3.2 Lorsqu'elle est saisie d'une nouvelle demande, l'administration doit commencer par examiner si les allégations de l'assuré sont, d'une manière générale, plausibles. Si tel n'est pas le cas, l'affaire est liquidée d'entrée de cause et sans autres investigations par un refus d'entrée en matière. A cet égard, l'administration se montrera d'autant plus exigeante pour apprécier le caractère plausible des allégations de l'assuré que le laps de temps qui s'est écoulé depuis sa décision antérieure est bref. Elle jouit sur ce point d'un certain pouvoir d'appréciation que le juge doit en principe respecter. Ainsi, le juge ne doit examiner comment l'administration a tranché la question de l'entrée en matière que lorsque ce point est litigieux, c'est-à-dire quand l'administration a refusé d'entrer en matière en se fondant sur l'art. 87 al. 4 RAI et que l'assuré a interjeté recours pour ce motif. Ce contrôle par l'autorité judiciaire n'est en revanche pas nécessaire lorsque l'administration est entrée en matière sur la nouvelle demande (ATF 109 V 108 consid. 2b p. 114).
3.3 Le principe inquisitoire, selon lequel les faits pertinents de la cause doivent être constatés d'office par l'autorité (cf. art. 43 al. 1 LPGA en vigueur depuis le 1er janvier 2003), ne s'applique pas à la procédure de l'art. 87 al. 3 RAI (ATF 130 V 64 consid. 5.2.5 p. 68 s.). Eu égard au caractère atypique de celle-ci dans le droit des assurances sociales, le Tribunal fédéral a précisé que l'administration pouvait appliquer par analogie l'art. 73 aRAI (cf. art. 43 al. 3 LPGA depuis le 1er janvier 2003) - qui permet aux organes de l'AI de statuer en l'état du dossier en cas de refus de l'assuré de coopérer - à la procédure régie par l'art. 87 al. 3 RAI, à la condition de s'en tenir aux principes découlant de la protection de la bonne foi (cf. art. 5 al. 3 et 9 Cst.; ATF 124 II 265 consid. 4a p. 269 s.). Ainsi, lorsqu'un assuré introduit une nouvelle demande de prestations ou une procédure de révision sans rendre plausible que son invalidité s'est modifiée, notamment en se bornant à renvoyer à des pièces médicales qu'il propose de produire ultérieurement ou à des avis médicaux qui devraient selon lui être recueillis d'office, l'administration doit lui impartir un délai raisonnable pour déposer ses moyens de preuve, en l'avertissant qu'elle n'entrera pas en matière sur sa demande pour le cas où il ne se plierait pas à ses injonctions. Enfin, cela présuppose que les moyens proposés soient pertinents, en d'autres termes qu'ils soient de nature à rendre plausibles les faits allégués. Si cette procédure est respectée, le juge doit examiner la situation d'après l'état de fait tel qu'il se présentait à l'administration au moment où celle-ci a statué (ATF 130 V 64 consid. 5.2.5 p. 68, arrêts 9C_708/2007 du 11 septembre 2008 consid. 2.3 et I 52/03 du 16 janvier 2004 consid. 2.2).
4. 4.1 Au regard des rapports des docteurs N._, R._ et V._, produits antérieurement à la décision litigieuse, et de l'expertise du professeur D._, la juridiction cantonale a retenu qu'aucune limitation fonctionnelle susceptible de modifier l'exigibilité de la capacité de travail, telle qu'elle avait été reconnue en 2005, n'avait été objectivée; partant, le recourant n'avait pas rendu plausible une modification de son degré d'invalidité. Concernant plus spécialement l'expertise du professeur D._, sur laquelle s'appuie le recourant, les premiers juges ont considéré que ce spécialiste n'avait fait ressortir aucune aggravation de la situation médicale qui aurait eu des répercussions négatives sur la capacité de travail de l'assuré dans une activité adaptée, comme celle d'informaticien.
4.2 Contrairement à ce que prétend le recourant, les premiers juges n'ont pas constaté les faits de façon manifestement inexacte et leur appréciation n'apparaît pas insoutenable, arbitraire ou autrement contraire au droit. A leur suite on constate que la seule aggravation objective mise en évidence par le professeur D._ portait sur le syndrome vestibulaire. Celui-ci n'entravait toutefois que la capacité de travail dans la profession de plâtrier-peintre, laquelle avait déjà été déclarée inadaptée aux limitations fonctionnelles de l'assuré en 2005. Pour le reste, l'expert a commencé par rappeler que les plaintes et les séquelles étaient toujours les mêmes. Il ne s'est pas prononcé expressément sur la capacité de travail dans une activité adaptée, notant simplement qu'en raison des céphalées et des troubles visuels, on pouvait comprendre qu'il fût inutile de poursuivre une formation en informatique. Ces atteintes, pour lesquelles le professeur D._ n'a fait état d'aucune aggravation, avaient pourtant déjà été largement diagnostiquées par les médecins invités à se prononcer lors de la première procédure administrative qui s'est achevée par la décision du 20 décembre 2005.
En outre, le principe inquisitoire ne s'appliquant pas à la procédure de nouvelle demande, il appartenait au recourant de transmettre à l'administration les avis médicaux permettant de rendre plausible que son état de santé s'était détérioré de manière à influencer négativement sa capacité de travail résiduelle dans une activité adaptée. A cet égard, le fait que le recourant ait produit l'expertise du professeur D._ ne suffisait pas; il aurait fallu que ce spécialiste fasse état d'une aggravation des atteintes ayant une répercussion négative sur la capacité de travail de l'assuré dans une activité adaptée. Faute pour le recourant d'avoir apporté les éléments médicaux pertinents permettant de rendre plausible que son degré d'invalidité s'était modifié, l'intimé n'avait pas à entrer en matière sur sa nouvelle demande, ni partant à élucider les faits en procédant à des mesures d'instruction complémentaires.
5. Par conséquent, le recours se révèle mal fondé et doit être rejeté.
6. Le recourant voit ses conclusions rejetées, de sorte qu'il doit en principe supporter les frais de justice et ses propres dépens (art. 66 al. 1 et 68 al. 1 LTF). Il a toutefois déposé une demande d'assistance judiciaire. Dès lors que le recours n'était pas dénué de chances de succès, que l'indigence du recourant est établie et que l'assistance d'un avocat est justifiée (art. 64 al. 1 et 2 LTF), il convient de lui accorder l'assistance judiciaire. Le recourant est toutefois rendu attentif au fait qu'il devra rembourser la caisse du Tribunal s'il se trouve ultérieurement en mesure de le faire (art. 64 al. 4 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. L'assistance judiciaire est accordée au recourant.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la caisse du Tribunal.
4. Me Gilles-Antoine Hofstetter est désigné en tant qu'avocat d'office du recourant et une indemnité de 2'800 fr. lui est allouée à titre d'honoraires, supportée par la caisse du Tribunal.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 20 février 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
La Greffière: Reichen