Faits:
A. L._ perçoit une rente entière de l'assurance-invalidité depuis le 1er janvier 2000. A partir du 1er juin 2002, il a été mis au bénéfice de prestations complémentaires (ci-après: PC).
Par lettre du 4 avril 2003, la Bâloise Assurances a informé le prénommé qu'une rente de la prévoyance professionnelle lui était accordée à partir du 25 janvier 2001.
Au cours d'une révision périodique mise en oeuvre en avril 2007, l'agence intercommunale d'assurances sociales du canton de Vaud a été informée par l'administration fiscale, sur demande de sa part, que L._ percevait une rente du deuxième pilier, servie par la Bâloise Assurances, à raison de 7'327 fr. par année.
Par décision du 29 mai 2007, la Caisse cantonale vaudoise de compensation (ci-après: la caisse) a fixé le montant des PC à partir du 1er juin 2007, compte tenu de ce revenu supplémentaire à 15'106 fr. par année.
Par décision du 22 juin 2007, la caisse a demandé à L._ la restitution de 33'677 fr. correspondant aux PC versées à tort pour la période du 1er juillet 2002 au 31 mai 2007. La caisse a précisé que l'assuré avait la possibilité de demander la remise de l'obligation de restituer les PC dans un délai de trente jours.
Le 2 juillet 2007, L._ a sollicité la remise de l'obligation de restituer.
Par décision du 9 juillet 2007, confirmée sur opposition le 13 août 2007, la caisse a refusé la remise demandée, au motif que la condition de la bonne foi n'était pas remplie.
B. Par écriture du 14 septembre 2007, L._ a recouru devant le Tribunal des assurances du canton de Vaud contre la décision sur opposition de la caisse; il se plaignait essentiellement du fait que la caisse avait violé son droit d'être entendu, en ne lui donnant pas la possibilité de consulter l'intégralité du dossier sur lequel elle s'était fondée.
Statuant le 3 octobre 2008, la juridiction cantonale a rejeté le recours.
C. L._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation en concluant, sous suite de dépens, à titre principal, à ce qu'il soit dispensé de l'obligation de restituer les prestations complémentaires perçues et, à titre subsi- diaire, au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
La caisse propose l'admission du recours pour la période allant du 1er juillet 2002 au 30 avril 2003 et confirme que la remise de l'obligation ne peut être accordée pour la période du 1er mai 2003 au 31 mai 2007. Quant à l'Office fédéral des assurances sociales, il a renoncé à se déterminer.

Considérant en droit:
1. Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.3 p. 519, 130 III 136 consid. 1.4 p. 140).
2. Le litige porte uniquement sur la remise de l'obligation de restituer. On doit en effet considérer que le recourant a renoncé à s'opposer à la décision de restitution de la caisse du 22 juin 2007 dès lors qu'il n'a soulevé aucun moyen en relation avec le bien-fondé de cette décision ni dans sa lettre du 2 juillet 2007, ni dans ses actes ultérieurs où il a, en revanche, clairement exprimé son intention de se voir accorder la remise de l'obligation de restituer.
3. Sous l'angle procédural, le recourant reproche aux premiers juges d'avoir retenu qu'il lui incombait de rembourser les prestations complémentaires, sans examiner le grief tiré de la violation du droit d'être entendu par la caisse qu'il avait soulevé devant eux. Il allègue qu'en ne répondant pas à un argument expressément soulevé, les premiers juges ont à leur tour violé son droit d'être entendu.
3.1 Conformément au droit d'être entendu, l'autorité doit indiquer dans son prononcé les motifs qui la conduisent à sa décision (<ref-ruling> consid 2c p. 34; <ref-ruling> consid. 2b p. 109). Elle n'est pas tenue de discuter de manière détaillée tous les arguments soulevés par les parties, ni de statuer séparément sur chacune des conclusions qui lui sont présentées. Elle peut se limiter à l'examen des questions décisives pour l'issue du litige; il suffit que le justiciable puisse apprécier correctement la portée de la décision et l'attaquer à bon escient (<ref-ruling> consid. 4.1 p. 88; <ref-ruling> consid. 4.3 p. 540; <ref-ruling> consid. 2b, et les arrêts cités).
3.2 Le moyen soulevé ici n'est pas fondé. En effet, dans son recours cantonal, le recourant s'est plaint du fait que la caisse ne lui a pas donné la possibilité de consulter l'intégralité du dossier sur lequel elle s'était appuyée. Dans sa réponse au recours, la caisse a indiqué que seules manquaient la demande de PC et la décision initiale de PC; pour le reste le dossier ne contenait pas les correspondances dont le recourant prétendait qu'elles y figuraient. Ce faisant, la caisse a vidé de sa substance le grief invoqué par l'assuré. Le recourant n'est d'ailleurs plus revenu sur ce point dans sa réplique. On doit admettre qu'implicitement, les premiers juges ont considéré, cela à juste titre, que ce vice - mineur - était réparé devant un tribunal disposant d'un plein pouvoir d'examen. A cet égard, il ne fait pas de doute que le recourant a pu consulter au cours de la procédure cantonale les deux pièces manquantes.
4. 4.1 Toujours sous l'angle procédural, le recourant, se plaint, mais à tort, du fait que la juridiction cantonale aurait également violé son droit d'être entendu en refusant une mesure d'instruction (interpellation des autorités fiscales).
4.2 En effet, il n'est pas contesté que le recourant a fait état de la rente de la prévoyance professionnelle versée par la Bâloise Assurances dans ses déclarations d'impôts dès que les versements sont devenus effectifs. A cet égard, l'audition d'un représentant des autorités fiscales n'était pas susceptible d'apporter des éléments de nature à influencer le sort du jugement. Les premiers juges pouvaient se dispenser de cette audition par une appréciation anticipée des preuves.
5. Le jugement entrepris expose le contenu de l'<ref-law> ainsi que les critères décisifs à l'appréciation de la bonne foi du débiteur au sens de la jurisprudence (<ref-ruling> consid. 3 p. 223 et les arrêts cités; VSI 2003 p. 162 consid. 3a; DTA 2002 no 38 p. 258 consid. 2a) de sorte qu'on peut y renvoyer.
6. Les premiers juges ont nié en bloc la bonne foi de l'assuré au motif que celui-ci n'avait pas averti la caisse du versement de la rente de la prévoyance professionnelle. Dès lors que la première des conditions cumulatives à la remise de la créance en restitution n'était pas réalisée, ils se sont abstenus d'examiner celle de la charge trop lourde.
7. 7.1 En l'espèce, il y a lieu toutefois d'admettre la bonne foi du recourant pour la période allant du 1er juillet 2002 au 30 avril 2003, comme le reconnaît à juste titre l'intimée en instance fédérale. De jurisprudence constante, en effet, la condition de la bonne foi doit être réalisée dans la période où l'assuré concerné a reçu les prestations indues dont la restitution est exigée (voir arrêt P 64/06 du 30 octobre 2007, consid. 6.1 et les références). Or, durant cette période, les revenus de L._ ne comprenaient pas la rente du deuxième pillier versée par la Bâloise Assurances. Le recourant disposait donc à bon droit des prestations complémentaires qui lui étaient versées.
7.2 Reste à examiner, pour cette même période, si la restitution du montant des prestations concernées mettrait le recourant dans une situation difficile (deuxième condition cumulative de l'<ref-law>). C'est dans ce contexte que, selon la jurisprudence publiée aux <ref-ruling> - confirmée et précisée récemment par les arrêts 8C_766/2007 du 17 avril 2008 et C 93/05 du 20 janvier 2007 in SVR 2007 AlV no 17 p. 55 -, il convient de prendre en considération la circonstance qu'un assuré a reçu, pour une période pendant laquelle il a déjà perçu des prestations complémentaires, des éléments de fortune versés rétroactivement (par exemple un paiement rétroactif de rentes). Le Tribunal fédéral a ainsi jugé que dans l'hypothèse où le capital obtenu grâce au paiement de la rente arriérée est encore disponible au moment de l'entrée en force de la décision de restitution (<ref-law>), la situation difficile doit être niée. En cas de diminution du patrimoine avant l'entrée en force de la décision de restitution, il faut en examiner les raisons. S'il s'avère que l'assuré s'est dessaisi de tout ou partie du capital sans contre-prestations correspondantes, le patrimoine dont il s'est dessaisi doit être traité comme s'il en avait encore la maîtrise effective, en appliquant par analogie les règles sur le dessaisissement de fortune établies par les art. 3c al. 1 let. g LPG (en vigueur jusqu'au 31 décembre 2007) et 17a OPC-AVS/AI. L'assuré est également tenu à restitution s'il ne remplit pas les conditions de la situation difficile telle que définie à l'<ref-law>, étant entendu qu'il n'y a pas lieu, dans ce cas, de tenir compte du capital versé dans le calcul de la fortune fictive. Comme les premiers juges n'ont pas abordé la question de la situation financière du recourant au moment de l'entrée en force de la décision de restitution (du 22 juin 2007), il n'est pas possible pour le Tribunal fédéral de statuer sur la condition de la situation difficile.
7.3 Les faits se présentent différemment en ce qui concerne les prestations allouées au recourant pour la période du 1er mai 2003 au 31 mai 2007. A ce moment-là, le recourant avait pu prendre connaissance de la décision d'octroi de la rente du deuxième pilier versée par la Bâloise assurances. Il aurait aisément pu se rendre compte que l'existence d'un revenu supplémentaire était de nature à influencer son droit aux prestations complémentaires. Il lui incombait dès lors d'informer immédiatement la caisse de cette nouvelle situation (cf. <ref-law>-AVS-AI) ce qu'il omis de faire. Le fait qu'il avait annoncé spontanément dans sa demande de PC l'existence d'une demande de rentes de la prévoyance professionnelle et que, par ailleurs, il avait informé l'autorité fiscale, en le libérait pas de son devoir d'annoncer à la caisse, le moment venu, que les prestations demandées du deuxième pilier lui avaient été accordées: il s'agissait d'un changement important de sa situation matérielle et le recourant ne pouvait sans plus partir de l'idée que la caisse le relancerait ni, comme il le prétend, que les communications du fisc « suivraient ». Le comportement de l'assuré relève d'une négligence grave, ce qui exclut sa bonne foi et, partant, également la remise de l'obligation de restituer les montants en cause.
7.4 Vu ce qui précède, la cause sera retournée à la caisse afin qu'elle procède aux mesures d'instruction nécessaires sur la condition de la situation difficile et rende une nouvelle décision sur la remise de l'obligation de restituer le montant des prestations complémentaires allouées à tort durant la période du 1er juillet 2002 au 30 avril 2003.
8. Le recourant, dès lors qu'il succombe dans une large mesure, supportera la plus grande part des frais judiciaires (<ref-law>). Pour le même motif, il a droit à des dépens réduits (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis en ce sens que le jugement du 3 octobre 2008 du Tribunal des assurances du canton de Vaud et la décision sur opposition du 13 août 2007 de la Caisse cantonale vaudoise de compensation AVS sont annulés. La cause est renvoyée à ladite caisse pour instruction complémentaire et nouvelle décision sur la remise de l'obligation de restituer le montant des prestations complémentaires allouées à tort durant la période du 1er juillet 2002 au 30 avril 2003.
2. La remise de l'obligation de restituer est refusée pour les prestations complémentaires versées au recourant durant la période du 1er mai 2003 au 31 mai 2007.
3. Les frais judiciaires, arrêtés à 3'000 fr., sont mis pour 2'000 fr. à la charge du recourant et pour 1'000 fr. à la charge de l'intimée.
4. La caisse versera au recourant un montant de 800 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour la procédure fédérale.
5. Le présent arrêt est communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 29 mai 2009
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Juge présidant: La Greffière:
Leuzinger Berset