Faits: A. L._ perçoit une rente entière de l'assurance-invalidité depuis le 1er janvier 2000. A partir du 1er juin 2002, il a été mis au bénéfice de prestations complémentaires (ci-après: PC). Par lettre du 4 avril 2003, la Bâloise Assurances a informé le prénommé qu'une rente de la prévoyance professionnelle lui était accordée à partir du 25 janvier 2001. Au cours d'une révision périodique mise en oeuvre en avril 2007, l'agence intercommunale d'assurances sociales du canton de Vaud a été informée par l'administration fiscale, sur demande de sa part, que L._ percevait une rente du deuxième pilier, servie par la Bâloise Assurances, à raison de 7'327 fr. par année. Par décision du 29 mai 2007, la Caisse cantonale vaudoise de compensation (ci-après: la caisse) a fixé le montant des PC à partir du 1er juin 2007, compte tenu de ce revenu supplémentaire à 15'106 fr. par année. Par décision du 22 juin 2007, la caisse a demandé à L._ la restitution de 33'677 fr. correspondant aux PC versées à tort pour la période du 1er juillet 2002 au 31 mai 2007. La caisse a précisé que l'assuré avait la possibilité de demander la remise de l'obligation de restituer les PC dans un délai de trente jours. Le 2 juillet 2007, L._ a sollicité la remise de l'obligation de restituer. Par décision du 9 juillet 2007, confirmée sur opposition le 13 août 2007, la caisse a refusé la remise demandée, au motif que la condition de la bonne foi n'était pas remplie. B. Par écriture du 14 septembre 2007, L._ a recouru devant le Tribunal des assurances du canton de Vaud contre la décision sur opposition de la caisse; il se plaignait essentiellement du fait que la caisse avait violé son droit d'être entendu, en ne lui donnant pas la possibilité de consulter l'intégralité du dossier sur lequel elle s'était fondée. Statuant le 3 octobre 2008, la juridiction cantonale a rejeté le recours. C. L._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation en concluant, sous suite de dépens, à titre principal, à ce qu'il soit dispensé de l'obligation de restituer les prestations complémentaires perçues et, à titre subsi- diaire, au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. La caisse propose l'admission du recours pour la période allant du 1er juillet 2002 au 30 avril 2003 et confirme que la remise de l'obligation ne peut être accordée pour la période du 1er mai 2003 au 31 mai 2007. Quant à l'Office fédéral des assurances sociales, il a renoncé à se déterminer.