Faits:
Faits:
A. M._ était au bénéfice de prestations complémentaires.
A la suite du décès de la prénommée, survenu le 22 décembre 2003, la Caisse cantonale vaudoise de compensation AVS (ci-après : la caisse) a réclamé à L._, veuf de feue M._ et héritier unique de celle-ci, la restitution d'un montant de 1'523 fr. correspondant à la rente d'invalidité et les prestations complémentaires versées à tort pour le mois de janvier 2004 (décision du 8 janvier 2004). Saisie d'une demande de remise formée par L._, la caisse lui a demandé de fournir différents documents, dont les dernières déclarations d'impôts (courrier du 11 mars 2004). A cette occasion, l'administration a constaté que l'intéressé avait cessé son activité de technicien-dentiste indépendant et commencé à travailler comme représentant au service de X._ Gmbh dès le 1er août 2001 (cf. rapport de situation du 16 avril 2004). Sur la base des nouveaux éléments dont elle a eu connaissance, la caisse a, par décisions du 10 mai 2004, supprimé le droit de feue M._ à des prestations complémentaires pour la période du 1er août 2001 au 31 décembre 2003, et réclamé à la succession de la prénommée un montant de 24'379 fr. 15 représentant les prestations indûment perçues (22'892 fr.), ainsi que le remboursement de frais médicaux (1'487 fr. 15).
Après avoir remboursé la somme de 1'523 fr., L._ s'est opposé à la décision en restitution et a demandé la remise des montants réclamés. Son opposition a été rejetée par décision du 20 août 2004, au motif que la prétention en remboursement des prestations indues était née à partir du 1er août 2001, soit du vivant de la bénéficiaire, et que son époux ne pouvait se prévaloir de la bonne foi en relation avec la remise de l'obligation de restituer.
Après avoir remboursé la somme de 1'523 fr., L._ s'est opposé à la décision en restitution et a demandé la remise des montants réclamés. Son opposition a été rejetée par décision du 20 août 2004, au motif que la prétention en remboursement des prestations indues était née à partir du 1er août 2001, soit du vivant de la bénéficiaire, et que son époux ne pouvait se prévaloir de la bonne foi en relation avec la remise de l'obligation de restituer.
B. Saisi d'un recours formé par l'intéressé contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 15 mars 2006.
B. Saisi d'un recours formé par l'intéressé contre cette décision, le Tribunal des assurances du canton de Vaud l'a rejeté par jugement du 15 mars 2006.
C. L._ interjette un recours de droit administratif contre ce jugement, dont il demande l'annulation. Sous suite de frais et dépens, il demande que le tribunal constate qu'il n'est pas tenu à restitution.
La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à présenter des déterminations.

Considérant en droit:
Considérant en droit:
1. 1.1 Dans la procédure juridictionnelle administrative, ne peuvent être examinés et jugés, en principe, que les rapports juridiques à propos desquels l'autorité administrative compétente s'est prononcée préalablement d'une manière qui la lie, sous la forme d'une décision. Dans cette mesure, la décision détermine l'objet de la contestation qui peut être déféré en justice par voie de recours. En revanche, dans la mesure où aucune décision n'a été rendue, la contestation n'a pas d'objet, et un jugement sur le fond ne peut pas être prononcé (<ref-ruling> consid. 2.1, 125 V 414 consid. 1a, 119 Ib 36 consid. 1b et les références citées).
Toutefois, selon la jurisprudence du Tribunal fédéral des assurances, la procédure juridictionnelle administrative peut être étendue, pour des motifs d'économie de procédure, à une question en état d'être jugée qui excède l'objet de la contestation, c'est-à-dire le rapport juridique visé par la décision, lorsque cette question est si étroitement liée à l'objet initial du litige que l'on peut parler d'un état de fait commun, et à la condition que l'administration se soit exprimée à son sujet dans un acte de procédure au moins (<ref-ruling>, 122 V 36 consid. 2a et les références).
1.2 En l'espèce, la décision administrative du 10 mai 2004 portait exclusivement sur la restitution des prestations complémentaires indûment perçues; l'intimée a toutefois indiqué dans la décision sur opposition du 20 août 2004 que les conditions d'une remise de la créance en restitution n'étaient pas remplies. Par ailleurs, saisie d'un recours contre la décision sur opposition, la juridiction cantonale a étendu la procédure à la remise de l'obligation de restituer. Dans la mesure où l'intimée s'était déjà exprimée à ce sujet dans la procédure d'opposition, puis dans sa duplique du 23 décembre 2004 en instance cantonale, la procédure juridictionnelle pouvait, pour des motifs d'économie de procédure, être étendue à cette question étroitement liée à la restitution de prestations indûment perçues et qui était en état d'être jugée.
1.2 En l'espèce, la décision administrative du 10 mai 2004 portait exclusivement sur la restitution des prestations complémentaires indûment perçues; l'intimée a toutefois indiqué dans la décision sur opposition du 20 août 2004 que les conditions d'une remise de la créance en restitution n'étaient pas remplies. Par ailleurs, saisie d'un recours contre la décision sur opposition, la juridiction cantonale a étendu la procédure à la remise de l'obligation de restituer. Dans la mesure où l'intimée s'était déjà exprimée à ce sujet dans la procédure d'opposition, puis dans sa duplique du 23 décembre 2004 en instance cantonale, la procédure juridictionnelle pouvait, pour des motifs d'économie de procédure, être étendue à cette question étroitement liée à la restitution de prestations indûment perçues et qui était en état d'être jugée.
2. Le pouvoir d'examen du Tribunal fédéral des assurances n'est pas le même suivant que le procès concerne ou non l'octroi ou le refus de prestations d'assurance. Sont réputées prestations d'assurance au sens de l'art. 132 al. 1 OJ, les prestations dont on examine la légitimité lors de la survenance de l'éventualité assurée (<ref-ruling> consid. 1, 120 V 448 consid. 2a/bb). Selon une jurisprudence constante, cette notion comprend également la restitution de prestations indûment touchées (comme des rentes d'invalidité); en revanche, tel n'est pas le cas de la remise de l'obligation de restituer (<ref-ruling> consid. 1b et les références). Lorsque ces deux points doivent être examinés au cours de la même procédure, le pouvoir d'examen est en principe étendu conformément à l'art. 132 OJ en ce qui concerne l'obligation de restituer, tandis que, s'agissant de la question de la remise d'une telle obligation, les art. 104 let. a et 105 al. 2 OJ sont applicables (<ref-ruling> consid. 1, 98 V 276 consid. 3). En ce qui concerne la remise de l'obligation de restituer, le recours de droit administratif peut donc être formé uniquement pour violation du droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation (art. 104 let. a OJ); les faits pertinents constatés par les premiers juges ne peuvent être contestés que s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 104 let. b en corrélation avec l'art. 105 al. 2 OJ). En revanche, dans la procédure de recours portant sur la restitution de prestations indûment touchées, le pouvoir d'examen du Tribunal fédéral des assurances s'étend également à l'opportunité de la décision attaquée; le tribunal n'est alors pas lié par l'état de fait constaté par la juridiction inférieure, et il peut s'écarter des conclusions des parties à l'avantage ou au détriment de celles-ci (art. 132 OJ).
2. Le pouvoir d'examen du Tribunal fédéral des assurances n'est pas le même suivant que le procès concerne ou non l'octroi ou le refus de prestations d'assurance. Sont réputées prestations d'assurance au sens de l'art. 132 al. 1 OJ, les prestations dont on examine la légitimité lors de la survenance de l'éventualité assurée (<ref-ruling> consid. 1, 120 V 448 consid. 2a/bb). Selon une jurisprudence constante, cette notion comprend également la restitution de prestations indûment touchées (comme des rentes d'invalidité); en revanche, tel n'est pas le cas de la remise de l'obligation de restituer (<ref-ruling> consid. 1b et les références). Lorsque ces deux points doivent être examinés au cours de la même procédure, le pouvoir d'examen est en principe étendu conformément à l'art. 132 OJ en ce qui concerne l'obligation de restituer, tandis que, s'agissant de la question de la remise d'une telle obligation, les art. 104 let. a et 105 al. 2 OJ sont applicables (<ref-ruling> consid. 1, 98 V 276 consid. 3). En ce qui concerne la remise de l'obligation de restituer, le recours de droit administratif peut donc être formé uniquement pour violation du droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation (art. 104 let. a OJ); les faits pertinents constatés par les premiers juges ne peuvent être contestés que s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 104 let. b en corrélation avec l'art. 105 al. 2 OJ). En revanche, dans la procédure de recours portant sur la restitution de prestations indûment touchées, le pouvoir d'examen du Tribunal fédéral des assurances s'étend également à l'opportunité de la décision attaquée; le tribunal n'est alors pas lié par l'état de fait constaté par la juridiction inférieure, et il peut s'écarter des conclusions des parties à l'avantage ou au détriment de celles-ci (art. 132 OJ).
3. 3.1 Aux termes de l'art. 25 al. 1, première phrase, LPGA, les prestations indûment touchées doivent être restituées. Sont notamment soumis à l'obligation de restituer le bénéficiaire des prestations allouées indûment ou ses héritiers (<ref-law>). Comme par le passé, soit avant l'entrée en vigueur de cette loi au 1er janvier 2003, l'obligation de restituer suppose aujourd'hui encore, conformément à la jurisprudence rendue à propos de l'art. 47 al. 1 aLAVS ou de l'art. 95 aLACI (p. ex., <ref-ruling> consid. 1.1, 126 V 23 consid. 4b, 122 V 21 consid. 3a), que soient remplies les conditions d'une reconsidération ou d'une révision procédurale de la décision - formelle ou non - par laquelle les prestations en cause ont été allouées (<ref-ruling> consid. 5.2 et les références). En ce qui concerne plus particulièrement la révision, l'obligation de restituer des prestations complémentaires indûment touchées et son étendue dans le temps ne sont pas liées à une violation de l'obligation de renseigner (<ref-ruling> consid. 2e). Il s'agit simplement de rétablir l'ordre légal, après la découverte du fait nouveau.
3.2 Après le 1er août 2001, l'intimée a alloué des prestations complémentaires qui ont été calculées en fonction (notamment) des revenus réalisés par l'époux de la bénéficiaire à titre d'indépendant; elle ignorait alors que celui-ci avait abandonné son activité d'indépendant au profit d'un emploi salarié lui permettant de réaliser un salaire plus important que son bénéfice antérieur. Cette circonstance - changement d'activité lucrative du conjoint du bénéficiaire -, qui n'est venue à la connaissance de l'intimée qu'après le décès de feue M._, aurait dû être prise en compte pour fixer les prestations complémentaires. Dès lors qu'il s'agit d'un fait important de nature à conduire à une appréciation juridique différente, mais qui a été découvert après coup, on est en présence d'un motif de révision procédurale (<ref-ruling> consid. 2d et les arrêts cités). Dans ces circonstances, l'intimée était fondée, par ses décisions du 10 mai 2004, à nier à feue M._ tout droit à des prestations complémentaires du 1er août 2001 au 31 décembre 2003 et à réclamer à la succession de la prénommée les prestations perçues pendant cette période. L'obligation de restituer les prestations complémentaires ne dépend en l'espèce pas d'une violation de l'obligation de renseigner, mais il s'agit simplement de rétablir l'ordre légal, après la découverte d'un fait nouveau.
3.3 Le recourant soutient que la créance en remboursement de l'intimée - qui serait née avec la décision de restitution le 10 mai 2004, soit après le décès de la bénéficiaire - ne pourrait entrer dans la masse successorale, faute d'avoir existé à l'ouverture de la succession.
Cet argument n'apparaît pas fondé au regard de la jurisprudence du Tribunal fédéral des assurances, selon laquelle la dette de la personne tenue à restitution passe aux héritiers - sauf répudiation de la succession - au décès de cette dernière (<ref-ruling> consid. 3, 96 V 73 consid. 1), même lorsque l'administration n'a pas fait valoir la créance en restitution du vivant de la personne tenue à restitution (<ref-ruling> consid. 3 et l'arrêt cité). En effet, les droits et les obligations pécuniaires du de cujus qui ressortissent au droit public sont transmis aux héritiers avec le reste de son patrimoine; par conséquent, la dette en restitution du défunt devient une dette personnelle des héritiers. L'obligation de restitution du de cujus passe aux héritiers (à condition qu'ils acceptent la succession) même lorsqu'elle n'a pas encore fait l'objet d'une décision; il suffit pour cela que la dette découle d'un rapport de droit que l'assuré a créé de son vivant. En vertu du principe de l'universalité de la succession, les héritiers peuvent, même dans ce cas, être recherchés personnellement (RCC 1959 p. 402 consid. 2, 1970 p. 578 consid. 1). Dès lors que la créance en restitution porte sur des prestations versées (en trop) à la bénéficiaire pour la période allant d'août 2001 à décembre 2003 et relève d'un rapport de droit créé du vivant de celle-ci, l'obligation de restitution a passé au recourant, même si la décision y relative n'a été prise qu'après le décès de son épouse.
Cet argument n'apparaît pas fondé au regard de la jurisprudence du Tribunal fédéral des assurances, selon laquelle la dette de la personne tenue à restitution passe aux héritiers - sauf répudiation de la succession - au décès de cette dernière (<ref-ruling> consid. 3, 96 V 73 consid. 1), même lorsque l'administration n'a pas fait valoir la créance en restitution du vivant de la personne tenue à restitution (<ref-ruling> consid. 3 et l'arrêt cité). En effet, les droits et les obligations pécuniaires du de cujus qui ressortissent au droit public sont transmis aux héritiers avec le reste de son patrimoine; par conséquent, la dette en restitution du défunt devient une dette personnelle des héritiers. L'obligation de restitution du de cujus passe aux héritiers (à condition qu'ils acceptent la succession) même lorsqu'elle n'a pas encore fait l'objet d'une décision; il suffit pour cela que la dette découle d'un rapport de droit que l'assuré a créé de son vivant. En vertu du principe de l'universalité de la succession, les héritiers peuvent, même dans ce cas, être recherchés personnellement (RCC 1959 p. 402 consid. 2, 1970 p. 578 consid. 1). Dès lors que la créance en restitution porte sur des prestations versées (en trop) à la bénéficiaire pour la période allant d'août 2001 à décembre 2003 et relève d'un rapport de droit créé du vivant de celle-ci, l'obligation de restitution a passé au recourant, même si la décision y relative n'a été prise qu'après le décès de son épouse.
4. Il reste à examiner si la juridiction cantonale était fondée à nier l'existence de la bonne foi du recourant, en tant que l'une des conditions de la remise de l'obligation de restituer.
4.1 A cet égard, le jugement entrepris expose de manière exacte la jurisprudence qui définit la bonne foi en tant que condition de la remise, ainsi que le principe régissant l'obligation de renseigner sur tout changement dans la situation personnelle et toute modification sensible dans la situation matérielle du bénéficiaire de la prestation (<ref-law>).
On précisera que la remise de l'obligation de restituer doit être accordée aux héritiers s'ils étaient eux-mêmes de bonne foi et que la restitution les mette dans une situation difficile (<ref-ruling>; RCC 1970 p. 579 consid. 2 et les arrêts cités; cf. également <ref-ruling> consid. 4).
4.2 La juridiction cantonale a retenu en substance que bien que régulièrement informés du fait qu'ils devaient renseigner l'administration sur tout changement intervenant dans leur situation matérielle et personnelle - notamment par le biais de notices accompagnant toutes les décisions rendues en matière de PC -, les époux L._ n'ont pas signalé à l'organe compétent le changement du statut professionnel du recourant à partir du 1er août 2001. En ne renseignant pas à temps l'administration, le recourant a, selon l'autorité cantonale de recours, violé son obligation d'annoncer toute modification dans sa situation matérielle ou personnelle et, partant, commis une négligence grave; ce d'autant plus qu'il n'a pas présenté spontanément à l'administration l'intégralité des documents relatifs à sa situation financière, mais plutôt tenté de la cacher à l'organe compétent.
Le recourant conteste avoir été soumis à un devoir de renseigner l'administration, dès lors qu'il n'était pas le bénéficiaire (direct) des prestations. Seule sa défunte épouse était obligée de renseigner l'organe compétent en vertu de l'<ref-law>, de sorte qu'on ne saurait lui reprocher le non-respect de ce devoir. Le recourant critique également la constatation des faits à laquelle a procédé la juridiction cantonale, en ce qu'il ne serait nullement établi et même contraire à la réalité qu'il ait voulu cacher des informations à l'administration.
4.3 En l'espèce, il ressort des pièces du dossier que depuis le dépôt de la demande de prestations complémentaires en octobre 1999, c'est avant tout le recourant qui s'est occupé de renseigner régulièrement l'autorité compétente sur les revenus et la fortune du couple lorsqu'elle en faisait la demande et de traiter avec elle s'agissant des modalités du calcul et du versement des prestations allouées à M._. Ainsi, s'est-il adressé à l'autorité compétente en septembre 1995 pour «s'étonner» de n'avoir pas reçu les prestations complémentaires (rapport de situation du 14 septembre 1995 établi par le service des assurances sociales Y._). En juin 1998, il a fait parvenir à l'autorité compétente les informations relatives à ses revenus, ainsi que ceux de son épouse (courrier du 15 juin 1998), après que l'administration lui en avait fait la demande. C'est à lui également que l'agence communale d'assurances sociales s'est adressée pour requérir les documents relatifs à la pension alimentaire versée à son ex-épouse.
Compte tenu des contacts réguliers et presque exclusifs que l'administration a eus avec le recourant en ce qui concerne les prestations complémentaires dont a bénéficié sa femme, il y a lieu de retenir que le recourant s'est présenté aux yeux de l'autorité compétente comme le représentant de son épouse. Aussi, était-il tenu en cette qualité d'informer l'administration de toute modification survenue dans sa situation financière (ou celle de son épouse). Par ailleurs, le recourant savait, vu les demandes de renseignement de l'administration qui lui étaient directement adressées à ce sujet et les documents qu'il lui a fournis au fur et à mesure, que l'étendue de ses revenus étaient déterminants pour le calcul des prestations versées à son épouse. Partant, il ne pouvait ignorer l'importance d'une modification de ses revenus pour l'allocation des prestations, et on pouvait attendre de lui qu'il déclare l'augmentation - très importante, puisque le revenu du recourant avait plus que doublé pour atteindre un montant annuel supérieur à 60'000 fr. - de ses revenus liés à sa nouvelle activité salariée débutée en août 2001. L'omission d'en informer l'autorité compétente relève dès lors, sinon d'un comportement dolosif comme l'a retenu la juridiction cantonale, pour le moins d'une négligence grave.
Par conséquent, la bonne foi du recourant au sens de l'<ref-law> doit être niée, ce qui suffit pour exclure la remise de l'obligation de restituer.
Par conséquent, la bonne foi du recourant au sens de l'<ref-law> doit être niée, ce qui suffit pour exclure la remise de l'obligation de restituer.
5. La présente procédure, qui a pour objet tant la restitution de prestations d'assurance que la remise de l'obligation de restituer celles-ci, est gratuite (comp. RJAM 1981 n° 445 p. 78). Le recourant, qui succombe, n'a pas droit à des dépens (art. 159 al. 1 en corrélation avec l'art. 135 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice. L'avance de frais versée par le recourant, d'un montant de 1'800 fr., lui est restituée.
2. Il n'est pas perçu de frais de justice. L'avance de frais versée par le recourant, d'un montant de 1'800 fr., lui est restituée.
3. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 14 novembre 2006
Au nom du Tribunal fédéral des assurances
La Juge présidant la IVe Chambre: La Greffière: