Faits:
A.
A.a. C._, né en 1961, a travaillé pour le compte de Y._. A ce titre, il était affilié auprès de la Fondation de prévoyance Z._.
Souffrant de problèmes lombaires, il s'est vu octroyer par l'Office de l'assurance-invalidité pour le canton de Vaud (ci-après: l'office AI) une rente entière d'invalidité fondée sur un degré d'invalidité de 90 % à compter du 1 er mai 2002 (décision du 25 novembre 2002). De son côté, la Fondation de prévoyance Z._ l'a mis au bénéfice d'une rente entière d'invalidité à partir du 1er août 2002 (communication du 30 août 2002).
A.b. Le 18 octobre 2005, la Fondation de prévoyance Z._ a requis de l'office AI une copie du dossier de l'assuré. Des documents fournis, il ressortait que C._ avait progressivement repris une activité de psychiatre à titre indépendant et à temps partiel.
Par courriers des 3 mai et 24 octobre 2006, la Fondation de prévoyance Z._ a informé C._ qu'elle mettait un terme provisoire au versement de sa rente d'invalidité à partir du 1 er mai 2006. Entre-temps, l'office AI a supprimé la rente entière d'invalidité versée jusqu'ici à l'intéressé avec effet au 1er juillet 2006, au motif que l'incapacité de travail n'était plus que de 20 % dans l'activité de psychiatre (décision du 1 er mai 2006).
A.c. Par courrier du 26 février 2007, la Fondation de prévoyance Z._ a réclamé à l'assuré le remboursement de la somme de 103'233 fr. (y compris les intérêts moratoires), dont 26'442 fr. correspondaient à une demi-rente perçue indûment pour la période du 1er janvier au 31 décembre 2004, 52'884 fr. correspondaient à une rente entière perçue indûment pour la période du 1er janvier au 31 décembre 2005 et 17'628 fr. correspondaient à une rente entière perçue indûment pour la période du 1er janvier au 30 avril 2006. Le 1er juin 2007, elle a fait notifier à l'intéressé un commandement de payer du même montant plus intérêts à 5 % l'an dès le 29 mars 2007 (poursuite n o xxx), auquel l'assuré a formé opposition totale le jour même.
B.
Par demande du 4 décembre 2007, la Fondation de prévoyance Z._ a ouvert action contre C._ devant le Tribunal des assurances du canton de Vaud (aujourd'hui: la Cour des assurances sociales du Tribunal cantonal du canton de Vaud) en réclamant la restitution des prestations versées à tort pendant la période du 1er janvier 2004 au 30 avril 2006. Par jugement partiel du 10 juin 2010, le Tribunal cantonal a considéré que les créances litigieuses nées avant le 29 mars 2006 étaient prescrites. Par arrêt 9C_611/2010 du 15 décembre 2010, le Tribunal fédéral a jugé que les créances litigieuses n'étaient pas prescrites; il a renvoyé la cause au Tribunal cantonal pour qu'il se prononce sur les autres conditions matérielles du droit au remboursement des prestations indûment touchées et rende une nouvelle décision.
Reprenant le traitement du dossier, le Tribunal cantonal a procédé à un nouvel échange d'écritures. Par jugement du 6 novembre 2012, il a reconnu l'obligation de C._ de restituer la somme de 96'954 fr., correspondant aux prestations indûment perçues sans les intérêts moratoires réclamés par l'institution de prévoyance, et levé l'opposition formée par l'assuré au commandement de payer qui lui a été notifié dans la poursuite no xxx à concurrence du même montant.
C.
C._ interjette un recours "en matière de droit public et constitutionnel subsidiaire" contre ce jugement. Sous suite de frais et dépens, il conclut principalement à sa réforme en ce sens que la demande déposée le 4 décembre 2007 par la Fondation de prévoyance Z._ est rejetée et qu'il n'est pas tenu de restituer la somme de 96'954 fr. réclamée. Subsidiairement, il requiert l'annulation du jugement entrepris et le renvoi de la cause à la juridiction cantonale pour nouvelle instruction et/ou décision "dans le sens des considérants".

Considérant en droit:
1.
Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 2.4 p. 313; <ref-ruling> consid 8.1 p. 153) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). La violation peut consister en un état de fait incomplet, car l'autorité précédente viole le droit matériel en n'établissant pas tous les faits pertinents pour l'application de celui-ci (<ref-ruling> consid. 4.3 p. 62). La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. A défaut d'une telle motivation, il n'est pas possible de prendre en considération un état de fait qui diverge de celui contenu dans la décision attaquée, ni des faits qui n'y sont pas contenus (<ref-ruling> consid. 1.2 p. 187; <ref-ruling> consid. 1.4 et 6.2 p. 287 s.).
2.
2.1. En instance fédérale, compte tenu des conclusions du recours et du dispositif du jugement entrepris, le litige porte sur l'obligation du recourant de restituer la somme de 96'954 fr. au titre de prestations indûment touchées pendant la période du 1er janvier 2004 au 30 avril 2006.
2.2. Le jugement entrepris expose correctement les dispositions légales et réglementaires relatives à la restitution des prestations (en particulier les <ref-law> et 7.6 du Règlement de la Fondation de prévoyance Z._), ainsi que la jurisprudence applicable en l'espèce, si bien qu'il suffit d'y renvoyer.
3.
Le recourant critique en premier lieu la solution retenue par le Tribunal fédéral dans son arrêt 9C_611/2010 du 15 septembre 2010 en ce qui concerne la question de la prescription de la créance en restitution des prestations indûment perçues pour la période du 1er janvier 2004 au 30 avril 2006, en particulier le point de départ du délai de prescription/ péremption de l'<ref-law>. La question de la péremption/ prescription de la créance litigieuse a déjà été jugée par le Tribunal fédéral, de sorte qu'il n'y a pas lieu d'y revenir. En effet, selon l'<ref-law>, les arrêts du Tribunal fédéral entrent en force dès leur prononcé. Cela signifie qu'ils sont définitifs. Ils lient non seulement la juridiction cantonale et les parties, mais également le Tribunal fédéral saisi d'un recours contre la nouvelle décision rendue par l'autorité précédente à la suite d'un arrêt de renvoi, comme en l'espèce (cf. <ref-ruling> consid. 2a). Dans la mesure où le recourant ne fait valoir aucun motif de révision au sens des art. 121 et 123 LTF, sa demande de réexamen doit être rejetée.
4.
4.1. Les premiers juges ont retenu que les prestations d'invalidité dont l'intimée réclame la restitution avaient été versées à tort compte tenu de l'amélioration progressive du taux d'invalidité de l'assuré pendant la période litigieuse.
Le recourant conteste ce point de vue. Il reproche aux premiers juges d'avoir interprété de façon trop large la notion de prestations indûment touchées au sens de l'<ref-law>. Il invoque notamment le fait que l'office AI n'a procédé à aucune suppression rétroactive comme l'y autorise pourtant l'<ref-law>.
4.2. En l'occurrence, compte tenu de l'amélioration du taux d'invalidité de l'assuré pendant la période du 1er janvier 2004 au 30 avril 2006 telle qu'elle a été évaluée par l'intimée et qui n'est pas contestée par le recourant, il n'y a pas lieu de s'écarter des constatations des premiers juges selon lesquelles les prestations dont l'intimée sollicite la restitution ont été versées indûment. Contrairement à ce que semble croire le recourant, le fait que l'office AI n'a pas pu supprimer la rente d'invalidité avec effet rétroactif faute de violation du devoir d'information à son égard ne remet pas en cause le caractère indu des montants perçus durant la période litigieuse (cf. pour comparaison l'arrêt 9C_1040/2012 du 30 avril 2013 consid. 5.2). Le recourant reproche également à l'intimée d'avoir procédé elle-même à l'évaluation de l'invalidité. Sur ce point, il convient de renvoyer le recourant au jugement entrepris qui expose correctement les raisons pour lesquelles l'institution de prévoyance était légitimée à effectuer cette appréciation. Le fait de permettre à l'institution de prévoyance d'attendre qu'une décision soit rendue dans la procédure de révision de l'assurance-invalidité avant de faire courir le délai de prescription/ péremption pour réclamer les prestations indûment touchées - comme l'a retenu le Tribunal fédéral dans son arrêt 9C_611/2010 (déjà cité) - ne signifie pas pour autant que l'institution de prévoyance ne devra pas dans certains cas procéder de son propre chef à l'évaluation du degré d'invalidité.
4.3. En ce qui concerne les conditions liées à une éventuelle remise de l'obligation de restituer, les premiers juges ont retenu que le recourant avait commis une négligence grave excluant toute bonne foi en omettant de communiquer directement à l'intimée la reprise d'une activité lucrative en qualité de psychiatre indépendant, tout en continuant à percevoir des prestations de la prévoyance professionnelle. Quoi qu'en dise le recourant, les premiers juges n'ont pas violé le droit fédéral en concluant à l'absence de bonne foi et leur appréciation de la situation qui les a conduits à retenir une négligence grave n'apparaît pas arbitraire ou autrement contraire au droit. Le fait d'avoir informé l'office AI de la reprise d'une activité lucrative ne dispensait pas le recourant de son devoir de renseigner également l'intimée à ce sujet. Il ne pouvait pas non plus partir de l'idée que les deux organismes communiquaient entre eux et que cet élément le libérait de son devoir d'information à l'égard de la fondation de prévoyance. Comme l'ont retenu à juste titre les premiers juges, le recourant avait été rendu attentif au fait qu'il devait immédiatement signaler à l'intimée toute modification de son degré d'invalidité qui surviendrait d'ici à la prochaine révision de la rente versée par l'assurance-invalidité (cf. communication du 30 août 2002). Contrairement à ce qu'il soutient, l'intimée n'était pas tenue de lui rappeler régulièrement son obligation de l'informer de tout changement de sa situation. Le recourant allègue qu'en raison de ses troubles d'ordre physique et psychique, ainsi que de la médication «excessive» qu'il prenait pour conserver une aptitude résiduelle de travail, il était dans l'impossibilité de régler ses problèmes de nature administrative. Cet argument n'est d'aucun secours au recourant. En effet, dès lors qu'il continuait d'exploiter son cabinet de psychiatre indépendant, il convient d'admettre qu'il était tout à fait capable de fournir les informations nécessaires à l'intimée. Enfin, dans la mesure où le critère de la bonne foi n'était pas réalisé, les premiers juges n'avaient pas à examiner si la restitution des prestations indûment perçues était susceptible de placer l'assuré dans une situation difficile, les conditions de l'<ref-law> étant cumulatives.
5.
Compte tenu de ce qui précède, le recours se révèle mal fondé et doit être rejeté.
6.
Vu l'issue de la procédure, les frais y afférents seront supportés par le recourant, qui ne peut prétendre des dépens (art. 66 al. 1 et 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 9 octobre 2013
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant: Meyer
La Greffière: Reichen