Faits :
A.
A.a. A._, né en 1977, était associé de la société en nom collectif C._. Il a requis son affiliation à titre de personne exerçant une activité lucrative indépendante auprès de la Caisse cantonale vaudoise de compensation AVS (ci-après: la caisse de compensation) à compter du 1 er mai 2002.
Les 16 juin 2003, 15 mars 2004, 14 mars 2005, 14 mars 2006, 14 mars 2007 et 14 mars 2008, la caisse de compensation a, en se fondant sur un revenu annuel annoncé de 72'000 fr., fixé provisoirement le montant des cotisations sociales à la charge de A._ pour chacune des années en cause. En date du 31 décembre 2007, l'intéressé a définitivement cessé son activité indépendante. Le 14 avril 2008, la caisse de compensation a rendu un décompte final des cotisations dues, précisant qu'il s'agissant d'une taxation provisoire "dans l'attente des éléments fiscaux".
A.b. Le 16 novembre 2018, l'autorité fiscale cantonale a informé la caisse de compensation que A._ avait réalisé un revenu de 144'343 fr. en 2005 (capital investi: 29'518 fr.), de 187'605 fr. en 2006 (capital investi: 37'703 fr.) et de 546'442 fr. en 2007 (capital investi: 285'542 fr.). Par décisions séparées du 23 septembre 2019, confirmées sur opposition le 17 octobre 2019, la caisse de compensation a réclamé à A._ un montant supplémentaire de 63'985 fr. 05 correspondant à l'arriéré des cotisations sociales dues pour la période du 1 er janvier 2005 au 31 décembre 2007, avec des frais d'administration, ainsi qu'un montant de 35'610 fr. 20 à titre d'intérêts moratoires.
B.
L'assuré a déféré la décision sur opposition du 17 octobre 2019 à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et produit les décisions de taxation et calcul de l'impôt de l'Office d'impôt du district D._ des 16 avril 2008 (pour l'année 2005), 1er septembre 2008 (pour l'année 2006) et 13 juillet 2009 (pour l'année 2007), ainsi que notamment l'avis d'ouverture d'une procédure pour rappel et soustraction d'impôts du 10 mai 2012. Le Tribunal cantonal a rejeté le recours et confirmé la décision sur opposition par arrêt du 18 mai 2020.
C.
A._ forme un recours en matière de droit public contre cet arrêt dont il demande la réforme en ce sens que :
"- Les cotisations AVS dues pour les années 2005, 2006 et 2007 sur la base des décisions de taxation de M. A._ des 16 avril 2008, 1er septembre 2008 et 13 juillet 2009 entrées en force dans le délai de trente jours dès leur notification sont prescrites de même que les intérêts moratoires qui y sont liés.
- Le solde des cotisations AVS à percevoir sur la différence résultant du réexamen par les autorités fiscales des éléments imposables pour les années fiscales 2005, 2006 et 2007 et ressortant des courriers de l'administration cantonale des impôts du 15 novembre 2018 d'un montant de CHF 2970 peut être facturé à M. A._."
La caisse de compensation conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales renonce à se déterminer.
A._ dépose une écriture complémentaire le 1er octobre 2020.
Considérant en droit :
1.
Le recours en matière de droit public peut être formé notamment pour violation du droit fédéral (art. 95 let. a LTF), que le Tribunal fédéral applique d'office (art. 106 al. 1 LTF), n'étant limité ni par les arguments de la partie recourante, ni par la motivation de l'autorité précédente. Le Tribunal fédéral fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF), sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
2.
Des mesures probatoires devant le Tribunal fédéral (art. 55 LTF) ne sont qu'exceptionnellement ordonnées dans une procédure de recours (ATF 136 II 101 consid. 2), dès lors que le Tribunal fédéral statue et conduit en principe son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne sera dès lors pas donné suite aux mesures d'instruction requises par le recourant, telles que sa demande tendant à la production des échanges entre les autorités fiscales et la caisse de compensation. L'autorité précédente a par ailleurs déposé son dossier au Tribunal fédéral en application de l'art. 102 al. 2 LTF, qui contient cet échange de correspondances. Si le recourant entendait prendre connaissance de ces pièces, il lui était donc loisible de requérir leur consultation en instance cantonale.
3.
3.1. Le litige porte en instance fédérale sur le point de savoir si la caisse de compensation peut réclamer au recourant le solde des cotisations sociales dues pour les années 2005 à 2007, ainsi que le paiement d'intérêts moratoires. Il s'agit singulièrement de savoir si les créances de cotisations afférentes à la période du 1 er janvier 2005 au 31 décembre 2007 sont périmées. A ce propos, l'arrêt entrepris expose de manière complète les dispositions légales applicables, dont l'art. 16 al. 1 LAVS (en lien avec les art. 24 al. 1 LPGA [RS 830.1] et 39 RAVS [RS 831.101]). Selon cette disposition, dans sa version en vigueur depuis le 1er janvier 2012, les cotisations dont le montant n'a pas été fixé par voie de décision dans un délai de cinq ans à compter de la fin de l'année civile pour laquelle elles sont dues ne peuvent plus être exigées ni versées. S'il s'agit de cotisations visées aux art. 6 al. 1, 8 al. 1 et 10 al. 1 LAVS, le délai n'échoit toutefois, en dérogation à l'art. 24 al. 1 LPGA, qu'un an après la fin de l'année civile au cours de laquelle la taxation fiscale déterminante est entrée en force. Si le droit de réclamer des cotisations non versées naît d'un acte punissable pour lequel la loi pénale prévoit un délai de prescription plus long, ce délai est déterminant.
3.2. On ajoutera aux considérations cantonales que le délai institué par l'art. 16 al. 1, 2e phrase, LAVS est un délai de péremption, et non pas de prescription (ATF 115 V 183 consid. 2b et les références; voir aussi ATF 129 V 345 consid. 4.2.2), en ce sens que l'organisme d'assurance qui subit un dommage est déchu du droit d'exiger la réparation de celui-ci s'il n'agit pas dans le délai fixé. Ce délai n'est en principe susceptible d'aucune interruption ni prolongation (à ce sujet, voir ATF 136 II 187 consid. 6; 133 V 14 consid. 6).
3.3. L'art. 14 LAVS concerne le prélèvement de cotisations par les caisses de compensation. A teneur de cette disposition, les cotisations perçues sur le revenu provenant de l'exercice d'une activité indépendante, les cotisations des assurés n'exerçant aucune activité lucrative et celles des assurés dont l'employeur n'est pas tenu de payer des cotisations sont déterminées et versées périodiquement. Le Conseil fédéral fixera les périodes de calcul et de cotisations (art. 14 al. 2 LAVS). Le Conseil fédéral édicte des dispositions sur le paiement a posteriori de cotisations non versées (art. 14 al. 4 let. c LAVS).
En vertu de cette délégation de compétence, le Conseil fédéral a adopté l'art. 39 al. 1 RAVS, selon lequel si une caisse de compensation a connaissance du fait qu'une personne soumise à l'obligation de payer des cotisations n'a pas payé de cotisations ou n'en a payé que pour un montant inférieur à celui qui était dû, elle doit réclamer, au besoin par décision, le paiement des cotisations dues; la prescription selon l'art. 16 al. 1 LAVS est réservée.
3.4. Dans le cadre de la fixation des cotisations des assurés, le législateur a par ailleurs confié aux autorités fiscales cantonales le soin de déterminer le revenu provenant d'une activité indépendante et le capital propre engagé dans l'entreprise (art. 9 al. 3 LAVS et 27 RAVS; voir arrêt 9C_179/2007 du 7 novembre 2007 consid. 4.2).
Ainsi, en vertu de l'art. 23 RAVS, pour établir le revenu déterminant, les autorités fiscales cantonales se fondent sur la taxation passée en force de l'impôt fédéral direct. Elles tirent le capital propre engagé dans l'entreprise de la taxation passée en force de l'impôt cantonal adaptée aux valeurs de répartition intercantonales (al. 1). En l'absence d'une taxation passée en force de l'impôt fédéral direct, les données fiscales déterminantes sont tirées de la taxation passée en force de l'impôt cantonal sur le revenu ou, à défaut, de la déclaration vérifiée relative à l'impôt fédéral direct (al. 2). Si l'autorité fiscale procède à une taxation fiscale consécutive à une procédure en soustraction d'impôts, les al. 1 et 2 sont applicables par analogie (al. 3). Les caisses de compensation sont liées par les données des autorités fiscales cantonales (al. 4). Si les autorités fiscales cantonales ne peuvent pas communiquer le revenu, les caisses de compensation estimeront le revenu déterminant pour fixer les cotisations et le capital propre engagé dans l'entreprise sur la base des données dont elles disposent. Les personnes tenues de payer des cotisations doivent renseigner les caisses de compensation et, sur demande, produire toutes les pièces utiles (al. 5).
4.
4.1. La juridiction cantonale a retenu que la caisse de compensation avait réclamé à juste titre au recourant l'arriéré de cotisations sociales dues sur l'ensemble des revenus des années 2005 à 2007. La procédure de rappel d'impôts portait en effet sur l'ensemble des revenus du recourant pour cette période, annulant et remplaçant de facto les décisions de taxation rendues en 2008 et 2009. Ce n'était dès lors qu'à partir de la communication par l'autorité fiscale des taxations définitives en novembre 2018 que la caisse de compensation avait été en mesure de réclamer, conformément à l'art. 39 RAVS, l'arriéré des cotisations sociales dues. Le recourant admettait par ailleurs la réalisation des conditions d'une révision (procédurale) au sens de l'art. 53 al. 1 LPGA. Dans la même logique, dès lors qu'elle était fondée à réclamer les cotisations sociales sur l'ensemble des revenus du recourant des années 2005 à 2007, la juridiction cantonale a considéré que c'est à bon droit que la caisse de compensation avait facturé des intérêts moratoires.
4.2. Invoquant un établissement inexact des faits et une violation du droit fédéral, ainsi qu'un abus de droit, le recourant reproche tout d'abord à la juridiction cantonale d'avoir méconnu le fait que les décisions de taxation définitives portant sur les années 2005 à 2007 avaient été rendues par l'autorité fiscale compétente les 16 avril 2008, 1 er septembre 2008 et 13 juillet 2009. Le délai d'un an après la fin de l'année civile au cours de laquelle la taxation fiscale déterminante est entrée en force (au sens de l'art. 16 al. 1 LAVS) était dès lors largement échu en 2019. Il soutient ensuite que la caisse de compensation ne pouvait pas se prévaloir du fait qu'elle n'avait pas reçu les taxations définitives des années 2005 à 2007 de la part de l'autorité fiscale cantonale compétente. Il n'avait en effet pas à supporter les conséquences de la passivité (respectivement de la négligence) de la caisse de compensation ou du non-respect par l'autorité fiscale cantonale de son obligation de communiquer les informations fiscales pertinentes (au sens de l'art. 27 al. 2 RAVS). Qui plus est, la caisse de compensation commettrait un abus de droit en invoquant la procédure de réexamen fiscal pour taxer des éléments de revenus qui lui étaient déjà connus en 2008. La caisse de compensation disposait en effet de tous les éléments permettant de rendre une décision définitive dès le 27 mars 2008 et au plus tard à fin 2009. "Dans le pire des cas", le recourant requiert que les cotisations sociales ne portent que sur les éléments nouveaux ressortant de la procédure de réexamen fiscal. A ce défaut, cela conduirait, de manière injuste et choquante, à la perception d'intérêts moratoires en raison du seul manquement de l'autorité fiscale.
5.
5.1. C'est tout d'abord en vain que le recourant soutient que la caisse de compensation a commis un abus de droit en rendant la décision de cotisations AVS le 23 septembre 2019, alors qu'elle disposait depuis 2008 des comptes de la société en nom collectif C._ des années 2005, 2006 et 2007. Dans le cadre de la fixation des cotisations des assurés exerçant une activité lucrative indépendante, le législateur a expressément confié aux autorités fiscales cantonales le soin de déterminer le revenu provenant d'une activité indépendante et le capital propre engagé dans l'entreprise conformément aux art. 9 al. 3 LAVS et 23 RAVS (supra consid. 3.4). Il s'ensuit que les caisses de compensation sont liées, en principe, par les données communiquées par les autorités fiscales cantonales pour fixer les cotisations dues pour l'année de cotisation (art. 23 al. 4 et 27 al. 2 RAVS). N'ayant aucun moyen de contraindre les autorités fiscales à prendre rapidement une décision, la caisse de compensation intimée n'était par conséquent pas tenue d'entreprendre quelque démarche que ce soit auprès de celles-ci (voir arrêt 9C_179/2007 précité consid. 4.2; cf. aussi arrêt 9C_491/2013 du 5 février 2014 consid. 3.2). On ne saurait dès lors reprocher à l'intimée de s'en être tenue aux communications effectives de l'autorité fiscale.
5.2. Compte tenu des particularités de la procédure de cotisations AVS des indépendants (supra consid. 3.3 et 3.4), le législateur a ensuite posé à l'art. 16 al. 1, 2e phrase, LAVS une règle spécifique en matière de péremption qui s'écarte des règles générales de l'art. 24 al. 1 LPGA. Lorsque les cotisations perçues sur le revenu proviennent d'une activité indépendante (art. 8 al. 1 LAVS), le délai de péremption n'échoit en principe qu'un an après la fin de l'année civile au cours de laquelle la taxation fiscale déterminante est entrée en force (art. 16 al. 1, 2e phrase, LAVS). En choisissant comme point de départ du délai de péremption la fin de l'année civile au cours de laquelle la taxation fiscale déterminante est entrée en force, et non pas le moment effectif de la connaissance du dommage, le législateur a choisi explicitement de faire supporter à l'organisme d'assurance tout retard dans la communication par l'autorité fiscale cantonale de la taxation fiscale déterminante entrée en force.
A l'inverse de ce que soutient le recourant, l'art. 16 al. 1 LAVS s'applique ensuite également à la situation dans laquelle une procédure pour soustraction fiscale a été mise en oeuvre (au sens des art. 175 ss de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct [LIFD; RS 642.11]). Si des cotisations doivent être prélevées sur un revenu taxé dans une procédure en soustraction d'impôts, le délai d'un an de l'art. 16 al. 1, 2e phrase, LAVS ne prend naissance qu'après la fin de l'année civile au cours de laquelle la taxation fiscale déterminante est entrée en force. A cet égard, le Tribunal fédéral a précisé que les modifications de l'art. 16 al. 1, 2e phrase, LAVS, entrées en vigueur le 1er janvier 2012, n'ont pas apporté de modification substantielle par rapport à l'ancien droit. Si l'ancien art. 16 al. 1, 2e phrase, LAVS faisait expressément référence à "la taxation fiscale déterminante ou [à] la taxation consécutive à une procédure pour soustraction d'impôts", la nouvelle réglementation qui ne contient plus que l'expression "taxation fiscale déterminante" apporte exclusivement une simplification rédactionnelle (arrêt 9C_736/2018 du 5 décembre 2018 consid. 2). La jurisprudence rendue concernant la taxation consécutive à une procédure pour soustraction d'impôts, qui était auparavant expressément mentionnée dans l'énoncé de l'art. 16 al. 1, 2e phrase, LAVS, garde par conséquent toute sa valeur. L'organisme d'assurance est censé suffisamment connaître son dommage après la fin de l'année civile au cours de laquelle la taxation fiscale déterminante est entrée en force, y compris la taxation consécutive à une procédure pour soustraction d'impôts.
5.3. Dès lors que les taxations fiscales des 16 avril 2008 (pour l'année 2005), 1er septembre 2008 (pour l'année 2006) et 13 juillet 2009 (pour l'année 2007) reposaient sur des données incomplètes, de sorte qu'une reprise d'impôts a eu lieu postérieurement, le point de départ du délai de péremption d'un an au sens de l'art. 16 al. 1, 2e phrase, LAVS est reporté à la fin de l'année civile au cours de laquelle la taxation fiscale consécutive à la procédure pour soustraction d'impôts est entrée en force. Selon les faits constatés par la juridiction cantonale, qui lient le Tribunal fédéral, il s'agit de la fin de l'année 2018. En réclamant le solde des cotisations sociales dues le 23 septembre 2019, la caisse de compensation intimée a par conséquent agi dans le délai d'un an après la fin de l'année civile au cours de laquelle la taxation fiscale déterminante est entrée en force (art. 16 al. 1, 2e phrase, LAVS). Les cotisations arriérées réclamées par la caisse de compensation ne sont pas frappées de péremption. Les griefs du recourant doivent être rejetés.
6.
C'est finalement en vain que le recourant se plaint de la perception d'un intérêt moratoire. L'intérêt moratoire n'a pas le caractère d'une sanction ou d'une pénalité; sa justification réside dans la perte d'intérêts que subit le créancier et le gain que réalise le débiteur. Dans la mesure où le recourant a déclaré à la caisse de compensation un revenu (de 72'000 fr.) sensiblement inférieur à celui qu'il percevait en réalité (144'343 fr. en 2005, 187'605 fr. en 2006 et 546'442 fr. en 2007), il doit payer des intérêts moratoires sur les cotisations arriérées réclamées dès le 1 er janvier qui suit la fin de l'année civile pour laquelle les cotisations sont dues (art. 41 bis al. 1 let. b RAVS). Dans la décision du 14 avril 2008, la caisse de compensation a du reste précisé qu'elle procédait à une taxation des cotisations sociales dans l'attente des éléments fiscaux et indiqué expressément, dans les documents annexés à la décision, qu'elle réservait une rectification ultérieure sur la base de la communication fiscale.
7.
Mal fondé, le recours est rejeté. Les frais de la procédure sont mis à la charge du recourant (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 4500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 24 juin 2021
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Bleicker