Faits :
A.
En 2001 et 2002, A._ exerçait en Suisse une activité lucrative indépendante sous forme de raison individuelle consistant principalement dans la gestion de deux hôtels. A ce titre, il était affilié à HOTELA Caisse de Compensation AVS (ci-après: HOTELA ou la caisse de compensation). A la même époque, il était l'un des associés d'une société en commandite allemande active dans le domaine immobilier.
Se basant sur une communication du 23 septembre 2004 de l'Office d'impôt du district de U._, HOTELA a fixé les cotisations AVS/AI/APG dues par l'intéressé pour les périodes du 1 er janvier au 31 décembre 2001, du 1 er janvier au 31 mai 2002 et du 1 er juin au 31 décembre 2002 (décisions du 8 novembre 2004 confirmée sur opposition le 16 février 2005).
B.
B.a. Saisi d'un recours déposé le 18 mars 2005 par A._, qui sollicitait en substance la rectification du capital propre investi retenu dans la décision litigieuse et, partant, la rectification de celle-ci, le Tribunal des assurances du canton de Vaud (aujourd'hui: la Cour des assurances sociales du Tribunal cantonal du canton de Vaud) l'a rejeté par jugement du 12 juin 2006. Saisi à son tour d'un recours de l'intéressé, le Tribunal fédéral l'a partiellement admis, a annulé le jugement du 12 juin 2006 et renvoyé la cause au tribunal de première instance pour instruction complémentaire au sens des considérants (vérification de la quotité du capital propre engagé dans l'entreprise par un examen préalable des données fiscales) et nouveau jugement (arrêt H 177/06 du 28 septembre 2007).
B.b. La juridiction cantonale a complété l'instruction et rendu un nouveau jugement le 29 octobre 2015. Elle a partiellement admis le recours du 18 mars 2005 et réformé la décision sur opposition du 16 février 2005, en ce sens que le montant dû par A._ pour la période du 1 er juin au 31 décembre 2002 s'élevait, frais administratifs compris, à 246'336 fr. 95, le recours ayant été rejeté pour le surplus.
C.
L'intéressé interjette un recours en matière de droit public contre le jugement cantonal dont il demande l'annulation partielle. En substance, il conclut à la confirmation dudit jugement pour ce qui est des cotisations dues pour la période du 1 er juin au 31 décembre 2002, mais demande à ce que la cause soit renvoyée au tribunal cantonal afin qu'il constate que les cotisations dues pour les périodes du 1 er janvier au 31 décembre 2001 ainsi que du 1 er janvier au 31 mai 2002 sont périmées et que, pour cette même raison, la caisse de compensation n'a pas droit à des intérêts moratoires.
Invitée à se prononcer sur le recours, HOTELA propose de le rejeter. La juridiction cantonale et l'Office fédéral des assurances sociales ont renoncé à se déterminer.
A._ a déposé de nouvelles observations en date du 15 avril 2016.
Considérant en droit :
1.
1.1. Le Tribunal fédéral examine d'office et librement les conditions de recevabilité du recours, sans égard aux conclusions ou aux arguments des parties. Il vérifie de même si les conditions de recevabilité étaient réunies devant l'instance précédente et si, partant, c'est à bon droit que celle-ci est entrée en matière (ATF 142 V 2 consid. 1 p. 3 et la référence).
1.2. En principe, l'objet d'une demande en justice ne peut porter que sur des questions juridiques actuelles dont les conséquences touchent concrètement le justiciable. Il est cependant admis qu'une autorité puisse rendre une décision en constatation si le requérant a un intérêt digne de protection à la constatation immédiate d'un rapport de droit litigieux (art. 49 al. 2 LPGA; voir aussi ATF 142 V 2 consid. 1.1 p. 4 et les références).
1.3. Malgré leur formulation quelque peu confuse, on peut déduire des conclusions contenues dans le recours, interprétées à la lumière de la motivation du recours (cf. arrêt 4A_375/2012 du 20 novembre 2012 consid. 1.2 non publié dans l'ATF 139 III 24), que le recourant conteste devoir les cotisations AVS/AI/APG correspondant à la période du 1 er janvier 2001 au 31 mai 2002 pour cause de péremption. Il ne critique pas le calcul de ces cotisations; il précise avoir déjà présenté ces conclusions en première instance. A proprement parler, ces conclusions ne sont pas de nature constatatoire mais plutôt cassatoire, elles sont donc recevables.
2.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération.
3.
3.1. Le litige porte sur le paiement des cotisations AVS/AI/APG pour la période du 1 er janvier 2001 au 31 mai 2002. A cet égard, le tribunal cantonal a exposé que, à la suite de l'arrêt du Tribunal fédéral H 177/06 du 28 septembre 2007, la cause lui avait été renvoyée afin d'examiner le montant des cotisations dues pour les années 2001 et 2002 en relation avec le capital propre engagé dans l'entreprise en Suisse et en Allemagne. La décision sur opposition du 16 février 2005 relative à la fixation des cotisations 2001/2002 n'était donc pas entrée en force selon lui. La juridiction cantonale a en outre relevé que l'intéressé, dans une écriture datée du 15 octobre 2013, avait déclaré que seule demeurait litigieuse la période du 1 er juin au 31 décembre 2002; elle en a par conséquent déduit que les conclusions concernant les périodes antérieures du 1 er janvier 2001 au 31 mai 2002 devaient être considérées comme retirées et, de ce fait, n'a fait porter son examen que sur la période du 1 er juin au 31 décembre 2002.
3.2. L'intéressé considère que le renvoi de la cause décidé par le Tribunal fédéral ne concernait que la période de cotisation du 1 er juin au 31 décembre 2002 à l'exclusion de celle du 1 er janvier 2001 au 31 mai 2002. Il en déduit que les décisions fixant les cotisations du 1 er janvier 2001 au 31 mai 2002 étaient entrées en force avec l'arrêt H 177/06 du 28 septembre 2007, ce qui a eu pour conséquence la péremption du droit de demander le paiement des cotisations. Il conteste en outre avoir retiré ses conclusions relatives à la période du 1 er janvier 2001 au 31 mai 2002 mais expose au contraire avoir fait valoir l'exception de péremption.
3.3. La caisse de compensation intimée, dans sa réponse, conclut au rejet du recours. A son avis, le renvoi de la cause décidé par le Tribunal fédéral concernait l'ensemble de la période 2001/2002, de sorte que les décisions de taxation relatives à ces années ne pouvaient être entrées en force et le droit de demander le paiement des cotisations n'était pas périmé.
4.
4.1. Au vu du grief soulevé par le recourant, le Tribunal fédéral se limitera à examiner si la décision sur opposition du 16 février 2005 est entrée en force à la suite de son arrêt H 177/06 du 28 septembre 2007, avec pour conséquence la péremption du droit de demander le paiement des cotisations, ou si la question de la fixation des cotisations dues pour les années 2001 et 2002 était encore ouverte après l'arrêt mentionné.
4.2. On rappellera à ce propos que l'art. 9 al. 1 LAVS prévoit que le revenu provenant d'une activité indépendante comprend tout revenu du travail autre que la rémunération pour un travail accompli dans une situation dépendante. Toutefois, pour déterminer le revenu provenant d'une activité indépendante est déduit du revenu brut l'intérêt du capital propre engagé dans l'entreprise; le taux d'intérêt correspond au rendement annuel moyen des emprunts en francs suisses des débiteurs suisses autres que les collectivités publiques (art. 9 al. 2 let. f LAVS). Les cotisations se déterminent sur la base du revenu effectivement acquis pendant l'année de cotisation et du capital propre engagé au 31 décembre. Dans les cantons prévoyant un système de taxation bisannuelle praenumerando, le capital engagé au 1er janvier est déterminant pour les deux années de cotisation qui précèdent (art. 22 al. 2 RAVS dans la teneur en vigueur du 1er janvier 2001 au 31 décembre 2003).
Aux termes de l'art. 16 al. 1 première et deuxième phrase LAVS, les cotisations dont le montant n'a pas été fixé par voie de décision dans un délai de cinq ans à compter de la fin de l'année civile pour laquelle elles sont dues ne peuvent plus être exigées ni versées. S'il s'agit de cotisations visées aux art. 6 al. 1, 8 al. 1 et 10 al. 1 LAVS, le délai n'échoit toutefois, en dérogation à l'art. 24 al. 1 LPGA, qu'un an après la fin de l'année civile au cours de laquelle la taxation fiscale déterminante est entrée en force. La créance de cotisations, fixée par décision notifiée conformément à l'art. 16 al. 1 LAVS, s'éteint cinq ans après la fin de l'année civile au cours de laquelle la décision est passée en force (art. 16 al. 2 LAVS).
4.3.
4.3.1. Dans son arrêt H 177/06 du 28 septembre 2007, le Tribunal fédéral a dans un premier temps retenu que les activités de l'intéressé en Allemagne devaient être prises en compte dans le capital propre engagé dans l'entreprise et, de ce fait, être soumises aux cotisations AVS/AI/APG sur la base de l'art. 9 al. 2 let. f LAVS. Durant les périodes du 1 er janvier au 31 décembre 2001 et du 1 er janvier au 31 mai 2002, était déterminant le capital propre engagé en Suisse au 1 er janvier 2003 (art. 22 al. 2 RAVS). Pour la période du 1 er juin au 31 décembre 2002, postérieure à l'entrée en vigueur de l'Accord du 21 juin 1999 entre, d'une part la Confédération suisse et, d'autre part, la Communauté européenne et ses États membres sur la libre circulation des personnes (ALCP; RS 0.142.112.681), était déterminant le capital propre engagé en Suisse et en Allemagne au 1 er janvier 2003 (consid. 4.1 et 4.3 de l'arrêt cité). Dans un deuxième temps, le Tribunal fédéral a estimé que le capital propre engagé dans l'entreprise ne pouvait pas être déterminé. En effet, les indications à ce sujet contenues dans la communication fiscale du 23 septembre 2004 n'avaient pas de force contraignante (voir à ce propos le consid. 3.4 de l'arrêt cité) et devaient être réexaminées. Il a donc renvoyé la cause au tribunal cantonal afin qu'il procède à cet examen (consid. 5.2 de l'arrêt cité).
4.3.2. Il résulte de l'art. 22 al. 2 RAVS, dans la teneur en vigueur dans les années dont il est question, que le capital propre engagé dans l'entreprise déterminant pour la fixation des cotisations était celui existant au 1 er janvier 2003 et ceci pour la totalité de la période 2001/2002. Pour la période jusqu'au 31 mai 2002, on devait tenir compte du capital engagé en Suisse et pour la période postérieure aussi du capital engagé en Allemagne. Or, il résulte sans équivoque du consid. 5.2 de l'arrêt H 177/06 du Tribunal fédéral que les données fiscales concernant la taxation 2001/2002 ne pouvaient être reprises telles quelles et que le capital engagé au 1er janvier 2003, que ce soit en Suisse ou en Allemagne, ne pouvait pas être déterminé. Par conséquent les cotisations du 1er janvier au 31 décembre 2001, du 1er janvier au 31 mai 2002 et du 1er juin au 31 décembre 2002 ne pouvaient pas non plus être déterminées. La référence au montant du capital propre communiqué par l'autorité fiscale de 210'811 fr., contenue dans le consid. 5.1 de l'arrêt H 177/06, ne concerne pas uniquement la période du 1er juin au 31 décembre 2002, comme le fait valoir le recourant pour démontrer que seule cette période est litigieuse, mais aussi le reste de la période de cotisation 2001/2002 (pour ce qui est du capital engagé en Suisse). En effet, le capital propre déterminant pour l'ensemble de cette période, comme indiqué au début de ce considérant, était celui existant au 1er janvier 2003. Faute de données fiscales contraignantes, la cause a été renvoyée aux premiers juges pour nouvel examen et nouvelle décision.
4.3.3. Dans ces circonstances, la décision sur opposition du 16 février 2005 ne pouvait pas entrer en force, comme l'a constaté à juste titre le tribunal cantonal. Partant, le grief formulé par l'intéressé se révèle infondé et le recours doit être rejeté.
5.
Vu l'issue du litige, les frais de la procédure fédérale sont mis à la charge du recourant (art. 66 al. 1 LTF). La caisse de compensation intimée, même si elle obtient gain de cause, n'a pas droit à des dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 12'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 1 er juillet 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
Le Greffier : Cretton