Faits : A. En 2001 et 2002, A._ exerçait en Suisse une activité lucrative indépendante sous forme de raison individuelle consistant principalement dans la gestion de deux hôtels. A ce titre, il était affilié à HOTELA Caisse de Compensation AVS (ci-après: HOTELA ou la caisse de compensation). A la même époque, il était l'un des associés d'une société en commandite allemande active dans le domaine immobilier. Se basant sur une communication du 23 septembre 2004 de l'Office d'impôt du district de U._, HOTELA a fixé les cotisations AVS/AI/APG dues par l'intéressé pour les périodes du 1 er janvier au 31 décembre 2001, du 1 er janvier au 31 mai 2002 et du 1 er juin au 31 décembre 2002 (décisions du 8 novembre 2004 confirmée sur opposition le 16 février 2005). B. B.a. Saisi d'un recours déposé le 18 mars 2005 par A._, qui sollicitait en substance la rectification du capital propre investi retenu dans la décision litigieuse et, partant, la rectification de celle-ci, le Tribunal des assurances du canton de Vaud (aujourd'hui: la Cour des assurances sociales du Tribunal cantonal du canton de Vaud) l'a rejeté par jugement du 12 juin 2006. Saisi à son tour d'un recours de l'intéressé, le Tribunal fédéral l'a partiellement admis, a annulé le jugement du 12 juin 2006 et renvoyé la cause au tribunal de première instance pour instruction complémentaire au sens des considérants (vérification de la quotité du capital propre engagé dans l'entreprise par un examen préalable des données fiscales) et nouveau jugement (arrêt H 177/06 du 28 septembre 2007). B.b. La juridiction cantonale a complété l'instruction et rendu un nouveau jugement le 29 octobre 2015. Elle a partiellement admis le recours du 18 mars 2005 et réformé la décision sur opposition du 16 février 2005, en ce sens que le montant dû par A._ pour la période du 1 er juin au 31 décembre 2002 s'élevait, frais administratifs compris, à 246'336 fr. 95, le recours ayant été rejeté pour le surplus. C. L'intéressé interjette un recours en matière de droit public contre le jugement cantonal dont il demande l'annulation partielle. En substance, il conclut à la confirmation dudit jugement pour ce qui est des cotisations dues pour la période du 1 er juin au 31 décembre 2002, mais demande à ce que la cause soit renvoyée au tribunal cantonal afin qu'il constate que les cotisations dues pour les périodes du 1 er janvier au 31 décembre 2001 ainsi que du 1 er janvier au 31 mai 2002 sont périmées et que, pour cette même raison, la caisse de compensation n'a pas droit à des intérêts moratoires. Invitée à se prononcer sur le recours, HOTELA propose de le rejeter. La juridiction cantonale et l'Office fédéral des assurances sociales ont renoncé à se déterminer. A._ a déposé de nouvelles observations en date du 15 avril 2016.