Faits : A. A._, ressortissant français, réside en Suisse depuis 1992 et est titulaire d'une autorisation d'établissement. Depuis le 1er novembre 2004, il est officiellement domicilié sur le territoire de la commune de U._, où il est propriétaire d'un appartement. Du 1er juin 2008 au 30 janvier 2014, A._ a été employé en qualité de "Corporate Communication Advisor" par l'entreprise B._ située à V._ aux Émirats Arabes Unis. Le contrat prévoyait un minimum de quarante heures de travail par semaine pour un salaire mensuel de 60'000 AED. Par décisions du 25 juin 2014, confirmées sur opposition le 29 août 2014, la Caisse de compensation du canton du Valais a procédé à l'affiliation rétroactive de A._ comme salarié d'un employeur non soumis au paiement des cotisations en Suisse pour la période du 1er janvier 2009 au 31 janvier 2014 et fixé le montant des cotisations AVS/AI/APG/AC et au régime des allocations familiales dues pour cette période à 124'838 fr. 90 (y compris les intérêts moratoires). B. Par jugement du 11 septembre 2015, la Cour des assurances sociales du Tribunal cantonal du Valais a rejeté le recours formé par l'assuré contre la décision sur opposition du 29 août 2014. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande en substance l'annulation. Il conclut principalement à l'annulation de la décision sur opposition du 29 août 2014, subsidiairement au renvoi de la cause à la juridiction cantonale, respectivement à la caisse de compensation pour instruction complémentaire et nouvelle décision. La caisse de compensation conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. A._ a déposé une écriture complémentaire le 3 décembre 2015.