Faits :
A.
A._, ressortissant français, réside en Suisse depuis 1992 et est titulaire d'une autorisation d'établissement. Depuis le 1er novembre 2004, il est officiellement domicilié sur le territoire de la commune de U._, où il est propriétaire d'un appartement.
Du 1er juin 2008 au 30 janvier 2014, A._ a été employé en qualité de "Corporate Communication Advisor" par l'entreprise B._ située à V._ aux Émirats Arabes Unis. Le contrat prévoyait un minimum de quarante heures de travail par semaine pour un salaire mensuel de 60'000 AED.
Par décisions du 25 juin 2014, confirmées sur opposition le 29 août 2014, la Caisse de compensation du canton du Valais a procédé à l'affiliation rétroactive de A._ comme salarié d'un employeur non soumis au paiement des cotisations en Suisse pour la période du 1er janvier 2009 au 31 janvier 2014 et fixé le montant des cotisations AVS/AI/APG/AC et au régime des allocations familiales dues pour cette période à 124'838 fr. 90 (y compris les intérêts moratoires).
B.
Par jugement du 11 septembre 2015, la Cour des assurances sociales du Tribunal cantonal du Valais a rejeté le recours formé par l'assuré contre la décision sur opposition du 29 août 2014.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande en substance l'annulation. Il conclut principalement à l'annulation de la décision sur opposition du 29 août 2014, subsidiairement au renvoi de la cause à la juridiction cantonale, respectivement à la caisse de compensation pour instruction complémentaire et nouvelle décision.
La caisse de compensation conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
A._ a déposé une écriture complémentaire le 3 décembre 2015.

Considérant en droit :
1.
Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Par exception à ce principe, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>). Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2.
Le litige a pour objet l'assujettissement du recourant au régime suisse de sécurité sociale (AVS/AI/APG/AC et régime des allocations familiales) pour la période courant du 1er janvier 2009 au 31 janvier 2014.
3.
3.1. Sur le plan formel, le recourant invoque une violation de son droit d'être entendu (art. 29 al. 2 Cst.) ainsi que du principe de la maxime inquisitoire (art. 61 let. c LPGA). Il fait plus précisément grief à la juridiction cantonale de n'avoir pas donné la moindre suite à sa requête tendant à l'audition de C._, administrateur de la propriété par étages où il possédait un appartement, et d'avoir omis d'instruire divers points utiles à l'établissement des faits.
3.2. La violation du droit d'être entendu et du principe de la maxime inquisitoire (ou, autrement dit, du devoir d'administrer les preuves nécessaires) dans le sens invoqué par le recourant sont des questions qui n'ont pas de portée propre par rapport au grief tiré d'une mauvaise appréciation des preuves (voir arrêt 8C_15/2009 du 11 janvier 2010 consid. 3.2, in SVR 2010 IV n° 42 p. 132). Le juge peut en effet renoncer à accomplir certains actes d'instruction, sans que cela n'entraîne une violation du devoir d'administrer les preuves nécessaires ou plus généralement une violation du droit d'être entendu, s'il est convaincu, en se fondant sur une appréciation consciencieuse des preuves (cf. <ref-ruling> consid. 3a p. 352), que certains faits présentent un degré de vraisemblance prépondérante et que d'autres mesures probatoires ne pourraient plus modifier cette appréciation (sur l'appréciation anticipée des preuves en général: <ref-ruling> consid. 3 p. 157; <ref-ruling> consid. 2 p. 428). Il s'agit par conséquent de griefs qu'il convient d'examiner avec le fond du litige.
4.
4.1. L'<ref-law> prévoit l'affiliation obligatoire à l'assurance-vieillesse et survivants des personnes physiques qui sont domiciliées en Suisse (pour les autres assurances concernées, voir les <ref-law>, 27 LAPG et 11 LAFam).
4.2. Le domicile de toute personne est au lieu où elle réside avec l'intention de s'y établir (<ref-law>) et est conservé aussi longtemps que celle-ci ne s'en est pas créé un nouveau (<ref-law>). La notion de domicile comporte donc deux éléments: l'un objectif, la résidence, soit un séjour d'une certaine durée dans un endroit donné et la création en ce lieu de rapports assez étroits; l'autre, l'intention d'y résider, soit de se fixer pour une certaine durée au lieu de sa résidence qui doit être reconnaissable pour les tiers et donc ressortir de circonstances extérieures et objectives. Cette intention implique la volonté manifestée de faire d'un lieu le centre de ses relations personnelles et professionnelles. Le domicile d'une personne se trouve ainsi au lieu avec lequel elle a les relations les plus étroites, compte tenu de l'ensemble des circonstances. Le lieu où les papiers d'identité ont été déposés ou celui figurant dans des documents administratifs, comme des attestations de la police des étrangers, des autorités fiscales ou des assurances sociales constituent des indices qui ne sauraient toutefois l'emporter sur le lieu où se focalise un maximum d'éléments concernant la vie personnelle, sociale et professionnelle de l'intéressé. Les constatations relatives à ces circonstances relèvent du fait, mais la conclusion que le juge en tire quant à l'intention de s'établir est une question de droit (<ref-ruling> consid. 4.3 p. 409 et les références).
5.
5.1. La juridiction cantonale a jugé comme n'étant pas contestable le fait que le recourant avait résidé de manière effective aux Émirats Arabes Unis pendant la période en cause, ou durant la majeure partie de ce temps à tout le moins. Par la fonction qu'il occupait, il s'était contractuellement engagé à effectuer quarante heures de travail hebdomadaire, ce qui l'avait vraisemblablement contraint à demeurer dans ce pays. A cette fin, les autorités des Émirats Arabes Unis lui avaient notamment délivré une carte attestant de son statut d'employé, deux permis de résidence, une carte d'identité nationale et un permis de conduire.
Le recourant ne remplissait toutefois pas l'élément subjectif de la notion de domicile, l'intention de se fixer au lieu de sa résidence ne ressortant pas de circonstances reconnaissables pour les tiers.
Le recourant possédait un permis d'établissement en Suisse valable jusqu'au 31 octobre 2018. La présomption induite par ce document n'avait pas été renversée par l'annonce d'un départ officiel auprès de la commune de U._ et le retrait de ses papiers. Même si la validité de cette autorisation d'établissement aurait dû échoir après six mois, l'absence d'une telle démarche démontrait néanmoins son intention de rester domicilié en Suisse.
Le recourant était considéré fiscalement comme assujetti de manière illimitée dans la commune de U._; selon les décisions de taxations fiscales prises durant la période litigieuse, il était imposé non seulement sur les biens immobiliers dont il était resté propriétaire en Valais mais également sur sa fortune.
Le recourant n'a jamais interrompu son assujettissement à l'assurance obligatoire des soins en cas de maladie, de sorte qu'il a payé des primes en Suisse alors qu'il contribuait déjà auprès d'une assurance maladie aux Émirats Arabes Unis. L'argumentation du recourant selon laquelle il a cotisé en Suisse pour pouvoir y bénéficier de la qualité des soins en cas de besoin apparaissait peu pertinente, dès lors que, considéré comme étant domicilié en Suisse par son assurance-maladie, il aurait pu éviter ce double assujettissement en présentant une requête d'exemption au motif qu'il était assuré contre la maladie en vertu du droit étranger.
Enfin, le fait que son épouse est restée domiciliée à U._ durant encore près d'un an après le départ de son mari pour les Émirats Arabes Unis, qu'elle n'est pas partie vivre avec lui, que celui-ci est resté propriétaire de son immeuble à U._ et qu'il y est revenu régulièrement pour ses vacances, que son épouse est ensuite partie vivre à X._ (Liban) auprès de sa famille - et non aux Émirats Arabes Unis auprès de son époux -, ceux-ci se rencontrant soit à X._, soit à Y._, soit à V._, que celle-ci est ensuite revenue vivre à U._ et que son époux l'a rejointe à la fin de son contrat de travail étaient autant d'éléments qui ne permettaient pas de considérer que le recourant avait établi le centre de ses relations familiales à V._.
5.2. Le recourant reproche à la juridiction cantonale d'avoir procédé à une constatation manifestement inexacte des faits pertinents, consécutive à une mauvaise appréciation des preuves, et, partant, d'avoir violé les <ref-law> et 23 CC, en retenant que la condition subjective de l'établissement d'un nouveau domicile n'était pas remplie en l'espèce. En résumé, il lui fait grief de n'avoir pas tenu compte de l'ensemble de ses conditions de vie, lesquelles conduisaient à admettre que le centre de son existence se trouvait, entre 2009 et 2014, dans le pays où se focalisait un maximum d'éléments concernant sa vie personnelle, sociale et professionnelle, de sorte que l'intensité des liens avec cet endroit l'emportait sur les liens existant avec la Suisse, pays où le recourant possédait durant la période concernée uniquement un immeuble.
6.
6.1. En règle générale, le fait pour une personne de nationalité étrangère de quitter la Suisse pour un autre État (qui plus est passablement éloigné de la Suisse) pour y aller exercer durant une longue période une activité lucrative à plein temps constitue un indice en faveur du déplacement du centre de ses intérêts professionnels. Lorsque dite personne n'a, au surplus, pas de famille en Suisse et qu'il n'est pas établi - les faits constatés par la juridiction cantonale ne contiennent aucun élément en ce sens - qu'il y entretient de fortes relations sociales et amicales, le simple fait qu'il y dispose d'un pied à terre - comme de nombreux propriétaires d'une résidence secondaire - ne semble de prime abord guère suffire pour justifier le maintien du centre de la vie personnelle et sociale en Suisse.
6.2. La juridiction cantonale a principalement fondé son raisonnement sur des éléments de nature administrative, tels que la situation du recourant en matière de police des étrangers, en matière fiscale ou encore au regard de l'assurance maladie. L'argumentation développée par le recourant à l'appui de son recours démontre toutefois que la juridiction cantonale a procédé à un certain nombre de constatations de fait imprécises ou incomplètes. Ainsi, sur le plan fiscal, la juridiction cantonale a constaté que le recourant avait été assujetti de façon illimitée au cours de la période litigieuse, alors même qu'il ressort des déclarations fiscales produites que les revenus de son activité lucrative n'ont pas fait l'objet d'une quelconque imposition au cours de la période litigieuse. De même, la juridiction cantonale a passé sous silence que le recourant avait contesté, dans un premier temps du moins, son assujettissement à l'assurance maladie obligatoire.
6.3. La juridiction cantonale semble également avoir attaché une importance particulière au fait que l'épouse du recourant n'a pas suivi son mari tout au long de son séjour aux Émirats Arabes Unis et aurait résidé en Suisse durant une partie de la période litigieuse. Il convient toutefois de rappeler que depuis la révision du droit de la famille entrée en vigueur le 1er janvier 1988, le législateur a expressément consacré une plus grande indépendance des époux, notamment le droit pour chacun d'eux, en dehors même de toute hypothèse de séparation (de fait ou de droit), de se constituer un domicile propre conformément aux règles ordinaires applicables en la matière (<ref-ruling> consid. 5b p. 18; <ref-ruling>; DESCHENAUX/STEINAUER/BADDELEY, Les effets du mariage, 2ème éd. 2009, nos 159 p. 117 et 169 ss p. 120). La juridiction cantonale ne pouvait par conséquent tirer de conclusions sur la base de la situation de l'épouse du recourant sans examiner au préalable sa situation concrète sur les plans personnel et professionnel. Cet examen se justifiait d'autant plus que l'épouse s'était également éloignée de la Suisse pour une durée prolongée au cours de la période litigieuse.
6.4. Certes peut-on faire le reproche au recourant de n'avoir collaboré que partiellement à l'instruction de l'affaire, en n'apportant spontanément que peu de moyens de preuve pour défendre son point de vue, en ne fournissant aucune explication sur l'absence d'annonce de départ auprès de la commune de U._ ou en ne requérant l'audition de l'administrateur de la propriété par étage où se situait son appartement qu'en toute fin de procédure cantonale. Compte tenu des documents fournis par le recourant - et que celui-ci pouvait croire comme étant suffisants - et des allégations formulées au cours de la procédure cantonale, il n'en demeure pas moins qu'il appartenait à l'autorité de recours, conformément à la maxime inquisitoire (art. 61 let. c LPGA), d'établir d'office l'ensemble des faits déterminants pour la solution du litige et d'administrer, le cas échéant, les preuves nécessaires.
6.5. Les arguments amenés par le recourant dans le cadre de son recours jettent le doute quant au bien-fondé de l'appréciation des preuves effectuées par la juridiction cantonale. Cela étant, il n'y a pas lieu de lui renvoyer la cause afin qu'elle en complète l'instruction, le recours devant être admis pour un autre motif.
7.
7.1. Selon l'art. 61 al. 2 de la loi fédérale sur les étrangers du 16 décembre 2005 (LEtr; RS 142.20), si un étranger quitte la Suisse sans déclarer son départ, l'autorisation d'établissement prend automatiquement fin après six mois; sur demande, ladite autorisation peut être maintenue pendant quatre ans. D'après la jurisprudence établie en lien avec l'art. 9 al. 3 let. c de la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113) abrogée par l'entrée en vigueur de la LEtr (RO 2007 5488), l'autorisation d'établissement prend fin lorsque l'étranger séjourne hors de Suisse de manière ininterrompue pendant six mois consécutifs, quels que soient les causes de cet éloignement et les motifs de l'intéressé (<ref-ruling> consid. 2c p. 372; <ref-ruling> consid. 2a p. 2; cf. aussi arrêt 2C_43/2011 du 4 février 2011 consid. 2). Le Tribunal fédéral a aussi précisé que le délai de six mois n'était pas interrompu lorsque l'étranger revenait en Suisse avant l'échéance de ce délai non pas durablement, mais uniquement pour des séjours d'affaires ou de visite (<ref-ruling> consid. 2c p. 372). Cette règle a d'ailleurs été reprise à l'art. 79 de l'ordonnance relative à l'admission, au séjour et à l'exercice d'une activité lucrative du 24 octobre 2007 (OASA; RS 142.201), qui dispose que les délais prévus à l'art. 61 al. 2 LEtr ne sont pas interrompus en cas de séjour temporaire en Suisse à des fins de visite, de tourisme ou d'affaires (al. 1) et qui précise que la demande de maintien de l'autorisation d'établissement doit être déposée avant l'échéance du délai de six mois (al. 2; cf. arrêt 2C_408/2010 du 15 décembre 2010 consid. 4.1).
7.2. Dès lors que le recourant - de nationalité étrangère - résidait à demeure à l'étranger, la situation de fait et de droit était incompatible avec le maintien d'un domicile en Suisse. Selon les dispositions de police des étrangers, la résidence prolongée du recourant aux Émirats Arabes Unis a rendu caduque l'autorisation d'établissement dont il bénéficiait, si bien qu'il ne disposait plus - hormis pour un séjour de courte durée (inférieur à nonante jours) - d'aucun droit de présence en Suisse. La conjonction de ces faits - résidence à l'étranger et absence d'autorisation de séjour prolongé - n'autorisait par conséquent pas la caisse de compensation intimée à considérer que le recourant avait conservé son domicile en Suisse, la réalisation de l'intention de rester durablement établi en Suisse étant écartée par les prescriptions du droit public en matière de police des étrangers.
8.
8.1. Le recours se révèle bien fondé. Le jugement entrepris et la décision litigieuse doivent par conséquent être annulés.
8.2. Vu l'issue du litige, les frais de justice seront supportés par la caisse intimée qui succombe (<ref-law>). Celle-ci est par ailleurs tenue de verser au recourant une indemnité de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. Le jugement du Tribunal cantonal du Valais, Cour des assurances sociales, du 11 septembre 2015 et la décision sur opposition de la Caisse de compensation du canton du Valais du 29 août 2014 sont annulés.
2.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge de l'intimée.
3.
L'intimée versera au recourant la somme de 2'800 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
La cause est renvoyée au Tribunal cantonal du Valais, Cour des assurances sociales, pour nouvelle décision sur les dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 12 mai 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
Le Greffier : Piguet