Faits : A. Le 7 octobre 2013, A._ a transmis un questionnaire d'affiliation pour les personnes de condition indépendante à la Caisse cantonale vaudoise de compensation AVS (ci-après: la caisse). Il y indiquait notamment que son activité portait sur des conseils en entreprise et qu'il collaborait avec la société B._ SA à V._ en France. Par décision du 10 décembre 2013, confirmée sur opposition le 21 janvier 2014, la caisse a considéré que A._ était salarié de B._ SA, société de droit français, et qu'il ne remplissait pas les conditions permettant d'être reconnu comme indépendant au sens de l'AVS suisse. Comme B._ SA n'avait pas de siège en Suisse, la caisse a signifié à A._ qu'elle allait procéder à son affiliation en qualité de salarié d'un employeur non tenu de cotiser à partir du 1 er janvier 2008. B. Le 24 février 2014, A._ a déféré la décision sur opposition du 21 janvier 2014 au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, en concluant à son annulation et à la reconnaissance de son statut d'indépendant en relation avec les prestations de conseil fournies en faveur de B._ SA. La juridiction cantonale a rejeté le recours par jugement du 1 er juin 2015. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande la réforme en ce sens que lui soit reconnu le statut d'indépendant; subsidiairement il conclut au renvoi de la cause au tribunal cantonal pour nouvelle décision dans le sens des considérants. La caisse intimée conclut au rejet du recours. Le recourant a produit des observations sur la réponse. L'Office fédéral des assurances sociales a renoncé à se déterminer.