Faits : A. Ressortissant belge né en 1952, A._ réside en Suisse avec son épouse, B._, et leur fille depuis le 3 août 2011. Il n'y exerce pas d'activité lucrative. A partir du 1 er mars 2012, il a perçu une pension de vieillesse anticipée de la Caisse nationale d'assurance pension du Grand-Duché de Luxembourg (régime général). Le prénommé et sa famille ont été dispensés de l'obligation de s'affilier à l'assurance-maladie obligatoire par l'autorité cantonale compétente. Par courrier du 5 décembre 2012, A._ a demandé à l'Office fédéral des assurances sociales (OFAS) à être exempté de l'application de la législation suisse en matière de sécurité sociale, soit notamment en matière d'assurance-vieillesse et survivants et d'assurance-maladie obligatoire. Le 23 janvier 2013, l'OFAS a rendu une décision par laquelle il a rejeté la demande et prononcé que A._ était assuré obligatoirement à l'assurance-vieillesse, survivants et invalidité (AVS/AI) en qualité de personne n'exerçant aucune activité lucrative, à charge pour la Caisse cantonale vaudoise de compensation AVS/AI de déterminer la date du début de l'assujettissement à la législation suisse de sécurité sociale avec précision, et ce jusqu'à l'âge ordinaire de la retraite fixé par l'art. 3 al. 1 LAVS. B. A._ et son épouse ont déféré cette décision au Tribunal administratif fédéral. Par jugement du 16 juin 2015, la juridiction fédérale a déclaré irrecevable le recours interjeté par B._ et rejeté celui formé par son conjoint. C. Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral de réformer le jugement du 16 juin 2015, en ce sens qu'il est exempté de l'application de la législation suisse en matière de sécurité sociale, soit notamment la LAVS et la LAMal. A titre subsidiaire, il conclut au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants.