Faits :
A.
Ressortissant belge né en 1952, A._ réside en Suisse avec son épouse, B._, et leur fille depuis le 3 août 2011. Il n'y exerce pas d'activité lucrative. A partir du 1 er mars 2012, il a perçu une pension de vieillesse anticipée de la Caisse nationale d'assurance pension du Grand-Duché de Luxembourg (régime général). Le prénommé et sa famille ont été dispensés de l'obligation de s'affilier à l'assurance-maladie obligatoire par l'autorité cantonale compétente.
Par courrier du 5 décembre 2012, A._ a demandé à l'Office fédéral des assurances sociales (OFAS) à être exempté de l'application de la législation suisse en matière de sécurité sociale, soit notamment en matière d'assurance-vieillesse et survivants et d'assurance-maladie obligatoire. Le 23 janvier 2013, l'OFAS a rendu une décision par laquelle il a rejeté la demande et prononcé que A._ était assuré obligatoirement à l'assurance-vieillesse, survivants et invalidité (AVS/AI) en qualité de personne n'exerçant aucune activité lucrative, à charge pour la Caisse cantonale vaudoise de compensation AVS/AI de déterminer la date du début de l'assujettissement à la législation suisse de sécurité sociale avec précision, et ce jusqu'à l'âge ordinaire de la retraite fixé par l'art. 3 al. 1 LAVS.
B.
A._ et son épouse ont déféré cette décision au Tribunal administratif fédéral. Par jugement du 16 juin 2015, la juridiction fédérale a déclaré irrecevable le recours interjeté par B._ et rejeté celui formé par son conjoint.
C.
Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral de réformer le jugement du 16 juin 2015, en ce sens qu'il est exempté de l'application de la législation suisse en matière de sécurité sociale, soit notamment la LAVS et la LAMal. A titre subsidiaire, il conclut au renvoi de la cause à l'instance précédente pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement la violation du droit fédéral ainsi que du droit international (cf. art. 95 let. a et b ainsi que 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'art. 106 al. 2 LTF. Par ailleurs, l'examen du Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
2.
2.1. Il n'est pas contesté qu'en vertu de l'art. 1a al. 1 let. a LAVS, le recourant est en principe assujetti à l'AVS en raison de son domicile en Suisse. Ne sont pas non plus remises en cause les considérations des premiers juges (consid. 4.3 de l'arrêt entrepris) selon lesquelles le recourant, qui est de nationalité belge, est domicilié en Suisse où il n'exerce pas d'activité lucrative et bénéficie d'une pension de vieillesse anticipée en vertu de la législation luxembourgeoise de sécurité sociale, entre dans le champ d'application personnel, matériel et temporel du Règlement (CE) n° 883/2004 du Parlement européen et du Conseil du 29 avril 2004 portant sur la coordination des systèmes de sécurité sociale (Règlement 883/2004; RS 0.831.109.268.1), auquel renvoie l'annexe II (section A ch. 1) à l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (Accord sur la libre circulation des personnes, ALCP; RS 0.142.112.681).
2.2. Le seul point litigieux est de savoir si le recourant peut, pour obtenir son exemption de l'assujettissement à l'AVS/AI suisse, se prévaloir avec succès de l'art. 16 par. 2 du Règlement 883/2004.
Aux termes de cette disposition, la personne qui perçoit une pension ou des pensions en vertu de la législation d'un ou de plusieurs Etats membres et qui réside dans un autre Etat membre peut être exemptée, à sa demande, de l'application de la législation de ce dernier Etat, à condition qu'elle ne soit pas soumise à cette législation en raison de l'exercice d'une activité salariée ou non salariée. L'art. 16 par. 2 du Règlement 883/2004 reprend l'ancien art. 17bis du Règlement (CEE) no 1408/71 du Conseil du 14 juin 1971 relatif à l'application des régimes de sécurité sociale aux travailleurs salariés, aux travailleurs non salariés et aux membres de leur famille qui se déplacent à l'intérieur de la Communauté (Règlement 1408/71; RS 0.831.109.268.1), qui a été remplacé à partir du 1er avril 2012 - pour la Suisse (cf. décision n° 1/2012 du Comité mixte du 31 mars 2012 [RO 2012 2345]) - par le Règlement 883/2004. Selon l'art. 17bis du Règlement 1408/71, le titulaire d'une pension ou d'une rente due au titre de la législation d'un Etat membre ou de pensions ou de rentes dues au titre des législations de plusieurs Etats membres, qui réside sur le territoire d'un autre Etat membre, peut être exempté, à sa demande, de l'application de la législation de ce dernier Etat, à condition qu'il ne soit pas soumis à cette législation en raison de l'exercice d'une activité professionnelle.
Le Tribunal fédéral a jugé qu'en application de l'art. 17bis du Règlement 1408/71, la Suisse était tenue d'accorder une exemption à la personne qui en faisait la demande, lorsque l'application de deux législations nationales aboutissait à des cumuls et des chevauchements inutiles. Eu égard aux particularités du régime de l'AVS, une telle exemption ne pouvait pas concerner ce régime: l'affiliation obligatoire à l'AVS n'impliquait pas de préjudice pour le bénéficiaire d'une pension ou d'une rente d'un autre Etat partie à l'ALCP (cf. <ref-ruling> consid. 5.6 et 5.7 pp. 204 ss).
2.3. Pour l'essentiel, le recourant fait valoir que l'interprétation littérale de l'art. 16 par. 2 du Règlement 883/2004 implique que lui soit accordée l'exemption de l'assujettissement à l'AVS. En contestant l'arrêt entrepris, qui se fonde sur l'<ref-ruling>, il demande en réalité implicitement au Tribunal fédéral de procéder à un changement de cette jurisprudence.
Un tel changement ne se justifie, en principe, que lorsque la nouvelle solution procède d'une meilleure compréhension de la ratio legis, repose sur des circonstances de fait modifiées ou répond à l'évolution des conceptions juridiques; sinon la pratique en cours doit être maintenue. Un changement doit par conséquent reposer sur des motifs sérieux et objectifs qui, dans l'intérêt de la sécurité du droit, doivent être d'autant plus importants que la pratique considérée comme erronée, ou désormais inadaptée aux circonstances, est ancienne (<ref-ruling> consid. 6.1 p. 313; <ref-ruling> consid. 6.1 p. 361).
3.
3.1. Dans un premier grief, le recourant soutient que l'art. 11 par. 3 let. e du Règlement 883/3004 ne serait pas applicable dans son cas, dès lors que l'art. 16 par. 2 dudit règlement lui garantirait, par l'application de la législation luxembourgeoise, le versement de prestations.
L'art. 11 par. 3 let. e du Règlement 883/2004 prévoit que "sous réserve des art. 12 à 16: les personnes autres que celles visées aux let. a) à d) sont soumises à la législation de l'Etat membre de résidence, sans préjudice d'autres dispositions du présent règlement qui leur garantissent des prestations en vertu de la législation d'un ou de plusieurs autres Etats membres". La réserve en faveur d'autres dispositions du Règlement 883/2004, dont découlent des prétentions à des prestations selon la législation d'un ou de plusieurs autres Etats membres, exprime le caractère subsidiaire de la règle de conflit en cause: celle-ci ne vaut que si les autres règles générales de conflit ou dispositions du règlement ne prévoient pas un autre critère de rattachement que la résidence et, partant, une autre législation applicable que celle de l'Etat membre de résidence. Pour des règles différentes que les règles de conflit, l'art. 11 par. 3 let. e du Règlement 883/2004 permet manifestement aussi que des prestations de plusieurs Etats membres soient allouées à un même bénéficiaire (cf. HEINZ-DIETRICH STEINMEYER, in Europäisches Sozialrecht, 6e éd. 2012, n° 33 ad art. 11 du règlement n° 883/2004).
Or l'art. 16 par. 2 du Règlement 883/2004 ne prévoit pas un autre critère de rattachement entraînant en soi l'application d'une autre législation que celle de l'Etat de résidence, mais uniquement la possibilité pour la personne concernée de demander à être exemptée de la législation de l'Etat de résidence. Cette disposition ne confère ("garantit") pas, par elle-même, un droit à des prestations de la sécurité sociale d'un Etat membre et ne suffit pas pour écarter l'application de l'art. 11 par. 3 let. e dudit règlement.
3.2. Le recourant invoque ensuite un avis de doctrine, dont l'auteur s'exprime de manière critique à l'égard de l'<ref-ruling>. BASILE CARDINAUX reproche en effet au Tribunal fédéral d'avoir ignoré que l'art. 17bis du Règlement 1408/71 prévoyait le droit (formateur) de solliciter l'exemption de l'affiliation à l'assurance, dont l'exercice aurait relevé de la seule décision de la personne concernée (BASILE CARDINAUX, Die aktuelle sozialrechtliche Rechtsprechung des Bundesgerichts zum FZA, in Annuaire suisse de droit européen 2012/2013, ch. 5 pp. 455 ss). Le seul fait que l'argumentation du Tribunal fédéral n'a pas convaincu la doctrine (ibidem, p. 456) ne constitue cependant pas un motif suffisant en soi pour modifier la jurisprudence. La critique de CARDINAUX, fondée sur son interprétation du texte de l'art. 17bis du Règlement 1408/71, ne met pas en évidence de motif susceptible d'entraîner une modification de la jurisprudence (consid. 2.3 supra).
3.3. Le recourant semble ensuite contester le fait que le Tribunal administratif fédéral s'est référé à l'<ref-ruling> pour interpréter la disposition en cause du Règlement 883/2004, alors que la jurisprudence se rapporterait à "un autre texte légal".
Comme l'ont retenu à juste titre les premiers juges, l'interprétation qu'a donnée le Tribunal fédéral de l'art. 17bis du Règlement 1408/71 à l'<ref-ruling> garde toute sa pertinence pour l'application de l'art. 16 par. 2 du Règlement 883/2004. Si la teneur de la nouvelle disposition a été simplifiée par rapport à celle de la norme du Règlement 1408/71 qu'elle a remplacée, le sens n'en a toutefois pas été modifié. Or que ce soit sous l'angle du droit national ou du droit européen, lorsque la nouvelle norme correspond à l'ancienne, il n'y a aucune raison de ne pas prendre en considération la jurisprudence relative à la seconde pour interpréter la première (pour un exemple relatif à l'art. 11 du Règlement 883/2004 au regard de l'art. 13 du Règlement 1408/71, voir arrêt de la Cour de justice de l'Union européenne [CJUE; jusqu'au 30 novembre 2009: Cour de justice des Communautés européennes, CJCE] du 11 septembre 2014 C-394/13 Ministerstvo práce a sociálních vecí contre B., destiné à la publication au Recueil, points 33 à 35; au sujet de la prise en considération des arrêts de la CJUE, art. 16 al. 2 ALCP et <ref-ruling> consid. 9.2 p. 437 et les références citées).
3.4. En ce qui concerne l'interprétation de l'art. 16 par. 2 du Règlement 883/2004, le recourant invoque encore que la disposition est claire, de sorte qu'elle n'est pas sujette à une interprétation "supplémentaire", qui irait "au-delà de son texte". Il omet cependant que tant l'art. 31 par. 1 de la Convention de Vienne du 23 mai 1969 sur le droit des traités (Convention de Vienne; RS 0.111) - également cité à l'appui de sa motivation et auquel se réfère le Tribunal fédéral pour interpréter l'ALCP et les règlements communautaires (<ref-ruling> consid. 7.1 p. 94 et les références) - que la jurisprudence de la CJUE sur l'interprétation d'une norme de droit communautaire (notamment arrêt de la CJCE du 10 mai 2001 C-389/99 Sulo Rundgren, Rec. 2001 I-03731 point 41 et la jurisprudence citée) prévoient de tenir compte à la fois des termes d'une disposition, de son contexte et de ses objectifs. Ainsi, selon l'art. 31 par. 1 de la Convention de Vienne, un traité doit être interprété de bonne foi suivant le sens ordinaire à attribuer à ses termes dans leur contexte et à la lumière de son objet et de son but.
On ne voit pas en quoi le Tribunal administratif fédéral, respectivement le Tribunal fédéral à l'<ref-ruling>, auraient contrevenu à cette disposition lorsqu'ils ont pris en considération non seulement le texte de l'art. 16 par. 2 du Règlement 883/2004, respectivement de l'art. 17bis du Règlement 1408/71, mais aussi l'objectif de ces normes au regard de leur contexte, leur objet et leur but. On rappellera à cet égard que le Tribunal fédéral s'est référé à la Proposition de la Commission des communautés européennes, du 24 juillet 1990, de Règlement (CEE) du Conseil modifiant le Règlement 1408/71 (COM[90] 335 final), relatif (notamment) à l'introduction de l'art. 17bis du Règlement 1408/71, selon laquelle cette disposition avait pour objectif d'éviter des affiliations inutiles (<ref-ruling> consid. 5.3 p. 202). D'après les termes de la Commission, "il faut éviter qu'une personne 'ex-active' qui bénéficie d'une pension suffisante au titre de la législation d'un Etat membre, laquelle lui assure déjà des prestations de maladie et des prestations familiales, mais qui réside dans un autre Etat membre connaissant un régime d'assurance basé sur la résidence, soit obligé de payer dans ce dernier Etat des cotisations qui ne lui apportent pas les bénéfices correspondants". Dans la mesure où l'objectif d'une affiliation "inutile", dans le sens d'une obligation de verser des cotisations à un régime d'assurance sans bénéfice correspondant, ressort des travaux préparatoires de la disposition topique - en plus des autres éléments mis en évidence au consid. 5 de l'<ref-ruling> -, devenue entre-temps l'art. 16 par. 2 du Règlement 883/2004, le reproche du recourant quant à une "condition d'application supplémentaire" qu'aurait introduite le Tribunal fédéral, dont l'interprétation serait "fondée sur des sources peu convaincantes", tombe à faux.
3.5. Il résulte de ce qui précède qu'aucun des motifs invoqués par le recourant ne constitue une raison sérieuse et objective de modifier la pratique instaurée par l'<ref-ruling>.
4.
Dans un grief supplémentaire, au cas où la Cour de céans devait confirmer sa jurisprudence, le recourant fait valoir que l'obligation de cotiser à l'AVS ne lui apporterait en réalité aucun bénéfice car la rente à laquelle il aurait droit n'atteindrait même pas le montant des cotisations versées, sans même tenir compte des coûts liés aux primes d'assurance-maladie dont il serait alors tenu de s'acquitter. Pour démontrer le prétendu déséquilibre entre les cotisations à verser et le montant d'une future rente AVS en découlant, le recourant se réfère aux calculs exposés dans sa réplique du 2 août 2013 adressée au Tribunal administratif fédéral. Il n'y a pas lieu d'entrer en matière sur ce point, dès lors que le renvoi à une écriture déposée devant l'instance précédente n'est pas admissible au regard de l'art. 42 al. 2 LTF (voir par exemple, arrêt 4A_709/2011 du 31 mai 2012 consid. 1.1).
Pour le reste, l'argumentation du recourant ne remet pas en cause les constatations de la juridiction fédérale de première instance selon lesquelles l'affiliation à l'AVS en cause apporte une protection supplémentaire à l'intéressé, qui pourra bénéficier, une fois la durée minimale de cotisation observée (cf. art. 29 al. 1 LAVS en relation avec l'art. 50 RAVS [RS 831.101]), d'une rente de vieillesse suisse en complément de sa rente luxembourgeoise. En ce qui concerne l'étonnement exprimé par le recourant quant aux considérations du Tribunal administratif fédéral sur la situation financière de certains étrangers résidant en Suisse, les observations des premiers juges n'avaient pour objectif que de souligner le principe de la solidarité prévalant dans l'AVS suisse - qui implique l'absence d'équivalence entre les cotisations versées et les prestations allouées -, et non de se prononcer sur les raisons qui ont conduit le recourant et sa famille à s'installer dans ce pays.
5.
Il suit de ce qui précède que les motifs du recourant sont mal fondés, ce qui conduit au rejet de ses conclusions.
6.
Vu l'issue du litige, les frais judiciaires sont mis à la charge du recourant (art. 66 al. 1 première phrase LTF) qui ne peut prétendre des dépens (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal administratif fédéral, Cour III.
Lucerne, le 7 janvier 2016
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Glanzmann
La Greffière : Flury