Faits :
A.
A._, ressortissant français né en 1950, réside en Suisse depuis le 1 er juin 2004. Il n'y exerce pas d'activité lucrative. A partir du 1 er mars 2010, il a perçu des pensions de retraite de la sécurité sociale française (régime général) et du régime complémentaire professionnel français (notifications de l'Assurance retraite, B._, de la Mutuelle sociale C._ et de la Caisse D._).
Par courrier du 25 février 2016, l'intéressé a demandé à l'Office fédéral des assurances sociales (OFAS) à être exempté de l'assujettissement à l'assurance-vieillesse, survivants et invalidité obligatoire (AVS/AI). Par décision du 6 avril 2016, l'OFAS a rejeté la demande et dit que A._ était assuré obligatoirement à l'AVS/AI en qualité de personne n'exerçant aucune activité lucrative jusqu'à la date fixée à l'<ref-law>, à charge pour la Caisse de compensation cantonale de déterminer la date du début de l'assujettissement à la législation suisse de sécurité sociale avec précision.
B.
Par jugement du 1 er novembre 2016, le Tribunal administratif fédéral a rejeté le recours interjeté par l'intéressé contre cette décision.
C.
A._ interjette un recours en matière de droit public contre ce jugement, dont il demande implicitement l'annulation. En substance, il conclut à ce qu'il soit exempté de l'assujettissement à l'AVS, en demandant que le Tribunal fédéral procède à différentes constatations relatives notamment à l'interprétation du droit communautaire applicable et à l'absence d'équivalence entre les cotisations réclamées et les prestations.

Considérant en droit :
1.
1.1. Des conclusions constatatoires ne sont admissibles que s'il existe un intérêt juridique ou de fait digne de protection à ce qu'elles soient accordées qui ne saurait être pleinement sauvegardé par une conclusion formatrice. Or la conclusion tendant à l'exemption de l'assujettissement à l'AVS englobe les conclusions constatatoires formulées par le recourant, de sorte que celles-ci sont irrecevables car elles n'ont qu'un caractère préparatoire (cf. <ref-ruling> consid. 1.1 et les références).
1.2. Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement la violation du droit fédéral ainsi que du droit international (cf. art. 95 let. a et b ainsi que 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Par ailleurs, l'examen du Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>).
2.
Le seul point litigieux est de savoir si le recourant peut se prévaloir avec succès de l'art. 16 par. 2 du Règlement (CE) n° 883/2004 du Parlement européen et du Conseil du 29 avril 2004 portant sur la coordination des systèmes de sécurité sociale (Règlement 883/2004; RS 0.831.109.268.1) pour obtenir l'exemption de l'assujettissement à l'AVS/AI suisse. Le jugement attaqué expose de manière complète les dispositions légales et les principes jurisprudentiels nécessaires à la solution du litige. Il suffit d'y renvoyer.
3.
Pour l'essentiel, le recourant reproche au Tribunal administratif fédéral de s'être référé à l'<ref-ruling> pour interpréter l'art. 16 par. 2 du Règlement 883/2004, dans la mesure où cette jurisprudence se rapporte à l'art. 17bis de l'ancien Règlement (CEE) n° 1408/71 du Conseil du 14 juin 1971 relatif à l'application des régimes de sécurité sociale aux travailleurs salariés, aux travailleurs non salariés et aux membres de leur famille qui se déplacent à l'intérieur de la Communauté (Règlement 1408/71). Il demande au Tribunal fédéral de procéder à un changement de jurisprudence (infra consid. 4.1). Selon lui, l'art. 16 par. 2 du Règlement 883/2004 est une disposition claire, dont l'application n'est soumise à aucune autre condition que celle d'être une personne retraitée sans activité, de sorte qu'elle n'est pas sujette à une interprétation "supplémentaire" qui irait "au-delà de son texte" (infra consid. 4.2). Il fait encore valoir que l'obligation de cotiser à l'AVS/AI ne lui apporterait aucun bénéfice (infra consid. 4.3).
4.
Les arguments du recourant ne sont pas pertinents pour remettre en cause la jurisprudence du Tribunal fédéral, qui a déjà eu l'occasion de s'exprimer sur la question litigieuse et d'admettre que le refus d'exempter de l'assujettissement à l'AVS dans une situation semblable à celle du recourant ne violait pas l'art. 16 par. 2 du Règlement 883/2004 (arrêt 9C_602/2015 du 7 janvier 2016).
4.1. En premier lieu, on rappellera qu'un changement de jurisprudence ne se justifie, en principe, que lorsque la nouvelle solution procède d'une meilleure compréhension de la ratio legis, repose sur des circonstances de fait modifiées ou répond à l'évolution des conceptions juridiques; sinon la pratique en cours doit être maintenue. Un changement doit par conséquent reposer sur des motifs sérieux et objectifs qui, dans l'intérêt de la sécurité du droit, doivent être d'autant plus importants que la pratique considérée comme erronée, ou désormais inadaptée aux circonstances, est ancienne (<ref-ruling> consid. 6.1 p. 313; <ref-ruling> consid. 6.1 p. 361). En l'occurrence, comme l'a retenu à juste titre le Tribunal administratif fédéral, l'interprétation de l'art. 17bis du Règlement 1408/71 donnée par la Cour de céans à l'occasion de l'<ref-ruling> garde toute sa pertinence pour l'application de l'art. 16 par. 2 du Règlement 883/2004. En effet, si la teneur de cette nouvelle disposition a été simplifiée par rapport à celle de la norme du Règlement 1408/71 qu'elle a remplacée, le sens n'en a toutefois pas été modifié. Que ce soit sous l'angle du droit national ou du droit européen, lorsque la nouvelle norme correspond à l'ancienne, il n'y a aucune raison de ne pas prendre en considération la jurisprudence relative à la seconde pour interpréter la première (arrêt cité 9C_602/2015 consid. 3.3 et les références; voir aussi arrêt 9C_171/2016 du 15 juin 2016 consid. 3.2.2 et les références). L'argumentation du recourant selon laquelle l'<ref-ruling> ne serait plus pertinent sous l'angle de l'art. 16 par. 2 du Règlement 883/2004 est dès lors mal fondée. Au demeurant, le recourant n'invoque aucun motif qui n'aurait pas déjà été pris en considération et discuté par le Tribunal fédéral dans l'arrêt 9C_602/2015 cité.
4.2. En second lieu, concernant l'interprétation de l'art. 16 par 2 du Règlement 883/2004, le recourant omet que selon l'art. 31 par. 1 de la Convention de Vienne, un traité doit être interprété de bonne foi suivant le sens ordinaire à attribuer à ses termes dans leur contexte et à la lumière de son objet et de son but. Dès lors, on ne voit pas en quoi le Tribunal administratif fédéral, respectivement le Tribunal fédéral à l'<ref-ruling> auraient contrevenu à cette disposition lorsqu'ils ont pris en considération non seulement le texte de l'art. 16 par. 2 du Règlement 883/2004, respectivement de l'art. 17bis du Règlement 1408/71, mais aussi l'objectif de ces normes au regard de leur contexte, leur objet et leur but. Il suffit de rappeler que l'objectif d'une affiliation inutile ressort des travaux préparatoires de la disposition topique, devenue entre-temps l'art. 16 par. 2 du Règlement 883/2004. Le reproche du recourant quant à une "condition d'application supplémentaire" qu'aurait introduite le Tribunal fédéral tombe à faux (arrêt cité 9C_602/2015 consid. 3.4).
4.3. S'agissant de l'argument du recourant relatif à l'absence de bénéfice, en particulier d'équivalence entre les cotisations AVS versées et les prestations allouées ainsi qu'à l'inutilité de ces dernières, on rappellera que le principe de solidarité prévalant dans l'AVS suisse implique l'absence d'équivalence. Par ailleurs, le Tribunal administratif fédéral a retenu à bon droit que l'affiliation à l'AVS en cause apporte une protection supplémentaire à l'intéressé, qui pourra bénéficier, une fois la durée minimale de cotisation observée (cf. <ref-law> en relation avec l'<ref-law> [RS 831.101]), d'une rente de vieillesse suisse en complément de ses rentes françaises; on ne saurait ainsi considérer qu'il s'agit là de "cotisations inutiles" au sens de l'art. 16 par. 2 du Règlement 883/2004 (arrêt 9C_602/2015 cité consid. 4; voir aussi arrêt 9C_171/2016 du 15 juin 2016 consid. 4).
4.4. Pour le reste, le recourant ne saurait rien tirer de l'art. 7 du Règlement en cause relatif à la levée des clauses de résidence. Cette disposition vise à garantir l'exportation sans limitation des rentes d'un Etat membre dans un autre Etat membre dans lequel réside la personne assurée. Cette garantie est pleinement respectée en l'espèce puisque le recourant bénéficie de rentes françaises en Suisse. Autre est la question de savoir s'il doit être affilié à l'AVS suisse.
En ce qui concerne ensuite la comparaison que fait le recourant avec les résidents suisses qui perçoivent une rente de l'AVS à l'occasion d'une retraite anticipée qui ne serait pas soumise à la perception de cotisations, elle n'est pas pertinente. L'affirmation du Tribunal administratif fédéral selon laquelle "les rentes (...) de l'AVS suisse ne sont pas prises en considération dans le calcul des cotisations" (arrêt entrepris consid. 9.3.1) se rapporte à la situation qui prévalait avant l'entrée en vigueur de la modification de l'<ref-law>, au 1 er janvier 2011. En vertu de cette disposition, seules les rentes de l'assurance-invalidité selon les art. 36 et 39 LAI ne font pas partie du revenu sous forme de rente; les rentes de l'AVS entrent en revanche dans le calcul des cotisations des personnes sans activité lucrative depuis le 1 er janvier 2011 (voir aussi ch. 2089 des Directives sur les cotisations des travailleurs indépendants et des personnes sans activité lucrative dans l'AVS, AI et APG [DIN]). La modification en question a notamment eu pour but de mettre sur un pied d'égalité les bénéficiaires de rentes d'un Etat de l'Union européenne et ceux de rentes selon le système suisse sous l'angle du revenu déterminant pour les cotisations sociales (Commentaire des modifications des RAVS du 1 er janvier 2011, OFAS, p. 4, accessible sous www.bsv.ch consulté le 19 mai 2017). Le grief tiré d'une discrimination tombe à faux.
De plus, le recourant invoque en vain qu'il subit déjà un prélèvement, sur ses retraites, d'une cotisation sociale généralisée (CSG), et subirait ainsi un cumul de charges trop lourdes au sens de l'<ref-law>; cette disposition ne s'applique pas dans les situations transfrontalières qui font l'objet, comme en l'espèce, d'une coordination par le biais d'une convention de sécurité sociale (arrêt 9C_301/2014 du 24 novembre 2014 consid. 3.3). Finalement, on ne voit pas quelle disposition légale permettrait voire contraindrait le Tribunal fédéral à demander un avis à une "commission administrative composée d'un représentant gouvernemental de chaque Etat membre" sur l'interprétation de l'art. 16 par. 2 du Règlement 883/2004; la conclusion y relative du recourant est également mal fondée.
5.
Il suit de ce qui précède que le recours doit être rejeté.
Les frais judiciaires sont mis à la charge du recourant (art. 66 al. 1 première phrase LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal administratif fédéral, Cour III.
Lucerne, le 26 mai 2017
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
La Présidente : Pfiffner
La Greffière : Flury