Faits :
A.
A._, né en 1957, ressortissant français, s'est établi à Genève en 2006, puis en Valais le 31 décembre 2016. Le 15 mars 2019, la Caisse cantonale genevoise de compensation (ci-après: la caisse) lui a fait savoir, en se référant aux renseignements communiqués par la Caisse de compensation du canton du Valais, que les personnes sans activité lucrative domiciliées en Suisse avaient l'obligation d'être affiliées à la caisse de compensation de leur lieu de domicile. Elle l'a invité à remplir un questionnaire et à produire ses déclarations d'impôts complètes et les justificatifs de ses moyens d'existence pour les années 2014 à 2016. Le 8 avril 2019, A._ a répondu qu'il n'était pas concerné par la demande, n'ayant jamais été sans activité lucrative ou en activité réduite pour les années 2014 à 2016 et encore moins postérieurement d'ailleurs. Le 25 avril 2019, la caisse a demandé à A._ de lui remettre les copies de ses attestations annuelles de salaire 2014 à 2016 (en Suisse ou à l'étranger) ainsi que les copies de ses déclarations d'impôts 2014 à 2016 complètes, dès lors qu'il n'avait déclaré aucun salaire durant ces années-là. Par lettre du 17 mai 2019, A._ a précisé à la caisse que depuis son arrivée en Suisse, il n'avait jamais eu de salaire que ce soit en Suisse ou provenant de l'étranger; il a ajouté qu'il ne souhaitait pas fournir ses déclarations d'impôts.
Le 6 juin 2019, la caisse a rendu quatre décisions. Dans la première, elle a affilié A._ en qualité de personne sans activité lucrative du 1er janvier 2014 au 31 décembre 2016. Dans les trois autres, sur la base de la fortune nette de l'assuré communiquée par l'administration fiscale, elle a fixé au total à 2192 fr. 40, pour les années 2014 à 2016, les cotisations personnelles AVS/AI/APG ainsi que les frais d'administration et les intérêts moratoires correspondants. Saisie d'une opposition, la caisse l'a écartée par décision du 27 novembre 2019.
B.
A._ a déféré la décision sur opposition à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales. Par arrêt du 21 décembre 2020, la juridiction cantonale a rejeté le recours dans la mesure de sa recevabilité.
C.
A._ interjette un recours en matière de droit public contre cet arrêt. Il conclut en substance à ce que des cotisations pour les années 2014 à 2016 ne soient mises ni à sa charge ni à celle de la société B._ SA. Il demande le versement de 5000 fr. en réparation d'un préjudice subi.
D.
Par arrêt de ce jour (9C_282/2021), le Tribunal fédéral a également statué sur le recours interjeté par A._ contre le jugement que le Tribunal cantonal du canton du Valais avait rendu le 29 avril 2021 dans la cause l'opposant à la Caisse de compensation du canton du Valais, portant sur son affiliation en tant que personne sans activité lucrative pour les années 2017 à 2019.
Considérant en droit :
1.
Saisi d'un recours en matière de droit public (art. 82 ss LTF), le Tribunal fédéral exerce un pouvoir d'examen limité. Il applique le droit d'office (art. 106 al. 1 LTF), y compris les traités internationaux conclus par la Suisse (cf. art. 95 let. b LTF; ATF 135 II 243 consid. 2), et statue sur la base des faits retenus par l'autorité précédente (art. 105 al. 1 LTF). Il peut néanmoins rectifier ou compléter d'office l'état de fait du jugement entrepris si des lacunes ou des erreurs manifestes lui apparaissent aussitôt (art. 105 al. 2 LTF).
2.
Le recourant a conclu au versement d'une indemnité de 5000 fr. en réparation d'un préjudice. En tant qu'il demande 3000 fr. de plus qu'en instance cantonale, cette conclusion est nouvelle et donc irrecevable (art. 99 al. 2 LTF). Pour le reste, la conclusion n'est pas motivée au sens de l'art. 42 al. 2 LTF, dès lors que le recourant ne conteste pas les considérations de la juridiction cantonale selon lesquelles cette conclusion excède l'objet du litige. Elle est dès lors irrecevable de ce chef.
3.
Le litige porte sur l'assujettissement obligatoire du recourant à l'assurance-vieillesse, survivants et invalidité suisse en tant que personne sans activité lucrative en Suisse durant les années 2014 à 2016, ainsi que sur le paiement des cotisations afférentes, frais d'administration et intérêts moratoires compris.
L'arrêt attaqué rappelle les règles applicables à la solution du litige (notamment les art. 1a al. 1 let. a et 10 LAVS, 28ss RAVS), si bien qu'il suffit d'y renvoyer.
4.
Le recourant indique qu'il n'a jamais été salarié en Suisse. Il précise que les cotisations qui avaient été versées à ce titre pour les années 2010 à 2013 avaient été remboursées par l'intimée à la société B._ SA, dont il était administrateur et actionnaire uniques, car elles résultaient d'une erreur de sa fiduciaire; il ajoute qu'il en est allé de même pour les années 2015 à 2019. Le recourant soutient que son affiliation à l'intimée comme personne sans activité lucrative pour les années 2014 à 2016 constitue une "duperie" et une "démarche déloyale", car l'intimée avait précédemment informé la Caisse C._ en France qu'il n'avait pas cotisé en Suisse, ce qui a eu un effet sur sa situation de retraite en France (prise en compte de 123 trimestres au lieu de 139) dès le 1er juin 2019. Il ajoute que l'intimée n'avait aucun intérêt digne de protection à rendre une décision (constatatoire) d'affiliation, puisqu'elle a pu rendre des décisions (condamnatoires) de cotisations.
5.
5.1. En tant que le recourant soutient que sa qualité de salarié avait été niée pour les années 2014 et 2016, il se fonde sur des documents qu'il produit pour la première fois en instance fédérale, sans expliquer en quoi il aurait été empêché de les déposer précédemment. Il n'y a dès lors pas lieu d'en tenir compte conformément à l'art. 99 al. 1 LTF (ATF 143 V 19 consid. 1.2).
5.2. A la lecture des échanges de lettres intervenus entre les parties (les 15 mars, 8 avril, 25 avril et 17 mai 2019), on constate que le recourant n'a pas collaboré à l'instruction de sa cause dans la mesure qui était raisonnablement exigible de sa part. En effet, lorsque l'intimée a cherché à connaître ses moyens d'existence pour les années 2014 à 2016 en lui demandant de déposer des copies de ses attestations annuelles de salaire 2014 à 2016 (en Suisse ou à l'étranger) ainsi que les copies de ses déclarations d'impôts 2014 à 2016 complètes, puisqu'il n'avait déclaré aucun salaire durant ces années-là, le recourant lui a simplement répondu que depuis son arrivée en Suisse, il n'avait jamais eu de salaire que ce soit en Suisse ou provenant de l'étranger. De plus, il a déclaré qu'il ne souhaitait pas fournir ses déclarations d'impôts.
En pareilles circonstances, puisque le recourant n'entendait pas collaborer, l'intimée pouvait statuer en l'état du dossier sans chercher à obtenir d'autres éléments sur ses revenus, en particulier une éventuelle rémunération liée à une activité salariée ou indépendante à l'étranger. A la lumière des renseignements recueillis conformément à l'art. 43 LPGA, le statut du recourant retenu par l'intimée, confirmé par la juridiction cantonale (une personne sans activité lucrative pour les années 2014 à 2016) n'apparaît pas critiquable. En effet, à défaut d'avoir participé à l'instruction, le recourant n'a pas rendu vraisemblable qu'il avait exercé une activité lucrative durant les années 2014 à 2016 en Suisse ou dans un Etat de l'Union européenne. Compte tenu de la nationalité française du recourant et de son domicile en Suisse, une telle constellation impliquait l'application de la législation suisse de sécurité sociale (art. 11 § 3 let. e du Règlement [CE] no 883/2004 du Parlement européen et du Conseil du 29 avril 2004 portant sur la coordination des systèmes de sécurité sociale, RS 0.831.109.268.1; ATF 140 V 98 consid. 8.1). Conformément à l'art. 1a al. 1 let. a LAVS, le recourant devait ainsi être affilié à l'AVS en tant que personne sans activité lucrative.
5.3. On ajoutera que le grief de "duperie" et de "démarche déloyale" que le recourant adresse à l'égard de l'intimée est infondé. D'une part, le recourant ne conteste pas l'exactitude des renseignements fournis à la Caisse C._ en France par la Caisse suisse de compensation au moment où ils ont été transmis (l'absence de cotisations en Suisse à l'époque). D'autre part, l'administration de l'AVS devait affilier le recourant puisque les conditions légales étaient remplies (cf. art. 1a al. 1 let. a et 10 LAVS, 28 et 29 RAVS). Une éventuelle communication subséquente à la Caisse C._ n'a pas à être examinée ici.
5.4. En ce qui concerne la décision d'affiliation du 6 juin 2019 en tant que telle, confirmée sur opposition le 27 novembre 2019, le recourant n'indique pas en quoi l'instance cantonale aurait violé le droit en renonçant formellement à l'annuler au motif que cela n'aurait aucune incidence sur l'issue du litige, puisque trois autres décisions fixant les cotisations ont été rendues simultanément. Avec les premiers juges et par identité de motifs, le Tribunal fédéral laissera cette question ouverte.
5.5. Finalement, on ne saurait suivre le recourant lorsqu'il soutient qu'il n'existe pas d'intérêt digne de protection dans le recouvrement tardif des cotisations, qui seraient en outre injustifiées. D'une part, les décisions du 6 juin 2019 ont été rendues dans le délai quinquennal prévu à l'art. 16 al. 1 LAVS; d'autre part, le recourant ne conteste pas les montants des cotisations, frais d'administration et intérêts en cause, si bien qu'il n'y a pas lieu de s'écarter des constatations de l'autorité précédente.
6.
Le recourant, qui succombe, supportera les frais de la procédure qui sont fixés en fonction de la valeur litigieuse (art. 65 al. 2 et 3, 66 al. 1 LTF; Tarif des émoluments judiciaires du Tribunal fédéral du 31 mars 2006, RS.173.110.210.1, ch. 1 et 2).
Par ces motifs, le Tribunal fédéral prononce :
1.
Dans la mesure où il est recevable, le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 600 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 5 avril 2022
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Berthoud