Faits :
A.
A._, né en 1957, ressortissant français, s'est établi à Genève en 2006, puis en Valais le 31 décembre 2016. A la demande de la Caisse cantonale valaisanne de compensation (ci-après: la caisse) qui s'était enquise de sa situation vis-à-vis de l'AVS par lettre du 11 février 2019, il a retourné le questionnaire annexé, le 24 février 2019, dans lequel il a indiqué qu'il bénéficierait de rentes étrangères à partir du 1er mai 2019 et qu'il continuerait à exercer une activité lucrative indépendante à mi-temps au service de la société B._ SA (dont le siège est à U._) lui rapportant un revenu annuel estimé à 30'000 fr.
Par écriture du 4 septembre 2019, la caisse lui a fait savoir qu'elle l'avait affilié auprès d'elle en tant que personne sans activité lucrative dès le 1er janvier 2017. Le 5 septembre 2019, la caisse a rendu une décision définitive de cotisations personnelles pour l'année 2017, portant sur un montant de 493 fr. 60 (cotisation minimale AVS/AI/APG et frais administratifs). Par deux décisions de cotisations provisoires pour les années 2018 et 2019, la caisse a fixé les cotisations et frais administratifs à respectivement 529 fr. 30 et 740 fr. 90. Saisie d'une opposition, la caisse l'a écartée par décision du 19 décembre 2019.
B.
A._ a déféré cette décision sur opposition au Tribunal cantonal du canton du Valais.
Le 3 février 2020, la caisse a rendu deux décisions rectificatives de cotisations personnelles pour les années 2018 et 2019, les fixant respectivement à 493 fr. 60 et 497 fr. 60. A._ s'est déterminé sur ces décisions.
Par jugement du 29 avril 2021, la juridiction cantonale a rejeté le recours.
C.
A._ interjette un recours en matière de droit public contre ce jugement, en concluant en substance à ce que des cotisations ne soient pas prélevées pour les années 2017 à 2019. Il demande le versement de 5000 fr. en réparation du préjudice subi.
L'intimée conclut implicitement au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer. Le recourant a déposé des observations sur la réponse de l'intimée.
D.
Par arrêt de ce jour (9C_123/2021), le Tribunal fédéral a statué sur le recours interjeté par A._ contre l'arrêt que la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, avait rendu le 21 décembre 2020 dans la cause l'opposant à la Caisse cantonale genevoise de compensation, portant sur son affiliation en tant que personne sans activité lucrative pour les années 2014 à 2016.

Considérant en droit :
1.
Saisi d'un recours en matière de droit public (<ref-law>), le Tribunal fédéral exerce un pouvoir d'examen limité. Il applique le droit d'office (<ref-law>), y compris les traités internationaux conclus par la Suisse (cf. <ref-law>; <ref-ruling> consid. 2), et statue sur la base des faits retenus par l'autorité précédente (<ref-law>). Il peut néanmoins rectifier ou compléter d'office l'état de fait du jugement entrepris si des lacunes ou des erreurs manifestes lui apparaissent aussitôt (<ref-law>).
2.
Le recourant a conclu au versement d'une indemnité de 5000 fr. en réparation d'un préjudice subi. En tant qu'il demande 4000 fr. de plus qu'en instance cantonale, cette conclusion est nouvelle et donc irrecevable (<ref-law>). Pour le reste, outre le fait qu'elle sort de l'objet du présent litige, la conclusion repose sur une simple affirmation selon laquelle il subirait une "minoration de sa retraite". Elle est dès lors insuffisamment motivée au sens de l'<ref-law> et est irrecevable de ce chef.
3.
Le litige porte sur l'assujettissement obligatoire du recourant à l'assurance-vieillesse, survivants et invalidité suisse en tant que personne sans activité lucrative en Suisse durant les années 2017 à 2019, ainsi que sur le paiement des cotisations et des frais d'administration afférents.
Les premiers juges ont mentionné les règles applicables à la solution du litige (notamment les art. 1a al. 1 let. a et 10 LAVS, 28 à 30 RAVS), si bien qu'il suffit de renvoyer au jugement attaqué.
4.
Dans un premier moyen, le recourant se réfère au questionnaire qu'il avait rempli le 24 février 2019 à la demande de l'intimée. Il indique qu'il avait précisé dans ce document qu'il continuait à exercer une activité lucrative indépendante à mi-temps au service de la société B._ SA lui rapportant un revenu annuel estimé à 30'000 fr. Le recourant en déduit qu'il n'est pas sans activité lucrative, de sorte qu'il ne devrait pas être affilié à ce titre auprès de l'intimée.
5.
A l'examen du questionnaire du 24 février 2019, il apparaît que les constatations de fait du jugement entrepris sont lacunaires dans la mesure où les déclarations du recourant relatives à l'exercice d'une activité lucrative indépendante à mi-temps pour la société B._ SA, dont le siège est à U._, lui rapportant un revenu annuel estimé à 30'000 fr., n'ont pas été mentionnées et que la juridiction cantonale n'en a pas été tenu compte dans son appréciation. Or ces déclarations ne pouvaient pas être totalement ignorées, car elles seraient susceptibles d'influer sur le sort de la cause (cf. <ref-law>).
En l'état du dossier, il n'est pas établi si le recourant a effectivement exercé une activité lucrative, comme il l'avait indiqué dans le questionnaire du 24 février 2019, puis en instance cantonale (écriture du 5 mai 2020), où il avait précisé avoir travaillé comme indépendant du 1er janvier 2017 jusqu'au 31 mai 2019. L'intimée a fait fi de cette information et a affilié le recourant comme personne sans activité lucrative dès le 1er janvier 2017. Or en vertu de son devoir d'instruction au sens de l'<ref-law>, il appartenait à l'intimée à tout le moins d'interpeller le recourant sur le bien-fondé de ses déclarations et lui donner l'occasion de rendre vraisemblable l'exercice d'une activité indépendante en Suisse, voire à l'étranger. Suivant la réponse (une activité exercée en Suisse ou dans un pays de l'Union européenne, substantiellement ou non), la caisse intimée est ou non compétente pour prélever des cotisations (cf. art. 4 et 8 LAVS; art. 13 § 1 et § 3 du Règlement [CE] no 883/2004 du Parlement européen et du Conseil du 29 avril 2004 portant sur la coordination des systèmes de sécurité sociale, RS 0.831.109.268.1). Il convient dès lors de renvoyer la cause à l'intimée pour qu'elle complète l'instruction sur ce point.
Partant, le jugement attaqué du 29 avril 2021, la décision sur opposition du 19 décembre 2019 de même que les décisions du 3 février 2020 afférentes aux années 2018 et 2019 seront annulés, la cause étant renvoyée à la caisse intimée afin qu'elle fasse la lumière sur ce qui précède, puis le cas échéant fixe les cotisations qui seraient éventuellement dues. Dans ce contexte, on relèvera que la perception de cotisations liées à l'exercice d'une activité lucrative dans un pays de l'Union européenne ne serait en principe pas compatible avec le versement de cotisations pour personne sans activité lucrative en Suisse (cf. art. 11 § 3 du Règlement no 883/2004).
6.
L'intimée, qui succombe, supportera les frais de la procédure qui sont fixés en fonction de la valeur litigieuse (art. 65 al. 2 et 3, 66 al. 1 LTF; Tarif des émoluments judiciaires du Tribunal fédéral du 31 mars 2006, RS 173.110.210.1, ch. 1 et 2).

Par ces motifs, le Tribunal fédéral prononce :
1.
Dans la mesure où il est recevable, le recours est partiellement admis en ce sens que le jugement du Tribunal cantonal du canton du Valais du 29 avril 2021, la décision sur opposition de la Caisse cantonale valaisanne de compensation du 19 décembre 2019, de même que les décisions du 3 février 2020 afférentes aux années 2018 et 2019, sont annulés, la cause étant renvoyée à cette dernière pour instruction complémentaire au sens des considérants et nouvelle décision.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimée.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 5 avril 2022
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président : Parrino
Le Greffier : Berthoud