Faits:
Faits:
A. J._, né le 11 avril 1940, a cessé toute activité à fin mars 1998 et s'est établi en Suisse le 25 septembre de la même année. Il est affilié auprès de la Caisse de compensation du canton du Valais (la caisse) depuis le 1er octobre 1998.
Par décision du 7 mars 2003, la caisse a fixé à 4'161 fr. 20 le montant des cotisations personnelles AVS/AI/APG dues par le prénommé en qualité de personne sans activité lucrative pour la période du 1er janvier au 31 décembre 2003.
L'opposition de l'assuré a été rejetée par décision sur opposition du 15 avril 2003.
L'opposition de l'assuré a été rejetée par décision sur opposition du 15 avril 2003.
B. J._ a formé recours contre cette décision devant le Tribunal des assurances du canton du Valais. Il s'est plaint de diverses discriminations et a conclu, principalement, à l'annulation de la décision attaquée et, subsidiairement, au renvoi de la cause à la caisse en vue de trouver un arrangement.
Par jugement du 15 septembre 2003, la juridiction cantonale a débouté l'assuré et confirmé la décision entreprise.
Par jugement du 15 septembre 2003, la juridiction cantonale a débouté l'assuré et confirmé la décision entreprise.
C. L'intéressé interjette recours de droit administratif contre ce jugement, concluant à son annulation, ainsi qu'à celle de la décision de la caisse du 15 avril 2003.
La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. Le présent litige a pour objet l'obligation de cotiser du recourant selon l'art. 3 al. 1 2ème phrase LAVS, qui dispose que les personnes sans activité lucrative sont tenues de payer des cotisations à compter du 1er janvier de l'année qui suit la date à laquelle elles ont eu 20 ans, cette obligation cessant à la fin du mois où les hommes atteignent l'âge de 65 ans et les femmes l'âge - actuellement - de 63 ans (cf., en ce qui concerne les femmes, la lettre d des dispositions finales de la 10ème révision de l'AVS).
1. Le présent litige a pour objet l'obligation de cotiser du recourant selon l'art. 3 al. 1 2ème phrase LAVS, qui dispose que les personnes sans activité lucrative sont tenues de payer des cotisations à compter du 1er janvier de l'année qui suit la date à laquelle elles ont eu 20 ans, cette obligation cessant à la fin du mois où les hommes atteignent l'âge de 65 ans et les femmes l'âge - actuellement - de 63 ans (cf., en ce qui concerne les femmes, la lettre d des dispositions finales de la 10ème révision de l'AVS).
2. La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
2. La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
3. 3.1 Dans son écriture, le recourant se prévaut en premier lieu d'une violation de son droit d'être entendu. D'une part, il fait valoir que la décision de l'intimée du 7 mars 2003 a été prise sans qu'il lui ait été accordé la possibilité de s'exprimer; d'autre part, il fait grief aux premiers juges de ne pas avoir pris en considération sa requête de citation de témoins visant à préciser les conditions de mise à la retraite d'un ancien haut fonctionnaire fédéral.
3.2 Le droit d'être entendu est une garantie constitutionnelle de caractère formel, dont la violation doit entraîner l'annulation de la décision attaquée, indépendamment des chances de succès du recourant sur le fond (<ref-ruling> consid. 3d/aa, 126 V 132 consid. 2b et les arrêts cités).
La jurisprudence, rendue sous l'empire de l'art. 4 aCst. et qui s'applique également à l'art. 29 al. 2 Cst. (<ref-ruling> consid. 2b, 127 III 578 consid. 2c, 126 V 130 consid. 2a), a déduit du droit d'être entendu, en particulier, le droit pour le justiciable de s'expliquer avant qu'une décision ne soit prise à son détriment, celui de fournir des preuves quant aux faits de nature à influer sur le sort de la décision, celui d'avoir accès au dossier, celui de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos (<ref-ruling> consid. 2a/aa, 124 V 181 consid. 1a, 375 consid. 3b et les références).
3.3 En ce qui concerne la procédure préalable à la décision du 7 mars 2003, le grief n'est pas fondé. Selon un principe général de la procédure administrative, l'autorité n'est pas tenue d'entendre les parties avant de prendre une décision susceptible d'être frappée d'opposition (<ref-law>). Ce principe est aujourd'hui spécifiquement consacré, en matière d'assurances sociales, à l'art. 42 2ème phrase LPGA.
3.3 En ce qui concerne la procédure préalable à la décision du 7 mars 2003, le grief n'est pas fondé. Selon un principe général de la procédure administrative, l'autorité n'est pas tenue d'entendre les parties avant de prendre une décision susceptible d'être frappée d'opposition (<ref-law>). Ce principe est aujourd'hui spécifiquement consacré, en matière d'assurances sociales, à l'art. 42 2ème phrase LPGA.
3.4 3.4.1 Quant à la renonciation, par la juridiction cantonale, aux témoignages requis, il convient de préciser que si l'administration ou le juge, se fondant sur une appréciation consciencieuse des preuves fournies par les investigations auxquelles ils doivent procéder d'office, sont convaincus que certains faits présentent un degré de vraisemblance prépondérante et que d'autres mesures probatoires ne pourraient plus modifier cette appréciation, il est superflu d'administrer d'autres preuves (appréciation anticipée des preuves; Kieser, Das Verwaltungsverfahren in der Sozialversicherung, p. 212, n° 450; Kölz/Häner, Verwaltungsverfahren und Verwaltungsrechtspflege des Bundes, 2e éd., p. 39, n° 111 et p. 117, n° 320; Gygi, Bundesverwaltungsrechtspflege, 2e éd., p. 274; cf. aussi <ref-ruling> consid. 4a, 122 III 223 consid. 3c, 120 Ib 229 consid. 2b, 119 V 344 consid. 3c et la référence). Une telle manière de procéder ne viole pas le droit d'être entendu selon l'art. 29 al. 2 Cst. (SVR 2001 IV n° 10 p. 28 consid. 4b), la jurisprudence rendue sous l'empire de l'art. 4 aCst. étant toujours valable (<ref-ruling> consid. 4b, 122 V 162 consid. 1d et l'arrêt cité).
3.4.2 In casu, on constate qu'en s'abstenant de compléter l'instruction par l'audition de témoins qui auraient permis de déterminer les conditions de mise à la retraite anticipée d'un ancien haut fonctionnaire fédéral, la juridiction cantonale n'a pas violé le droit d'être entendu du recourant.
En effet, le recourant ne prétend pas avoir été traité différemment du fonctionnaire auquel il fait référence du point de vue du paiement des cotisations. Par ailleurs, la question des conditions de mise à la retraite anticipée de ce fonctionnaire n'ont rien à voir avec l'application de la LAVS. Le fait que le recourant entendait prouver était dès lors manifestement dénué de pertinence.
Par conséquent, c'est à bon droit que les premiers juges n'ont pas procédé à l'audition des témoins requis (cf. aussi art. 61 let. c LPGA aux termes duquel le tribunal administre les preuves nécessaires).
Par conséquent, c'est à bon droit que les premiers juges n'ont pas procédé à l'audition des témoins requis (cf. aussi art. 61 let. c LPGA aux termes duquel le tribunal administre les preuves nécessaires).
4. Le recourant se plaint également d'une violation du droit à l'égalité entre hommes et femmes, garanti à l'art. 8 Cst. Il considère que l'<ref-law>, dans la mesure où il instaure une différence de traitement entre les hommes et les femmes en ce qui concerne la durée de l'obligation de cotiser, ne devait pas être appliqué et que son obligation de cotiser aurait dû, en conséquence, être limitée au 30 avril 2003 (fin du mois au cours duquel il a eu 63 ans).
Ainsi que cela découle de l'art. 191 Cst., le Tribunal fédéral des assurances est tenu d'appliquer les lois votées par l'Assemblée fédérale et les arrêtés de cette assemblée qui ont une portée générale (RAMA 2000 no KV 118 p. 152, consid. 2a). Le grief est donc d'emblée irrecevable.
Ainsi que cela découle de l'art. 191 Cst., le Tribunal fédéral des assurances est tenu d'appliquer les lois votées par l'Assemblée fédérale et les arrêtés de cette assemblée qui ont une portée générale (RAMA 2000 no KV 118 p. 152, consid. 2a). Le grief est donc d'emblée irrecevable.
5. Le recourant ne contestant pas le calcul des cotisations opéré par l'intimée et le jugement cantonal ne portant, pour le surplus, pas le flanc à la critique, le recours doit être rejeté.
5. Le recourant ne contestant pas le calcul des cotisations opéré par l'intimée et le jugement cantonal ne portant, pour le surplus, pas le flanc à la critique, le recours doit être rejeté.
6. La procédure n'étant pas gratuite, le recourant, qui succombe, supportera les frais de justice.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Les frais de justice, d'un montant de 700 fr., sont mis à la charge du recourant et sont compensés avec l'avance, d'un même montant, qu'il a versée.
2. Les frais de justice, d'un montant de 700 fr., sont mis à la charge du recourant et sont compensés avec l'avance, d'un même montant, qu'il a versée.
3. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton du Valais et à l'Office fédéral des assurances sociales.
Lucerne, le 22 décembre 2003
Au nom du Tribunal fédéral des assurances
Le Président de la IIe Chambre: La Greffière: