Faits:
Faits:
A. M._ a cessé toute activité professionnelle le 31 août 1996 pour des raisons de santé. Depuis le 1er juillet 1997, il perçoit une pension LPP de Patria Société suisse d'assurances sur la vie. Le 30 avril 1998, il s'est annoncé auprès de la Caisse cantonale genevoise de compensation (la caisse) en qualité de personne sans activité lucrative.
Par quatre décisions du 7 juin 2002, la caisse a fixé les cotisations personnelles AVS/AI/APG (y compris les frais administratifs) dues par M._ pour les années 1997, 1998, 1999 et 2000. D'un montant de 1'453 fr. 60 pour 1997, de 400 fr. 80 pour 1998 et de 622 fr. 80 pour chacune des deux années suivantes, les cotisations ont été calculées sur la base du revenu acquis sous forme de rente et de la fortune de l'intéressé durant les années prises en considération.
Par quatre décisions du 7 juin 2002, la caisse a fixé les cotisations personnelles AVS/AI/APG (y compris les frais administratifs) dues par M._ pour les années 1997, 1998, 1999 et 2000. D'un montant de 1'453 fr. 60 pour 1997, de 400 fr. 80 pour 1998 et de 622 fr. 80 pour chacune des deux années suivantes, les cotisations ont été calculées sur la base du revenu acquis sous forme de rente et de la fortune de l'intéressé durant les années prises en considération.
B. Le recours formé par M._ contre ces décisions devant la Commission cantonale de recours AVS/AI de la République et canton de Genève (aujourd'hui : Tribunal cantonal des assurances sociales, Genève) a été rejeté par jugement du 2 septembre 2003.
B. Le recours formé par M._ contre ces décisions devant la Commission cantonale de recours AVS/AI de la République et canton de Genève (aujourd'hui : Tribunal cantonal des assurances sociales, Genève) a été rejeté par jugement du 2 septembre 2003.
C. L'assuré interjette recours de droit administratif contre ce jugement dont il requiert implicitement l'annulation.
La caisse conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
Considérant en droit:
1. Le litige porte sur le bien-fondé des cotisations personnelles AVS/AI/APG (plus les frais d'administration) que l'intimée réclame au recourant pour les années 1997 à 2000.
1. Le litige porte sur le bien-fondé des cotisations personnelles AVS/AI/APG (plus les frais d'administration) que l'intimée réclame au recourant pour les années 1997 à 2000.
2. La loi fédérale sur la partie générale du droit des assurances sociales (LPGA) du 6 octobre 2000, entrée en vigueur au 1er janvier 2003, n'est pas applicable au présent litige, dès lors que le juge des assurances sociales n'a pas à prendre en considération les modifications du droit ou de l'état de fait postérieures à la date des décisions litigieuses du 7 juin 2002 (<ref-ruling> consid. 1, 121 V 366 consid. 1b).
2. La loi fédérale sur la partie générale du droit des assurances sociales (LPGA) du 6 octobre 2000, entrée en vigueur au 1er janvier 2003, n'est pas applicable au présent litige, dès lors que le juge des assurances sociales n'a pas à prendre en considération les modifications du droit ou de l'état de fait postérieures à la date des décisions litigieuses du 7 juin 2002 (<ref-ruling> consid. 1, 121 V 366 consid. 1b).
3. La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
3. La décision litigieuse n'ayant pas pour objet l'octroi ou le refus de prestations d'assurance, le Tribunal fédéral des assurances doit se borner à examiner si les premiers juges ont violé le droit fédéral, y compris par l'excès ou par l'abus de leur pouvoir d'appréciation, ou si les faits pertinents ont été constatés d'une manière manifestement inexacte ou incomplète, ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 132 en corrélation avec les art. 104 let. a et b et 105 al. 2 OJ).
4. 4.1 En vertu de l'art. 10 al. 1 LAVS, les assurés n'exerçant aucune activité lucrative paient une cotisation de 324 francs à 8'400 francs par an suivant leurs conditions sociales. L'art. 10 al. 3 LAVS délègue au Conseil fédéral la compétence d'édicter des règles plus détaillées sur le calcul des cotisations. L'autorité exécutive s'est acquittée de ce mandat aux art. 28 à 30 RAVS et a prescrit - au titre des conditions sociales - de fixer les cotisations sur la base de la fortune et du revenu annuel acquis sous forme de rente multiplié par 20 (art. 28 RAVS). Le Tribunal fédéral des assurances a toujours reconnu la légalité de cette disposition (<ref-ruling> consid. 3a et les références citées).
4.2 Ainsi, seuls peuvent échapper aux cotisations qui sont prévues pour les personnes n'exerçant pas d'activité lucrative, les assurés qui sont en mesure de justifier, pour chacune des années considérées, le versement de cotisations provenant d'une activité lucrative d'un montant supérieur au minimum fixé à l'art. 10 al. 1 LAVS.
En l'espèce, le recourant n'allègue pas avoir travaillé et versé, en qualité de personne active, des cotisations durant les années litigieuses, soit de 1997 à 2000. En conséquence, il y a lieu de reconnaître qu'il est tenu de cotiser en qualité de personne sans activité lucrative. L'intéressé ne conteste au demeurant pas le principe de son assujettissement à de telles cotisations, mais s'en prend au montant de celles-ci.
En l'espèce, le recourant n'allègue pas avoir travaillé et versé, en qualité de personne active, des cotisations durant les années litigieuses, soit de 1997 à 2000. En conséquence, il y a lieu de reconnaître qu'il est tenu de cotiser en qualité de personne sans activité lucrative. L'intéressé ne conteste au demeurant pas le principe de son assujettissement à de telles cotisations, mais s'en prend au montant de celles-ci.
5. 5.1 L'art. 29 RAVS (dans sa teneur en vigueur jusqu'au 31 décembre 2000) prescrit de fixer la cotisation annuelle en général pour une période de deux ans (al. 1), sur la base du revenu annuel moyen acquis sous forme de rente d'une période de deux ans elle aussi (comprenant la deuxième et la troisième années antérieures à la période de cotisations) ainsi que d'après la fortune, le jour déterminant pour le calcul de cette dernière étant en général le 1er janvier de l'année qui précède la période de cotisations (al. 2). Aux termes de l'art. 29 al. 3 RAVS (dans sa teneur en vigueur depuis le 1er janvier 1997), les autorités fiscales cantonales établissent la fortune déterminant le calcul des cotisations des personnes sans activité lucrative sur la base de la taxation cantonale passée en force. Les art. 22 à 27 RAVS (relatifs aux cotisations des personnes exerçant une activité lucrative indépendante) sont applicables par analogie (art. 29 al. 4 RAVS). Quant au revenu acquis sous forme de rente, il doit être établi par les caisses de compensation avec la collaboration - dans la mesure du possible - des autorités fiscales (art. 29 al. 5 RAVS).
La cour de céans a déjà eu l'occasion de juger que lorsqu'un assuré cesse d'exercer toute activité lucrative, les cotisations sont fixées d'après l'état de la fortune à ce moment-là, l'art. 25 RAVS étant applicable par analogie (<ref-ruling> consid. 2c). Il y a lieu de se fonder sur la situation économique réelle de l'assuré durant l'année ou les années considérées, jusqu'au moment où il sera possible d'entrer dans la procédure ordinaire.
Par analogie avec l'art. 25 al. 1 RAVS (dans sa teneur en vigueur jusqu'au 31 décembre 2000), relatif à la procédure extraordinaire de fixation des cotisations des personnes exerçant une activité lucrative indépendante, lorsque la fortune, respectivement le revenu acquis sous forme de rente d'un assuré non actif a subi une modification importante depuis le jour déterminant, le nouvel état de la fortune sert de base au calcul des cotisations jusqu'au début de la prochaine période ordinaire de cotisations. La pratique administrative selon laquelle, dans ce contexte, une variation de fortune doit être considérée comme importante lorsqu'il en résulte une augmentation ou une diminution des cotisations d'au moins 25 % n'est pas contraire à la loi (<ref-ruling> consid. 6b et la référence citée).
5.2 En l'espèce, l'obligation de cotiser en qualité de personne sans activité lucrative a pris naissance le 1er janvier 1997. La caisse était donc fondée à fixer les cotisations en fonction de la situation économique réelle de l'intéressé durant l'année 1997. Il en va de même pour les deux années subséquentes, étant donné, d'une part, qu'il n'était pas encore possible de déterminer les éléments de calcul des cotisations conformément à la procédure ordinaire (art. 29 RAVS) et, d'autre part, que la variation de la fortune (y compris les revenus acquis sous forme de rente capitalisés), au vu des constatations de fait des premiers juges, était importante au sens de la jurisprudence mentionnée ci-dessus. Enfin, les cotisations relatives à l'année 2000 doivent être fixées séparément, conformément à l'al. 1 de la disposition dérogatoire pour les années de cotisation 2000 et 2001 des dispositions finales du RAVS.
L'application de la procédure extraordinaire de fixation des cotisations était dès lors lors justifiée pour les quatre années considérées.
5.3 En ce qui concerne le calcul des cotisations, la caisse et les premiers juges ont correctement appliqué les principes exposés ci-dessus. En particulier, il a été tenu compte de la fortune de l'intéressé telle que déterminée par l'autorité fiscale (cf. art. 29 al. 3 RAVS). Quant aux revenus acquis sous forme de rente, ils ont été établis sur la base des renseignements fournis par l'autorité fiscale pour l'année 1997 et du décompte relatif aux versements de Patria remis par l'intéressé (art. 29 al. 5 RAVS). Ils comprennent les indemnités journalières perçues par le recourant (sur l'assimilation des indemnités journalières de l'assurance-accidents ou de l'assurance-maladie à une rente au sens de l'art. 28 al. 1 RAVS : cf. <ref-ruling> et RCC 1980 p. 211 consid. 2), ainsi que les prestations de Patria. Enfin, il ne ressort pas du dossier que la caisse aurait commis une erreur dans le calcul des cotisations.
5.4 On ajoutera encore que c'est en vain que le recourant reproche à la caisse de lui avoir réclamé en une fois les cotisations relatives aux années 1997 à 2000. En effet, en principe, la caisse fixe le montant des acomptes de cotisations que l'assuré doit verser périodiquement durant chaque année de cotisation (art. 24 al. 1 et 2 RAVS). Dans le cas d'espèce cependant, le recourant s'est annoncé de manière tardive à la caisse (le 30 avril 1998, alors que la période d'assujettissement en qualité de personne sans activité lucrative avait pris naissance le 1er janvier 1997) et il n'a fourni les documents nécessaires à la fixation de ses cotisations qu'en mai 2002. Dès lors, il ne peut être reproché à la caisse d'avoir tardé à statuer et de n'avoir réclamé les cotisations dues qu'en juin 2002.
5.4 On ajoutera encore que c'est en vain que le recourant reproche à la caisse de lui avoir réclamé en une fois les cotisations relatives aux années 1997 à 2000. En effet, en principe, la caisse fixe le montant des acomptes de cotisations que l'assuré doit verser périodiquement durant chaque année de cotisation (art. 24 al. 1 et 2 RAVS). Dans le cas d'espèce cependant, le recourant s'est annoncé de manière tardive à la caisse (le 30 avril 1998, alors que la période d'assujettissement en qualité de personne sans activité lucrative avait pris naissance le 1er janvier 1997) et il n'a fourni les documents nécessaires à la fixation de ses cotisations qu'en mai 2002. Dès lors, il ne peut être reproché à la caisse d'avoir tardé à statuer et de n'avoir réclamé les cotisations dues qu'en juin 2002.
6. Il suit de ce qui précède que le recours est mal fondé.
La procédure n'est pas gratuite, s'agissant d'un litige qui ne porte pas sur l'octroi ou le refus de prestations d'assurance (art. 134 OJ a contrario). Le recourant, qui succombe, supportera les frais de justice (art. 156 al. 1 OJ).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Les frais de justice, d'un montant de 700 fr., sont mis à la charge du recourant et sont compensés avec l'avance, d'un même montant, qu'il a versée.
2. Les frais de justice, d'un montant de 700 fr., sont mis à la charge du recourant et sont compensés avec l'avance, d'un même montant, qu'il a versée.
3. Le présent arrêt sera communiqué aux parties, au Tribunal cantonal genevois des assurances sociales et à l'Office fédéral des assurances sociales.
Lucerne, le 24 décembre 2003
Au nom du Tribunal fédéral des assurances
Le Président de la IIIe Chambre: La Greffière: