Faits: Faits: A. M._ a cessé toute activité professionnelle le 31 août 1996 pour des raisons de santé. Depuis le 1er juillet 1997, il perçoit une pension LPP de Patria Société suisse d'assurances sur la vie. Le 30 avril 1998, il s'est annoncé auprès de la Caisse cantonale genevoise de compensation (la caisse) en qualité de personne sans activité lucrative. Par quatre décisions du 7 juin 2002, la caisse a fixé les cotisations personnelles AVS/AI/APG (y compris les frais administratifs) dues par M._ pour les années 1997, 1998, 1999 et 2000. D'un montant de 1'453 fr. 60 pour 1997, de 400 fr. 80 pour 1998 et de 622 fr. 80 pour chacune des deux années suivantes, les cotisations ont été calculées sur la base du revenu acquis sous forme de rente et de la fortune de l'intéressé durant les années prises en considération. Par quatre décisions du 7 juin 2002, la caisse a fixé les cotisations personnelles AVS/AI/APG (y compris les frais administratifs) dues par M._ pour les années 1997, 1998, 1999 et 2000. D'un montant de 1'453 fr. 60 pour 1997, de 400 fr. 80 pour 1998 et de 622 fr. 80 pour chacune des deux années suivantes, les cotisations ont été calculées sur la base du revenu acquis sous forme de rente et de la fortune de l'intéressé durant les années prises en considération. B. Le recours formé par M._ contre ces décisions devant la Commission cantonale de recours AVS/AI de la République et canton de Genève (aujourd'hui : Tribunal cantonal des assurances sociales, Genève) a été rejeté par jugement du 2 septembre 2003. B. Le recours formé par M._ contre ces décisions devant la Commission cantonale de recours AVS/AI de la République et canton de Genève (aujourd'hui : Tribunal cantonal des assurances sociales, Genève) a été rejeté par jugement du 2 septembre 2003. C. L'assuré interjette recours de droit administratif contre ce jugement dont il requiert implicitement l'annulation. La caisse conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.