Faits: Faits: A. J._, né le 11 avril 1940, a cessé toute activité à fin mars 1998 et s'est établi en Suisse le 25 septembre de la même année. Il est affilié auprès de la Caisse de compensation du canton du Valais (la caisse) depuis le 1er octobre 1998. Par décision du 7 mars 2003, la caisse a fixé à 4'161 fr. 20 le montant des cotisations personnelles AVS/AI/APG dues par le prénommé en qualité de personne sans activité lucrative pour la période du 1er janvier au 31 décembre 2003. L'opposition de l'assuré a été rejetée par décision sur opposition du 15 avril 2003. L'opposition de l'assuré a été rejetée par décision sur opposition du 15 avril 2003. B. J._ a formé recours contre cette décision devant le Tribunal des assurances du canton du Valais. Il s'est plaint de diverses discriminations et a conclu, principalement, à l'annulation de la décision attaquée et, subsidiairement, au renvoi de la cause à la caisse en vue de trouver un arrangement. Par jugement du 15 septembre 2003, la juridiction cantonale a débouté l'assuré et confirmé la décision entreprise. Par jugement du 15 septembre 2003, la juridiction cantonale a débouté l'assuré et confirmé la décision entreprise. C. L'intéressé interjette recours de droit administratif contre ce jugement, concluant à son annulation, ainsi qu'à celle de la décision de la caisse du 15 avril 2003. La caisse conclut au rejet du recours, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.