Faits: A. A.a Le 13 août 2007, la Caisse cantonale genevoise de compensation (ci-après: la caisse) a décidé de compenser la créance de 11'388 fr. 60 qu'elle avait à l'encontre de S._, en raison de cotisations de l'AVS/AI personnelles dues au 30 novembre 2006, par une retenue mensuelle de 400 fr. sur sa rente AVS. A la suite de l'opposition de l'assuré, qu'elle a partiellement admise, la caisse a modifié le montant de la créance (9519 fr. 60) à compenser avec la rente (décision sur opposition du 6 novembre 2007). S._ a recouru contre cette décision au Tribunal cantonal des assurances sociales de la République et canton de Genève, en contestant le montant de la créance. Le 28 août 2008, la caisse a dressé un nouvel état des comptes qui mettait en évidence que le solde dû alors était de 3982 fr. 30. Le 1er septembre 2008, l'intéressé a dit accepter de payer cette somme à titre de solde de tout compte définitif. Par jugement du 18 novembre 2008, le Tribunal a pris acte du retrait du recours et rayé la cause du rôle. A.b Par décision du 13 juillet 2009, la caisse a constaté que la dette de l'assuré au 30 novembre 2006 était amortie et fixé à 1107 fr. 95 le montant des intérêts moratoires dus par ce dernier. A la suite de l'opposition de S._, qu'elle a rejetée, la caisse a fixé à 690 fr. 25 le solde dû, compte tenu d'un paiement de 417 fr. 70 (décision sur opposition du 27 octobre 2009). B. Saisi d'un recours par l'intéressé, le Tribunal cantonal genevois des assurances sociales l'a rejeté par jugement du 15 décembre 2009. C. S._ interjette un recours en matière de droit public contre ce jugement. Il conclut en substance à ce qu'il soit exonéré du paiement des intérêts moratoires. Le Tribunal fédéral a renoncé à procéder à un échange d'écritures.