Faits:
A. V._, est titulaire d'une rente de vieillesse de l'assurance-vieillesse et survivants depuis le 1er juillet 2001. Par décision du 9 juillet 2008, confirmée sur opposition le 1er septembre suivant, la Caisse cantonale genevoise de compensation (ci-après: la caisse de compensation) a constaté que l'assuré était débiteur d'un montant de 2'292 fr. 40 correspondant aux cotisations dues pour les années 1996 à 2001 (frais de rappel et intérêts moratoires compris) et informé l'intéressé que cette somme serait compensée par une retenue mensuelle de 458 fr. sur la rente de vieillesse qu'elle lui versait, jusqu'à extinction de sa créance.
B. Par jugement du 15 juillet 2009, le Tribunal cantonal des assurances sociales de la République et canton de Genève a admis le recours formé par l'assuré contre la décision sur opposition du 1er septembre 2008, annulé ladite décision en tant qu'elle portait sur la compensation des créances de cotisations relatives aux années 1996 à 2000, et condamné la caisse de compensation à rembourser les montants compensés à tort sur la rente de vieillesse de l'assuré, sous déduction d'un montant de 288 fr. 40.
C. La caisse de compensation interjette un recours en matière de droit public contre ce jugement. Elle conclut à l'annulation de celui-ci et à la confirmation de la décision du 1er septembre 2008.
V._ s'en rapporte à justice, tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
Considérant en droit:
1. 1.1 Selon l'art. 20 al. 2 LAVS, les créances découlant de la LAVS peuvent être compensées avec des prestations échues. Contrairement à la teneur littérale de cette disposition, la caisse de compensation a non seulement le droit mais aussi l'obligation, dans le cadre des prescriptions légales, de compenser des cotisations dues, frais de poursuites et autres frais administratifs avec des prestations échues (ATF 115 V 341 consid. 2a p.342 et les arrêts cités). La compensation opérée avec une rente n'est toutefois possible que dans la mesure où le montant retenu sur la rente mensuelle ne touche pas le minimum vital de la personne tenue à restitution (ATF 128 V 50 consid. 4a p. 53 et les références).
1.2 Selon l'art. 16 al. 1 LAVS, les cotisations dont le montant n'a pas été fixé par décision notifiée dans un délai de cinq ans à compter de la fin de l'année civile pour laquelle elles sont dues ne peuvent plus être exigées ni payées. Aux termes de l'art. 16 al. 2 LAVS, la créance de cotisations, fixée par décision notifiée conformément au 1er alinéa, s'éteint cinq ans après la fin de l'année civile au cours de laquelle la décision est passée en force. L'échéance de l'un ou de l'autre de ces délais entraîne péremption: il ne subsiste aucune obligation naturelle susceptible d'être exécutée volontairement ou par compensation (ATFA 1955 p. 194). La loi fait une exception à ce principe à la dernière phrase de l'art. 16 al. 2 LAVS: la créance non éteinte lors de l'ouverture de droit à la rente peut en tout cas être encore compensée conformément à l'art. 20 al. 2 LAVS. Le motif pour lequel le législateur a introduit cette exception réside dans le fait que les cotisations fixées dans une décision passée en force, mais non encore payées, peuvent être formatrices de rentes (ATFA 1955 p. 35 consid. 1a; Message du 5 mai 1953 relatif à un projet de loi modifiant celle sur l'assurance-vieillesse et survivants [2e révision de l'AVS], FF 1953 II 113). Cette exception ne concerne que le délai de péremption de cotisations fixées par décision notifiée dans le délai prévu à l'art. 16 al. 1 LAVS. Une fois acquise la prescription selon l'art. 16 al. 1 LAVS, toute possibilité de compensation au sens de l'art. 16 al. 2, dernière phrase, LAVS fait défaut. Cette disposition n'est ainsi applicable que si les cotisations ont été fixées dans le délai prévu au 1er alinéa et si le délai de perception n'était pas encore échu lors de l'ouverture du droit à la rente (ATFA 1957 p. 38 consid. 4; UELI KIESER, Alters- und Hinterlassenenversicherung, in Soziale Sicherheit, SBVR vol. XIV, 2e éd., 2007, p. 1286 n. 243; HANSPETER KÄSER, Unterstellung und Beitragswesen in der obligatorischen AHV, 1996, p. 338, n. 16.16; MICHEL VALTERIO, Commentaire de la loi sur l'assurance-vieillesse et survivants, tome II [Les prestations], 1988, p. 236).
2. 2.1 En l'espèce, le Tribunal cantonal des assurances sociales a constaté - de manière à lier la Cour de céans - que le montant des cotisations personnelles dues par l'intimé à titre de personne non active pour les années 1996-1997, 1998-1999, 2000 et 2001 avait été fixé par décisions des 6 mai 1996, 5 juin 1998, 25 juin 2001 et 17 octobre 2005. La créance de cotisations relatives aux années 1996-1997 s'était par conséquent éteinte le 1er janvier 2002, celle portant sur les années 1998-1999 le 1er janvier 2004 et celle portant sur l'année 2000 le 1er janvier 2007. Le délai de péremption pour encaisser les cotisations de l'année 2001 arriverait quant à lui à échéance le 31 décembre 2010.
2.2 Au moment de l'ouverture du droit à la rente de vieillesse de l'intimé, le 1er juillet 2001, les créances de cotisations afférentes aux années 1996 à 2001 n'étaient pas périmées au sens de l'art. 16 al. 2, dernière phrase, LAVS et de la jurisprudence bien établie y relative, de sorte que la recourante pouvait légitimement en demander la compensation avec les rentes échues, si bien que le recours doit être admis et le jugement entrepris annulé.
3. Dans la mesure où le Tribunal cantonal des assurances sociales a estimé, à tort, que les créances de cotisations afférentes aux années 1996 à 2000 étaient périmées et qu'il a laissé ouverte la question de savoir s'il n'y avait pas lieu, à teneur d'un extrait de compte individuel de cotisations établi par la recourante le 13 juillet 2000 et compte tenu de l'art. 138 al. 2 RAVS, de considérer que les cotisations relatives aux années 1996 à 1999 avaient été versées, il convient de lui retourner le dossier pour qu'il examine cette question tant au niveau des faits que du droit et rende une nouvelle décision.
4. Vu l'issue du litige, l'intimé, qui succombe, doit supporter les frais judiciaires afférents à la présente procédure (art. 66 al. 1, première phrase, en corrélation avec l'art. 65 al. 4 let. a LTF), sans qu'il ait droit à des dépens (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis en ce sens que le jugement du Tribunal cantonal des assurances sociales de la République et canton de Genève du 15 juillet 2009 est annulé, la cause étant renvoyée à l'autorité judiciaire de première instance pour qu'elle statue à nouveau en procédant conformément aux considérants.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal des assurances sociales de la République et canton de Genève et à l'Office fédéral des assurances sociales.
Lucerne, le 12 mars 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant: Le Greffier:
Borella Piguet