Faits: A. C._ exerce une activité professionnelle en tant qu'avocat et expert fiscal diplômé. Il n'occupe aucun salarié. Il est affilié à la Caisse interprofessionnelle AVS de la Fédération des Entreprises romandes (FER CIAM, ci-après : la caisse de compensation). Par ailleurs, il est affilié à titre facultatif, pour sa propre prévoyance professionnelle, à la Fondation de Prévoyance en faveur des Membres de l'Ordre des Avocats de Genève et de leur Personnel (FAVIA). Pour l'année 2003, il a versé à cette institution de prévoyance des cotisations personnelles pour un montant de 45'259 fr. 20. Par décision du 13 juillet 2005, la caisse de compensation a fixé à 42'834 fr. (frais d'administration compris) le montant des cotisations personnelles AVS/AI/APG, ainsi que les contributions aux régimes cantonaux des allocations familiales et de l'assurance-maternité, dues par C._ pour l'année 2003. Ce montant tenait compte d'une déduction de 22'629 fr. 60 correspondant à la moitié des cotisations personnelles versées par l'intéressé à la fondation FAVIA. L'assuré a formé opposition en concluant à la déduction de la totalité des cotisations versées à cette institution de prévoyance. La caisse de compensation a rejeté son opposition le 9 septembre 2005. B. Statuant le 9 novembre 2005, le Tribunal cantonal des assurances du canton de Genève a rejeté le recours formé contre cette dernière décision par l'assuré. C. C._ interjette un recours de droit administratif dans lequel il conclut à l'annulation du jugement cantonal et demande au Tribunal fédéral des assurances de dire que la totalité des cotisations qu'il a versées au deuxième pilier sont déductibles de son revenu déterminant. La caisse de compensation renonce à prendre position. Quant à l'Office fédéral des assurances sociales (OFAS), il propose de rejeter le recours.