Faits:
A. A.a Souffrant d'un syndrome lombaire et cervical chronique qui l'empêche de travailler depuis le mois de juin 2002, J._, née en 1971, a déposé le 16 décembre 2002 une demande de prestations de l'assurance-invalidité. Se fondant sur les conclusions d'une expertise psychiatrique réalisée par le docteur G._, d'après lesquelles l'assurée - qui présentait un trouble douloureux associé à des facteurs psychologiques, un trouble de l'adaptation avec anxiété et humeur dépressive, un trouble de la personnalité non spécifié, des traits de personnalité fruste et psychosomatique, des troubles vertébraux dégénératifs discrets, une obésité et un état de surmenage professionnel - était capable, moyennant la prise d'un traitement anti-dépressif, d'exercer une activité lucrative adaptée à 50 % à compter du mois de septembre 2002 (rapport du 12 août 2003), l'Office de l'assurance-invalidité du canton de Fribourg (ci-après: l'office AI) a, par décisions des 30 septembre et 21 octobre 2004, confirmées sur opposition le 28 janvier 2005, alloué à l'assurée une rente entière d'invalidité pour la période courant du 1er juin au 31 août 2003, puis un quart de rente à compter du 1er septembre 2003.
A.b Par jugement du 25 mai 2005, le Tribunal administratif du canton de Fribourg, Cour des assurances sociales, a rejeté le recours formé par l'assurée contre la décision du 28 janvier 2005.
A.c Considérant que c'était à tort que l'office AI avait alloué une rente d'invalidité entière, puis partielle, l'assurée ayant toujours disposé d'une capacité entière de travail dans une activité lucrative adaptée, le Tribunal fédéral des assurances a, par arrêt I 520/05 du 28 décembre 2006, rejeté le recours de droit administratif interjeté par l'assurée contre le jugement de première instance.
A.d Au mois d'avril 2007, l'office AI a entrepris la révision d'office du droit à la rente. Se référant aux considérants de l'arrêt du Tribunal fédéral des assurances du 28 décembre 2006, il a annulé sa décision du 30 septembre 2004, au motif que celle-ci était manifestement erronée, et l'a remplacée par une décision de refus de rente (décision du 29 février 2008).
B. Par jugement du 14 octobre 2010, le Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, a admis le recours formé par l'assurée et annulé la décision du 29 février 2008.
C. L'office AI interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation.

Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération. Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
2. Pour les premiers juges, le Tribunal fédéral des assurances avait à l'époque examiné l'affaire qui lui avait été déférée sur le plan matériel, si bien que l'office recourant n'avait pas la possibilité de procéder à une reconsidération des décisions qu'il avait rendues précédemment. Quand bien même il ressortait de la motivation de l'arrêt qu'il était contraire au droit de l'assurance-invalidité de servir un quart de rente à l'intimée, la sécurité du droit l'emportait sur le principe de la légalité une fois que le juge s'était prononcé. Le Tribunal fédéral des assurances n'ayant ni modifié la décision d'octroi de rente qui lui avait été soumise ni annulé celle-ci, cette dernière perdurait et déployait pleinement ses effets.
3. 3.1 Selon l'<ref-law>, l'assureur peut revenir sur une décision formellement passée en force et sur laquelle une autorité judiciaire ne s'est pas prononcée sous l'angle matériel lorsqu'elle est manifestement erronée et que sa rectification revêt une importance notable. Pour juger s'il est admissible de reconsidérer une décision pour le motif qu'elle est sans nul doute erronée, il faut se fonder sur les faits et la situation juridique existant au moment où cette décision a été rendue, compte tenu de la pratique en vigueur à l'époque (<ref-ruling> consid. 3 p. 389 et les références). Par le biais de la reconsidération, on corrigera une application initiale erronée du droit, de même qu'une constatation erronée résultant de l'appréciation des faits. Un changement de pratique ou de jurisprudence ne saurait en principe justifier une reconsidération (<ref-ruling> consid. 2c p. 17, 115 V 308 consid. 4a/cc p. 314).
3.2 En considération du principe de la séparation des pouvoirs, de la sécurité du droit et de l'effet dévolutif du recours dans le domaine du droit administratif en général et des assurances sociales en particulier, l'administration n'a pas la faculté de reconsidérer, pour le motif qu'elle est sans nulle doute erronée, une décision sur laquelle un juge s'est prononcé matériellement (<ref-ruling> consid. 1 p. 85; voir également <ref-ruling> consid. 2b p. 121 et UELI KIESER, ATSG-Kommentar, 2ème éd., n° 27 ad art. 53).
4. Le recours en matière de droit public interjeté par l'office recourant est manifestement mal fondé.
4.1 En premier lieu, il convient de remarquer que l'office recourant se limite à affirmer que les conditions d'une reconsidération sont remplies. Cela étant, il ne développe pas d'argumentation topique répondant aux motifs du jugement attaqué, de sorte que la recevabilité du présent recours est douteuse au regard des exigences de motivation de l'art. 42 al. 1 et 2 LTF (voir <ref-ruling> consid. 3.3 p. 60).
4.2 Quoi qu'il en soit, comme l'ont constaté à bon droit les premiers juges - aux considérants desquels il convient de renvoyer -, l'office recourant n'était pas en droit de procéder à une reconsidération. Dans la mesure où le Tribunal fédéral des assurances avait statué matériellement sur le droit à la rente de l'intimée et considéré que le quart de rente d'invalidité alloué au cours de la procédure administrative devait être maintenu, l'office recourant n'avait plus la faculté de modifier sa décision initiale d'octroi de la rente, quand bien même celle-ci était sans nulle doute erronée aux yeux du Tribunal fédéral des assurances. Bien que les règles de procédure applicables à l'époque l'y autorisassent (art. 132 let. c OJ), le Tribunal fédéral des assurances a délibérément renoncé à procéder à une reformatio in pejus de la décision administrative, dont il a, purement et simplement, confirmé le résultat. Dans ces conditions, l'office recourant ne saurait revenir sur le contenu de sa décision à l'occasion d'une procédure subséquente, sauf à mettre en péril la sécurité du droit et l'autorité du contrôle judiciaire subséquent.
5. Vu ce qui précède, le présent recours doit être rejeté selon la procédure simplifiée de l'<ref-law>, sans qu'il y ait lieu d'ordonner un échange d'écritures. Compte tenu de l'issue du recours, les frais judiciaires doivent être mis à la charge de l'office recourant qui succombe (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 21 juin 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Piguet