Faits:
A. Par deux décisions du 23 janvier 2006, l'agence communale d'assurances sociales - caisse AVS 22.132, à Lausanne, a astreint A._ à lui verser les sommes de xxxx fr. et de xxxx fr., ces montants constituant un dommage au sens de l'art. 52 LAVS causé à la caisse de compensation à la suite de la faillite de la société B._ SA prononcée le 9 octobre 2003.
Le 16 avril 2007, rejetant le recours de A._, le Tribunal des assurances du canton de Vaud a confirmé ces décisions. Ce jugement est définitif et exécutoire.
B. En rapport avec ces créances, un premier commandement de payer no 1 a été notifié à A._ par l'Office des poursuites de la Gruyère le 18 décembre 2009. Il a été frappé d'opposition. Malgré l'existence d'une décision de mainlevée qui aurait été accordée le 24 juin 2010, aucune réquisition de continuer la poursuite n'a été déposée dans le délai légal d'une année, prolongé de la durée de la procédure de mainlevée, prévu par l'art. 88 al. 2 LP.
C. Le 15 octobre 2011, à la requête de l'agence d'assurances sociales - caisse AVS 22.132, ce même office a fait notifier à A._ un nouveau commandement de payer no 2 la somme de xxxx fr., plus 200 fr. pour les frais du commandement de payer no 1. Il était indiqué comme titre de créance: "[...] réparation du dommage selon décision du 23 janvier 2006 (dossier B._)". Le poursuivi a fait opposition totale.
Par ordonnance du 10 juillet 2012, le Président du Tribunal civil de l'arrondissement de la Gruyère a prononcé la mainlevée définitive de l'opposition à concurrence de xxxx fr. en capital, plus les frais de la précédente poursuite par 200 fr. et les frais de poursuite. Il a en outre alloué un montant de 50 fr. à la créancière, à charge du débiteur, à titre d'équitable indemnité de partie et statué sur les frais de justice.
Statuant le 9 octobre 2012 sur le recours du poursuivi, la IIe Cour d'appel civil du Tribunal cantonal fribourgeois a confirmé cette ordonnance, mettant les frais judiciaires de la procédure de recours à la charge du recourant. Elle n'a pas alloué d'indemnité équitable.
D. Par écriture du 8 novembre 2012, A._, qui n'est pas assisté par un mandataire, exerce un recours intitulé "recours en matière civile et recours constitutionnel subsidiaire" au Tribunal fédéral. Il conclut à l'annulation de la décision de mainlevée du 10 juillet 2012 du Président du Tribunal civil de la Gruyère ainsi que de l'arrêt du 9 octobre 2012 de la IIe Cour d'appel civil du Tribunal cantonal fribourgeois.
Si l'intimée ne propose pas formellement le rejet du recours, il résulte de sa détermination que tel est le cas. L'autorité cantonale déclare n'avoir pas d'observations à formuler sur le fond du recours.
E. Par ordonnance du 5 décembre 2012, la Présidente de la IIe Cour de droit civil du Tribunal fédéral a accordé l'effet suspensif au recours.
Considérant en droit:
1. La décision prononçant la mainlevée définitive de l'opposition est une décision finale au sens de l'art. 90 LTF puisqu'elle met fin à l'instance (ATF 134 III 115 consid. 1.1 p. 117; 133 III 399 consid. 1.4 p. 400). Elle peut faire l'objet du recours en matière civile (art. 72 al. 2 let. a LTF; ATF 134 III 141 consid. 2 p. 143) lorsque la valeur litigieuse atteint, comme en l'espèce, le seuil minimal de 30'000 fr. (art. 74 al. 1 let. b LTF). Interjeté en temps utile (art. 100 al. 1 LTF) et dans la forme prévue par la loi (art. 42 LTF), par la partie qui a succombé en instance cantonale (art. 76 al. 1 LTF), à l'encontre d'une telle décision prise sur recours en dernière instance cantonale (art. 75 al. 1 et 2 LTF), la présente écriture est en principe recevable comme recours en matière civile. Il s'ensuit que le recours constitutionnel subsidiaire ne l'est pas (art. 113 LTF).
2. Le recours en matière civile étant une voie de réforme (art. 107 al. 2 LTF), le recourant doit en principe prendre des conclusions sur le fond. Le Tribunal fédéral conserve néanmoins la faculté de renvoyer l'affaire à l'autorité précédente pour qu'elle rende une nouvelle décision, en particulier en cas de violation du droit d'être entendu (arrêts 5A_460/2012 du 14 septembre 2012 consid. 1.2; 5A_279/2010 du 24 juin 2010 consid. 2.2. et 3.3; cf. MEYER/DORMANN, in: Basler Kommentar, 2e éd., 2010, n° 13 ad art. 107 LTF et les citations).
En l'espèce, le recourant, qui n'est pas assisté d'un mandataire, se plaint essentiellement d'une violation de son droit d'être entendu. C'est ainsi à bon droit qu'il conclut formellement à l'annulation de l'arrêt cantonal, la réforme se déduisant par ailleurs de son écriture. En revanche, le chef de conclusions tendant à l'annulation de la décision du Président du Tribunal civil de la Gruyère est irrecevable, le recours en matière civile n'étant ouvert que contre une décision de dernière instance cantonale prise sur recours (art. 75 LTF).
3. Le recourant se plaint d'une violation de son droit d'être entendu au sens des art. 29 Cst. et 6 CEDH, plus précisément de son droit "de prendre connaissance de toute pièce ou observation présentée au juge et de la discuter". Il reproche à la Cour d'appel civil du Tribunal cantonal fribourgeois de lui avoir "dénié ce droit" en considérant que le Président du Tribunal civil de la Gruyère n'avait pas violé son droit d'être entendu en ne lui communiquant pas la requête de radiation du 1er juin 2012 de la poursuite no 1 que la créancière avait transmise, en copie, à ce magistrat.
3.1 Le droit d'être entendu est une garantie constitutionnelle de nature formelle, dont la violation entraîne l'annulation de la décision attaquée sans égard aux chances de succès du recours sur le fond (ATF 127 V 431 consid. 3d/aa p. 437). Ce moyen doit par conséquent être examiné en premier lieu (ATF 124 I 49 consid. 1 p. 50) et avec un plein pouvoir d'examen (ATF 127 III 193 consid. 3 p. 194 et la jurisprudence citée).
Compris comme l'un des aspects de la notion générale de procès équitable au sens des art. 29 Cst. et 6 CEDH, le droit d'être entendu garantit notamment le droit pour une partie à un procès de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre. Il appartient en effet aux parties, et non au juge, de décider si une prise de position ou une pièce nouvellement versée au dossier contient des éléments déter-minants qui appellent des observations de leur part. Ce droit à la réplique vaut pour toutes les procédures judiciaires. Toute prise de position ou pièce nouvelle versée au dossier doit dès lors être commu-niquée aux parties pour leur permettre de décider si elles veulent ou non faire usage de leur faculté de se déterminer (ATF 137 I 195 consid. 2.3.1; 133 I 100 consid. 4.5 p. 103 s; 133 I 270 consid. 3.1 p. 277; 135 I 187 consid. 2.2. p. 190; arrêt 1C_196/2011 du 11 juillet 2011 consid. 2.2 publié in SJ 2012 I p. 117; arrêt 5A_779/2010 du 1er avril 2011 consid. 2.2 publié à la FamPra.ch 2012 no 1 p. 1).
3.2 En considérant que les questions liées au principe, à la validité ou à la date du retrait de la poursuite no 1 étaient sans pertinence aucune pour la solution du litige et que, partant, en ne communiquant pas la pièce y relative au débiteur poursuivi, le premier juge n'avait pas violé le droit d'être entendu de ce dernier, l'autorité cantonale a méconnu les principes susmentionnés. Cette conclusion ne conduit pas pour autant à l'admission du grief pour les motifs qui suivent.
3.3 Le droit de prendre connaissance et de se déterminer sur les pièces du dossier est garanti sous réserve d'un abus de droit. La protection des droits fondamentaux ne doit pas être une protection théorique et abstraite, mais concrète et effective. Le droit de prendre connaissance et de se déterminer sur les pièces du dossier vise à garantir une procédure équitable, soit que les parties aient la possi-bilité de se déterminer de façon substantielle sur les allégations de la partie adverse (dans ce sens: ATF 138 I 154 consid. 2.8 p. 159/169 et les références).
En l'espèce, la pièce dont le recourant se plaint qu'elle ne lui a pas été communiquée consiste, ainsi que le relevait la décision de mainlevée du 10 juillet 2012, en la copie que la créancière poursuivante a fait parvenir au tribunal de "sa demande à l'office des poursuites de la Gruyère de radier la poursuite no 1". Il ne s'agit là ni plus ni moins que du compte-rendu du contenu du document visé. Que le recourant ait eu ou non ce dernier devant les yeux n'aurait rien changé à sa possibilité de se déterminer. Son recours à la Cour d'appel montre d'ailleurs qu'il a pu s'exprimer de façon substantielle sur la portée de cette requête de radiation. Dans ces conditions, le recourant ne se prévaut manifestement pas de son droit de prendre connaissance et de se déterminer sur la pièce litigieuse pour défendre ses droits de partie. Il s'obstine à faire valoir une formalité vaine (cf. ARTHUR HAEFLIGER, Alle Schweizer sind vor dem Gesetze gleich, 1985, p. 146 in fine). Un tel comportement ne mérite aucune protection (cf. ATF 138 précité).
4. Au fond, autant qu'on puisse le comprendre, le recourant prétend péremptoirement que rien en l'état ne permet d'exclure l'existence d'une poursuite antérieure portant sur le même montant. Ce faisant, il se contente de reprendre l'argument qu'il avait soulevé dans son recours cantonal sans discuter, au moins succinctement, les considérations de la Cour d'appel déniant toute pertinence à cette question, motif pris que le risque invoqué par le poursuivi est de toute façon exclu, la créancière n'ayant pas requis la continuation de la première poursuite et n'étant plus en droit de le faire, le délai d'un an prévu par l'art. 88 al. 2 LP étant échu et le commandement de payer périmé. Faute de motivation suffisante, le recours est dès lors irre-cevable dans cette mesure (art. 42 al. 2 LTF; ATF 134 II 244 consid. 2.1 p. 245/246).
5. Vu ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supportera les frais de la procédure (art. 66 al. 1 LTF). Il n'y a pas lieu d'allouer des dépens à l'intimée qui n'est pas représentée par un avocat et n'a pas fait état de dépenses particulières (cf. ATF 133 III 439 consid. 4 p. 446).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est rejeté dans la mesure où il est recevable.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4. Il n'est pas alloué de dépens.
5. Le présent arrêt est communiqué aux parties et à la IIe Cour d'appel civil du Tribunal cantonal du canton de Fribourg.
Lausanne, le 17 avril 2013
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président: von Werdt
La Greffière: Jordan