Sachverhalt:
A. Mit Verfügungen vom 17. Januar und 3. Februar 2003 sprach die IV-Stelle des Kantons Thurgau dem 1955 geborenen S._ bei einem Invaliditätsgrad von 100 % eine ganze Rente der Invalidenversicherung ab 1. Februar 2001 zu. Am 24. April 2006 bestätigte sie einen unveränderten Invaliditätsgrad und Rentenanspruch. Im März 2011 leitete die IV-Stelle erneut ein Revisionsverfahren ein. Nach Abklärungen und Durchführung des Vorbescheidverfahrens hob sie die Rente mit Verfügung vom 7. November 2011 auf das Ende des der Zustellung folgenden Monats auf mit der Begründung, der Gesundheitszustand habe sich erheblich verbessert und beim aktuellen Invaliditätsgrad von 9 % bestehe kein Rentenanspruch. Gleichzeitig entzog sie einer allfälligen Beschwerde die aufschiebende Wirkung.
B. B.a Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 21. März 2012 in dem Sinne gut, als es die angefochtene Verfügung vom 7. November 2011 aufhob und die Sache an die Verwaltung zurückwies, damit sie die erforderlichen Abklärungs- und Eingliederungsmassnahmen treffe und danach über den Rentenanspruch des Beschwerdeführers neu entscheide.
B.b In Gutheissung des von S._ am 26. Juni 2012 (Poststempel) eingereichten Erläuterungsgesuchs stellte das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 29. August 2012 fest, dass die IV-Stelle dem Versicherten die bisherige Rente bis zum Erlass des neuen Entscheides weiterhin auszurichten habe (Dispositiv-Ziff. 1). Ferner hat es die IV-Stelle verpflichtet, eine Verfahrensgebühr von Fr. 1'500.- zu bezahlen (Dispositiv-Ziff. 2).
C. Das Bundesamt für Sozialversicherungen (BSV) führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, der Entscheid vom 29. August 2012 sei aufzuheben.
S._ verzichtet auf eine Vernehmlassung. Die IV-Stelle schliesst auf Gutheissung des Rechtsmittels. Das kantonale Gericht beantragt die Abweisung der Beschwerde, soweit darauf eingetreten werden kann.

Erwägungen:
1. Das Bundesgericht prüft seine Zuständigkeit und die (weiteren) Eintretensvoraussetzungen von Amtes wegen und mit freier Kognition (<ref-law>; <ref-ruling> E. 1 S. 96; Urteil 8C_264/2009 vom 19. Mai 2009 E. 1; je mit Hinweisen).
2. 2.1 Das BSV macht geltend, die Voraussetzungen für eine Erläuterung seien klarerweise nicht gegeben gewesen, weshalb das kantonale Gericht das entsprechende Gesuch hätte abweisen müssen. Einerseits hält es das Dispositiv des Entscheids vom 21. März 2012 für klar und widerspruchsfrei. Anderseits ist es der Auffassung, mit dem Erläuterungsentscheid vom 29. August 2012 sei in unzulässiger Weise eine neue materielle Anordnung getroffen worden. Zudem hätten der IV-Stelle keine Gerichtskosten überbunden werden dürfen, weil die Bestimmungen des Sozialversicherungsverfahrens (<ref-law> und <ref-law>) anwendbar bleiben müssten.
2.2 Die Erläuterung des Entscheides eines kantonalen Sozialversicherungsgerichts ist bundesrechtlich nur insofern geregelt, als aus <ref-law> ein verfassungsmässiger Erläuterungsanspruch abgeleitet wird (<ref-ruling> E. 2.2 in fine und E. 2.3 S. 325 f.; UELI KIESER, ATSG-Kommentar, 2. Aufl. 2009, N. 132 zu <ref-law>); darüber hinaus folgt das Erläuterungsverfahren ausschliesslich den Regeln kantonalen Rechts (<ref-law> in initio; <ref-ruling> E. 1.1 und S. 323 und E. 3 S. 326; Urteil I 172/06 vom 26. April 2006 E. 1). Das gilt auch für die Festsetzung und Verlegung der Kosten eines solchen Verfahrens, weshalb <ref-law>, der die grundsätzliche Kostenlosigkeit des sozialversicherungsgerichtlichen Prozesses statuiert, als bundesrechtliche Regelung nicht (direkt) anwendbar ist.
2.2 Die Erläuterung des Entscheides eines kantonalen Sozialversicherungsgerichts ist bundesrechtlich nur insofern geregelt, als aus <ref-law> ein verfassungsmässiger Erläuterungsanspruch abgeleitet wird (<ref-ruling> E. 2.2 in fine und E. 2.3 S. 325 f.; UELI KIESER, ATSG-Kommentar, 2. Aufl. 2009, N. 132 zu <ref-law>); darüber hinaus folgt das Erläuterungsverfahren ausschliesslich den Regeln kantonalen Rechts (<ref-law> in initio; <ref-ruling> E. 1.1 und S. 323 und E. 3 S. 326; Urteil I 172/06 vom 26. April 2006 E. 1). Das gilt auch für die Festsetzung und Verlegung der Kosten eines solchen Verfahrens, weshalb <ref-law>, der die grundsätzliche Kostenlosigkeit des sozialversicherungsgerichtlichen Prozesses statuiert, als bundesrechtliche Regelung nicht (direkt) anwendbar ist.
2.3 2.3.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht und von kantonalen verfassungsmässigen Rechten, nicht aber von kantonalem Gesetzesrecht gerügt werden (<ref-law>). Beruht der angefochtene Entscheid ausschliesslich auf kantonalem Recht, fällt deshalb bei der Beschwerde dagegen praktisch nur die Rüge der Willkür (vgl. <ref-law>) - sei es durch die Anwendung der einschlägigen kantonalen Bestimmungen, sei es wegen deren Ausgestaltung oder aufgrund des Ergebnisses im konkreten Fall - als Verletzung von Bundesrecht in Betracht (vgl. <ref-ruling> E. 3a S. 408 f. mit Hinweisen; Urteil 9C_257/2012 vom 11. Juli 2012 E. 4.1).
2.3.2 Ein Rechtsmittel hat u.a. die Begehren und deren Begründung zu enthalten, wobei in der Begründung in gedrängter Form darzulegen ist, inwiefern der angefochtene Akt Recht verletzt (Art. 42 Abs. 1 und 2 BGG). Hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht gilt eine qualifizierte Rügepflicht (vgl. <ref-law>). Das Bundesgericht prüft eine solche Rüge nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet wird. Wird eine Verletzung des Willkürverbots geltend gemacht, muss im Einzelnen dargelegt werden, inwiefern der angefochtene Erlass an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 1.4.1 S. 53; vgl. auch <ref-ruling> E. 2.5 S. 314; Urteil 5D_118/2009 vom 17. November 2009).
2.4 Aus den Vorbringen des BSV ist nicht ersichtlich und geht erst recht keine den erhöhten Anforderungen genügende Begründung hervor, inwiefern durch den vorinstanzlichen Entscheid etwa das Willkürverbot (<ref-law>) oder anderes Bundesrecht verletzt sein soll. Auf die Beschwerde ist daher nicht einzutreten.
3. Vom BSV als unterliegende Partei sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 in Verbindung mit Abs. 4 BGG).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, der IV-Stelle des Kantons Thurgau und dem Verwaltungsgericht des Kantons Thurgau schriftlich mitgeteilt.
Luzern, 29. Januar 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Dormann