Sachverhalt:
A. C._ bezog vom 1. April 2004 bis 31. Dezember 2008 eine Rente der Invalidenversicherung und vom 1. Januar 2009 bis ........ eine Rente der Alters- und Hinterlassenenversicherung (AHV). Am ........ reiste er in sein Heimatland X._, wo er seither lebt. Auf entsprechendes Gesuch zahlte ihm die Schweizerische Ausgleichskasse unter dem Titel Rückvergütung einbezahlter AHV-Beiträge die Summe von Fr. 5'400.45 aus (Verfügung vom 26. Oktober 2010, bestätigt mit Einspracheentscheid vom 22. März 2010).
B. C._ reichte beim Bundesverwaltungsgericht Beschwerde ein und beantragte sinngemäss die Auszahlung eines höheren Rückvergütungsbetrages. Im Verlauf des Verfahrens (Replik vom 7. September 2010 und Eingabe vom 11. November 2011) äusserte er sich dahingehend, er beabsichtige bzw. er habe beschlossen, im Juni 2012 in die Schweiz zurückzukehren und hier seinen Ruhestand unter humanitärer Pflege zu verbringen.
Mit Entscheid vom 1. März 2012 hiess das Bundesverwaltungsgericht die Beschwerde im Sinne der Erwägungen gut, soweit es darauf eintrat, und hob den angefochtenen Einspracheentscheid vom 22. März 2010 auf.
C. Die Schweizerische Ausgleichskasse führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid vom 1. März 2012 sei aufzuheben.
C._ wiederholt, was er bereits in der vorinstanzlichen Eingabe vom 11. November 2011 sagte, ohne einen Antrag zu stellen. Das Bundesverwaltungsgericht und das Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Die massgeblichen Gesetzes- und Verordnungsbestimmungen betreffend die Rückvergütung der von Ausländern an die Alters- und Hinterlassenenversicherung bezahlten Beiträge, insbesondere <ref-law> und <ref-law> (SR 831.131.12) werden im angefochtenen Entscheid richtig wiedergegeben, worauf verwiesen wird. Der von der Vorinstanz überprüfte und bestätigte Betrag von Fr. 5'400.45, der dem Beschwerdegegner ausgerichtet wurde, ist nicht bestritten.
2. Die Vorinstanz hat die Erklärung des Beschwerdegegners in der Eingabe vom 29. November 2011, er wolle die einbezahlten AHV-Beiträge nicht mehr zurückfordern, "like from the beginning", und er habe beschlossen, Anfang 2012 in die Schweiz zurückzukehren und hier seinen Ruhestand unter humanitärer Pflege zu verbringen, als formellen Rückzug seines Gesuchs um Rückvergütung der geleisteten AHV-Beiträge qualifiziert. Ein solcher - nach der Auszahlung erklärter - Rückzug sei grundsätzlich zulässig, sofern er nicht rechtsmissbräuchlich erfolge, was hier indessen nicht der Fall sei. Der bereits überwiesene Betrag von Fr. 5'400.45 könne nach der Rückkehr in die Schweiz bei erneutem Bezug einer Altersrente mit den monatlichen Betreffnissen verrechnet und in wenigen Monaten getilgt werden.
Nach Auffassung der Beschwerde führenden Ausgleichskasse ist der Rückzug des Gesuchs um Rückvergütung der an die AHV bezahlten Beiträge ohne vorherige Rückerstattung der von ihr unter diesem Titel bereits ausgerichteten Fr. 5'400.45 rechtsmissbräuchlich. Die gegenteilige vorinstanzliche Betrachtungsweise verkenne insbesondere, dass tatsächlich und rechtlich keine reelle Chance bestehe, diese Summe jemals wieder zurück zu erlangen.
3. 3.1 Gemäss <ref-law> können die Beiträge zurückgefordert werden, sobald die Person aller Voraussicht nach endgültig aus der Versicherung ausgeschieden ist und sowohl sie selber als auch die Ehefrau oder der Ehemann und ihre noch nicht 25-jährigen Kinder nicht mehr in der Schweiz wohnen. Die betreffende Person muss ihren Wohnsitz im Ausland haben (<ref-law>). Der Wohnsitz im Sinne dieser Vorschrift befindet sich an dem Orte, wo sie sich mit der Absicht dauernden Verbleibens aufhält (<ref-law> in Verbindung mit <ref-law> und <ref-law>) und den sie sich zum Mittelpunkt ihrer Lebensinteressen gemacht hat (<ref-ruling> E. 3.1 S. 312).
3.2 Die Ausgleichskasse ist bei Erlass der Verfügung vom 26. Oktober 2010 und des - Anfechtungsgegenstand des vorinstanzlichen Verfahrens bildenden - Einspracheentscheids vom 22. März 2010 davon ausgegangen, dass die tatbeständlichen Voraussetzungen von <ref-law> gegeben sind. Der Beschwerdeführer war geschieden und seine 1981 geborene Tochter war bereits über 25 Jahre alt; er hatte am ........ die Schweiz verlassen und seitdem in seinem Heimatland X._ gelebt.
Nach Auffassung der Vorinstanz ist zweifelhaft, ob sich der Beschwerdegegner mit der Absicht dauernden Verbleibens in X._ befindet und diesen Ort zum Mittelpunkt seiner Lebensinteressen gemacht hat. Zur Begründung verweist sie auf seine in der Replik und in der Eingabe vom 29. November 2011 geäusserte Absicht, im Juni 2012 in die Schweiz zurückzukehren, um hier den Ruhestand zu verbringen, sowie auf die Tatsache, dass seine Tochter nach wie vor hier lebt. Sie hat die Frage des Wohnsitzes jedoch offen gelassen.
3.3 Der Beschwerdegegner war am ........ nach X._ ausgereist, wo er in der Folge lebte. Im Oktober 2009 stellte er das Rückvergütungsgesuch. Bis zur vorinstanzlichen Replik vom 7. September 2010 hatte er sich nie in dem Sinne geäussert, dass er nicht endgültig in sein Heimatland zurückkehren wollte und die Schweiz lediglich vorläufig - etwa aus Ungewissheit über eine erfolgreiche Wiederintegration und Akklimatisierung - verlassen hatte. Es bestehen auch keine Anhaltspunkte, dass er irgendwelche Vorkehren für den Fall einer Rückkehr getroffen hätte. Gegenteils hat er offenbar nicht einmal Geld zurückgelegt, um sich ein Flugticket in die Schweiz kaufen zu können. Seine hier lebende Tochter hat er offensichtlich nicht um Hilfe gebeten oder sie hat eine solche abgelehnt. Es kommt dazu, dass der Beschwerdegegner nicht sicher mit der Wiedererteilung einer Aufenthaltsbewilligung in der Schweiz rechnen kann, wie die Ausgleichskasse vorbringt.
Unter diesen Umständen ist davon auszugehen, dass der Beschwerdegegner bei der Gesuchsstellung, im Zeitpunkt der Verfügung und des Einspracheentscheids Wohnsitz im Ausland hatte. Die Rückvergütung von der AHV bezahlten Beiträgen war somit rechtens. Die blosse Absichtserklärung, in die Schweiz zurückzukehren und hier den Lebensabend zu verbringen, genügte nicht, um nach Massgabe von <ref-law>, wonach der einmal begründete Wohnsitz bestehen bleibt bis zum Erwerb eines neuen, hier wieder Wohnsitz zu begründen. Da die Rentenberechtigung von Ausländern Wohnsitz in der Schweiz voraussetzt (<ref-law>), kann ein Rückzug des Gesuchs um Rückvergütung keine Rechtswirkung haben, soweit er im Hinblick auf den Bezug einer Rente der AHV erklärt worden ist.
4. Der Rückzug des Rückvergütungsgesuchs ist auch rechtsmissbräuchlich. Ein Rückkommen auf die Rückvergütung von der AHV bezahlten Beiträgen mit der Folge der Aufhebung des Einspracheentscheids vom 22. März 2010 erfordert unbestrittenermassen die Rückerstattung der bereits ausbezahlten Fr. 5'400.45. Dass der Beschwerdegegner dazu einmal in der Lage sein könnte, ist höchst ungewiss, wenn nicht unwahrscheinlich.
4.1 Vorab erscheint aufgrund der Unsicherheit in Bezug auf den Erwerb der Aufenthaltsbewilligung die (Wieder-)Ausrichtung einer Altersrente fraglich. Abgesehen davon würde die von der Vorinstanz erwähnte Verrechnung mit den monatlichen Rentenbetreffnissen durch das betreibungsrechtliche Existenzminimum begrenzt (<ref-ruling> E. 6.1 S. 291 mit Hinweisen). Die im Zeitraum von Januar 2009 bis ........ bezogene Altersrente betrug Fr. 1'274.- im Monat, lag somit deutlich darunter (vgl. beispielsweise Kreisschreiben der Schuldbetreibungs- und Konkurskommission des Obergerichts des Kantons Aargau betreffend Richtlinien für die Berechnung des betreibungsrechtlichen Existenzminimums [Notbedarf] nach <ref-law> [Fassung vom 21. Oktober 2009]). Unter diesen Umständen muss die Rückerstattung der bereits ausbezahlten Rückvergütung von Fr. 5'400.45 durch Verrechnung mit künftigen Rentenleistungen der AHV als illusorisch bezeichnet werden.
4.2 Es kommt dazu, dass die Rückvergütung mangels einer Verfügungsgrundlage (vorinstanzlich aufgehobener Einspracheentscheid) nicht gestützt auf <ref-law> zurückgefordert werden könnte, wie die Beschwerdeführerin richtig vorbringt. Eine auch im Sozialversicherungsrecht (subsidiär) in Betracht fallende Rückforderung aus ungerechtfertigter Bereicherung (<ref-law>; <ref-ruling> E. 4a S. 154, 105 V 309 E. I.1 S. 313) dürfte daran scheitern, dass der Ausgleichskasse der Nachweis, sich im Zeitpunkt der Rückvergütung in einem Irrtum über die Schuldpflicht befunden zu haben, wohl kaum gelingen würde (vgl. E. 3.3 Abs. 2 vorne; <ref-law>; <ref-ruling> E. 4d S. 579). Im Übrigen unterliegen Forderungen aus ungerechtfertiger Bereicherung einer relativen einjährigen Verjährungsfrist, laufend ab Kenntnis vom Anspruch (<ref-law>; <ref-ruling> E. 3.4 S. 506).
5. Nach dem Gesagten verletzt die Aufhebung des Einspracheentscheids vom 22. März 2010 durch die Vorinstanz Bundesrecht (<ref-law>).
6. Bei diesem Ausgang des Verfahrens hat der Beschwerdegegner die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid des Bundesverwaltungsgerichts vom 1. März 2012 aufgehoben.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner auferlegt.
3. Dieses Urteil wird den Parteien, dem Bundesverwaltungsgericht und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. September 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Fessler