Sachverhalt:
A. Der 1951 geborene S._ ist kosovarischer Staatsangehöriger und wohnt in Kosovo. In den Jahren 1977 bis 1981 hatte er in der Schweiz gearbeitet und obligatorische Beiträge an die schweizerische Alters-, Hinterlassenen- und Invalidenversicherung (AHV/IV) geleistet. Am 13. März 2005 (Eingang: 27. Dezember 2005) meldete er sich bei der IV-Stelle für Versicherte im Ausland (nachfolgend: IVSTA) zum Rentenbezug an mit der Begründung, er sei psychisch krank und Eingliederungsmassnahmen seien nicht möglich. In der Folge zog die IVSTA verschiedene Unterlagen bei und veranlasste unter anderem eine psychiatrische Begutachtung in Pristina.
Mit Vorbescheid vom 5. Juli 2007 teilte die IVSTA S._ mit, dass das Leistungsbegehren abgewiesen werden müsse, da keine Invalidität gegeben sei. Darauf reichte S._ weitere Unterlagen ein, was die IVSTA veranlasste, ihrerseits zusätzliche Abklärungen vorzunehmen.
In einem zweiten Vorbescheid vom 12. Mai 2010 liess die IVSTA S._ wissen, dass seit 1. April 2010 keine zwischenstaatliche Vereinbarung über die Sozialversicherung zwischen der Schweiz und Kosovo mehr bestehe. Da im vorliegenden Fall bis zu diesem Zeitpunkt noch keine Verfügung ergangen sei, komme das Sozialversicherungsabkommen mit dem früheren Jugoslawien nicht mehr zur Anwendung. Am 10. Juni 2010 bestätigte die IVSTA ihre Auffassung verfügungsweise und lehnte das Leistungsbegehren ab.
B. Beschwerdeweise beantragte S._ unter anderem, die Verfügung vom 10. Juni 2010 sei aufzuheben und es seien ihm die gesetzlichen Leistungen zuzusprechen. Er plädierte dafür, dass in zeitlicher Hinsicht die Einreichung des Leistungsbegehrens massgebend sein solle. Das Abstellen auf das Vorliegen einer Verfügung entbehre einer rechtlichen Grundlage. Zudem habe die IVSTA ihre Abklärungen über Gebühr verzögert, was ihm nicht zum Nachteil gereichen dürfe.
Mit Entscheid vom 7. März 2011 hiess das Bundesverwaltungsgericht die Beschwerde gut und hob die Verfügung der IVSTA vom 10. Juni 2010 auf (Dispositiv Ziff. 1). Es wies die Sache an die IV-Stelle zurück, damit sie im Sinne der Erwägungen darüber erneut entscheide (Dispositiv Ziff. 2). Das Bundesverwaltungsgericht gelangte zum Ergebnis, dass in Bezug auf Angehörige des Kosovos von einer doppelten Staatsangehörigkeit Serbien und Kosovo auszugehen sei. Solche Doppelbürger, die in Kosovo wohnten, seien hinsichtlich der Anwendung des schweizerisch-jugoslawischen Sozialversicherungsabkommens nicht schlechter zu stellen als Personen serbischer Nationalität aus dem Staatsgebiet Serbiens (ohne Kosovo). Faktisch bleibe damit das Sozialversicherungsabkommen für kosovarisch-serbische Doppelbürger mit Wohnsitz in Kosovo weiter anwendbar und es seien deren Gesuche um eine schweizerische Invalidenrente ungeachtet des Erledigungszeitpunkts materiell zu prüfen. Auf der anderen Seite erwog das Bundesverwaltungsgericht, dass der weitere Aufwand, der nach Erlass des ersten Vorbescheids vom 5. Juli 2007 zu erledigen gewesen wäre, nicht derart gross gewesen wäre, dass der Fall nicht innert angemessener Frist hätte erledigt werden können. Daher sei die Prüfung des Leistungsbegehrens nach dem Stand des ersten Vorbescheids vom 5. Juli 2007 fortzusetzen und darüber unverzüglich unter Anwendung des noch in Kraft stehenden Sozialversicherungsabkommens verfügungsweise zu befinden.
C. Das Bundesamt für Sozialversicherungen (BSV) reicht Beschwerde in öffentlich-rechtlichen Angelegenheiten ein mit dem Rechtsbegehren, der Entscheid des Bundesverwaltungsgerichts vom 7. März 2011 sei aufzuheben und die Verfügung der IVSTA vom 10. Juni 2010 zu bestätigen.
S._ trägt auf Abweisung der Beschwerde an. Die IVSTA schliesst sich den Ausführungen des BSV an und stellt Antrag auf Gutheissung der Beschwerde. Das Bundesverwaltungsgericht beantragt, die Beschwerde sei abzuweisen; eventualiter sei darauf nicht einzutreten.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Das Bundesverwaltungsgericht hat in seinem Entscheid vom 7. März 2011 über zwei verschiedene Aspekte geurteilt. Diesem liegen zwei voneinander losgelöste Anfechtungsobjekte zu Grunde. Zum einen ging es um die Verfügung vom 10. Juni 2010, die den Leistungsanspruch des Beschwerdegegners als solchen zum Inhalt hat. Zum andern bildete die vom Beschwerdegegner sinngemäss vorgebrachte Rechtsverzögerung (fingiertes) Anfechtungsobjekt (vgl. <ref-law> und <ref-law>; vgl. auch RENÉ RHINOW U.A., Öffentliches Prozessrecht, 2. Aufl. 2010, S. 206 Rz. 695). Mit anderen Worten enthielt die "Beschwerde gegen die Verfügung IV-Stelle vom 10. Juni 2010" zwei Beschwerden. Beide wurden gutgeheissen und beide Gutheissungen, gleichermassen in einem einzigen Entscheid vereinigt und beurteilt, führten in concreto zur Rückweisung an die IVSTA, was insbesondere im Rahmen einer Rechtsverzögerungsbeschwerde denn auch Grundsatz ist (Urteil des Eidg. Versicherungsgerichts I 80/04 12. Juli 2004 E. 5.2.2; RKUV 2000 Nr. KV 131 S. 243, K 25/00 E. 2d; vgl. auch Urteil 2C_244/2007 vom 10. Oktober 2007 E. 4.4).
Der vorinstanzliche Entscheid-Teil, der von der geltend gemachten Rechtsverzögerung handelt (vorinstanzliche E. 7), besteht unabhängig von der - in der vorinstanzlichen Erwägung 5 erörterten - Frage nach der grundsätzlichen (Nicht-)Weiteranwendung des Abkommens vom 8. Juni 1962 zwischen der Schweizerischen Eidgenossenschaft und der (ehemaligen) Föderativen Volksrepublik Jugoslawien über Sozialversicherung (SR 0.831.109.818.1). Daran ändert Ziffer 1 des Urteilsdispositivs, die in der Einzahl gehalten ist ("Die Beschwerde"), nichts, ist sie doch im Lichte der Erwägungen zu lesen (Urteil 1E.6/2005 vom 25. August 2005 E. 4.2, nicht publ. in: <ref-ruling>; Urteil des Eidg. Versicherungsgerichts C 280/95 vom 10. Juni 1997 E. 1c, nicht publ. in: <ref-ruling>, aber in: SVR 1998 AlV Nr. 5 S. 15; <ref-ruling> E. 1a S. 497; <ref-ruling> E. 5a S. 615). Das BSV ficht den vorinstanzlichen Entscheid nur an, soweit er die für den Rentenanspruch entscheidende Frage nach der Anwendbarkeit des schweizerisch-jugoslawischen Sozialversicherungsabkommens bejaht. Die gutgeheissene Rechtsverzögerungsbeschwerde bildet nicht Gegenstand seiner Ausführungen. Ob und inwieweit der Beschwerde in öffentlich-rechtlichen Angelegenheiten deswegen von vornherein jeglicher Rechtsschutz abzusprechen ist, kann offenbleiben. Wie die nachfolgende Erwägung 3 zeigt, ist sie in Bezug auf den angefochtenen Entscheid-Teil ohnehin nicht zulässig.
3. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1.1 S. 3).
3.1 Ein Rückweisungsentscheid schliesst das Verfahren nicht ab und ist nach der Regelung des BGG kein Endentscheid, selbst wenn darin eine materielle Grundsatzfrage entschieden wird. Er stellt somit einen Zwischenentscheid dar, der unter den Voraussetzungen von <ref-law> selbstständig angefochten werden kann (<ref-ruling> E. 4.2 S. 481 f.). Erforderlich ist dabei alternativ, dass der angefochtene Entscheid einen nicht wieder gutzumachenden Nachteil bewirken kann (lit. a) oder dass die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b).
3.2 Massgebend für das Vorliegen eines nicht wieder gutzumachenden Nachteils ist, ob der Nachteil auch mit einem günstigen Entscheid in Zukunft nicht behoben werden kann. Recht-sprechungsgemäss bewirkt ein Rückweisungsentscheid in der Regel keinen irreversiblen Nachteil im Sinne von <ref-law>, da der Rechtsuchende ihn später zusammen mit dem neu zu fällenden Endentscheid anfechten kann (vgl. <ref-law>). Anders verhält es sich allerdings für die Verwaltung bzw. den Versicherungsträger, wenn diese durch den Rückweisungsentscheid gezwungen werden, eine ihres Erachtens rechtswidrige Verfügung zu treffen. Diesfalls kann bereits dieser Entscheid angefochten und muss nicht der Endentscheid abgewartet werden (<ref-ruling> E. 5.2, 5.2.1-5.2.4 S. 483 ff.; Urteile 8C_531/2008 vom 8. April 2009 E. 1.2.1 mit Hinweisen, nicht publ. in: <ref-ruling>, aber in: SVR 2009 UV Nr. 40 S. 137, und 8C_682/2007 vom 30. Juli 2008 E. 1.2.1, nicht publ. in: <ref-ruling>). Im Urteil 9C_301/2010 vom 21. Januar 2011 (E. 1.2) hat das Bundesgericht erwogen, dass dasselbe auch für das BSV gilt, das mit der Überwachung des bundesrechtskonformen Gesetzesvollzuges betraut und gegenüber den IV-Stellen weisungsbefugt ist, obwohl es nicht selber verfügt hat. In casu ging es jedoch nicht um die grundsätzlich gegebene Anfechtungsmöglichkeit der später zu erlassenden Verwaltungsverfügung durch das BSV, sondern darum, dass eine ganze Rente weiter geflossen wäre, wenn es beim Entscheid der Vorinstanz geblieben wäre. Diese hatte im Dispositiv nebst der Rückweisung ausdrücklich deren Weiterausrichtung angeordnet. In dieser Konstellation ist die (direkte) behördliche Anfechtbarkeit des Rückweisungsentscheids rechtsprechungsgemäss zu bejahen. Da hier aber keine solche Konstellation vorliegt, kann sich das BSV nicht gleich wie die Verwaltung den Titel des nicht wieder gutzumachenden Nachteils zu Nutze machen, um sein Beschwerderecht gegen den angefochtenen Rückweisungsentscheid zu begründen. Dies gilt umso mehr, als das BSV, obwohl vorliegend möglich (Art. 89 Abs. 2 lit. a und Art. 111 Abs. 2 BGG in Verbindung mit <ref-law> und <ref-law>), am vorinstanzlichen Verfahren nicht teilgenommen hat, womit es - anders als die verfügende Verwaltung - nicht seiner formellen Beschwer beraubt wurde (<ref-ruling> E. 5.2.4 S. 484; Urteile 8C_1053/2010 vom 26. Januar 2011 E. 4.1.1 und 8C_89/2010 vom 4. Oktober 2010 E. 4.1 und 4.2). Die Bundesämter beschränken sich aus einleuchtenden praktischen Gründen darauf, die kantonal letztinstanzlichen Entscheide und die Entscheide des Bundesverwaltungsgerichts zu überprüfen und allenfalls anzufechten (<ref-ruling> E. 5.2.4 S. 485). Entsprechend kann das BSV den (allenfalls) rechtswidrigen Endentscheid, der auf dem (behaupteterweise) bundesrechtswidrigen Rückweisungsentscheid beruht, anfechten und das falsche Ergebnis dannzumal korrigieren lassen.
3.3 Das BSV vertritt die Auffassung, mit der bundesgerichtlichen Feststellung, dass das Sozialversicherungsabkommen nicht mehr anwendbar sei, würde der angefochtene Entscheid aufgehoben und die rentenablehnende Verfügung der IVSTA vom 10. Juni 2010 sofort rechtskräftig. Das Verfahren würde endgültig abgeschlossen. Indes substanziiert das BSV nicht einmal ansatzweise, inwieweit damit ein bedeutender Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren entfiele. Zwar liegt infolge des Auslandbezugs und der nötigen Übersetzung sowohl in zeitlicher als auch kostenmässiger Hinsicht ein gewisser Aufwand auf der Hand. Wie die Vorinstanz jedoch für das Bundesgericht, da nicht offensichtlich unrichtig, verbindlich festgestellt hat, wäre der weitere Aufwand, der im Zeitpunkt nach Erlass des ersten Vorbescheids am 5. Juli 2007 zu betreiben gewesen wäre, um den Fall innert angemessener Frist zu erledigen, nicht gross gewesen. Danach waren die medizinischen Abklärungen weitgehend fortgeschritten und es hätte lediglich noch ein aktualisierter Arztbericht des Dr. med. U._ (zu seinem ursprünglichen Bericht vom 7. April 2007) für die abschliessende Beurteilung des Gesundheitszustandes des Versicherten eingeholt werden müssen. Nachdem das Bundesverwaltungsgericht die IVSTA angewiesen hat, die Prüfung des Leistungsbegehrens nach dem Stand des ersten Vorbescheides vom 5. Juli 2007 fortzusetzen, sind keine Anhaltspunkte ersichtlich, die auf weitere offene Tatfragen resp. auf ein weitläufige(re)s Beweisverfahren hinweisen, die einen erheblichen Zeit- oder Kostenaufwand nach sich zögen. Mithin hätte das BSV im Einzelnen dartun müssen, welche weitergehenden Beweise in welchem zeitlichen und kostenmässigen Umfang zu erheben wären (Urteile 5A_175/2009 vom 9. Juni 2009 E. 1.3, 4A_92/2007 vom 8. Juni 2007 E. 2 in fine). Im Übrigen ist es ständige Rechtsprechung, dass durch die Aufhebung von Rückweisungsentscheiden, mit denen einzig eine ergänzende Sachverhaltsabklärung angeordnet wird, grundsätzlich kein bedeutender Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren im Sinne von <ref-law> erspart werden kann, zumal auch insoweit die selbstständige Anfechtbarkeit von Zwischenentscheiden aus prozessökonomischen Gründen eine Ausnahme darstellt, die restriktiv zu handhaben ist, und die Parteien keiner Rechte verlustig gehen, da sie die mit dem Zwischenentscheid zusammenhängenden Fragen mit dem End-entscheid anfechten können (Urteile 8C_566/2011 vom 19. August 2011 E. 2, 8C_121/2011 vom 30. Juni 2011 E. 2, 8C_985/2010 vom 2. Mai 2011 E. 1, 8C_778/2010 vom 18. Oktober 2010 E. 4, 8C_593/2008 vom 4. August 2008 E. 4, 8C_575/2008 vom 24. Juli 2008 E. 4, 8C_222/2008 vom 13. Juni 2008 E. 3, 8C_222/2007 vom 5. Mai 2008 E. 3 und 8C_742/2007 vom 4. April 2008 E. 3, je mit Hinweisen).
3.4 Nach dem Gesagten sind die Eintretensvoraussetzungen von <ref-law> nicht erfüllt.
4. Es sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Das BSV hat dem Beschwerdegegner eine Parteientschädigung auszurichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Es werden keine Gerichtskosten erhoben.
3. Das Bundesamt für Sozialversicherungen hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 300.- zu entschädigen.
4. Dieses Urteil wird den Parteien, der IV-Stelle für Versicherte im Ausland und dem Bundesverwaltungsgericht schriftlich mitgeteilt.
Luzern, 27. September 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Keel Baumann