Sachverhalt:
A. Der Schweizer Bürger X._ wurde am 25. August 2006 auf dem Flughafen in Madrid verhaftet. Er kam von Santo Domingo her und führte 1,25 kg Kokain mit sich.
Am 29. Mai 2007 verurteilte ihn das zuständige Gericht in Madrid zu neun Jahren und einem Tag Freiheitsstrafe.
B. Am 26. Juli 2007 ersuchte X._ darum, zur weiteren Strafverbüssung in die Schweiz überstellt zu werden. Dabei gab er an, vor seiner Verhaftung in Speicher, Kanton Appenzell A.Rh., gewohnt zu haben.
Am 15. November 2007 ging dieses Gesuch beim Bundesamt für Justiz (im Folgenden: Bundesamt) ein.
Am 20. November 2007 forderte das Bundesamt die spanischen Behörden auf, die nach dem Übereinkommen über die Überstellung verurteilter Personen vom 21. März 1983 (SR 0.343) notwendigen Unterlagen einzureichen, sofern eine Überstellung befürwortet werde.
Am 28. Mai 2008 gingen diese Unterlagen beim Bundesamt ein.
Dieses schickte am 3. Juli 2008 das Gesuch von X._ an den Kanton Appenzell A.Rh. mit der Bitte, dieses zu prüfen.
Mit Schreiben vom 7. Juli 2008 bestritt der Kanton Appenzell A.Rh. seine Zuständigkeit. Er führte aus, X._ habe keinen Wohnsitz im Kanton Appenzell A.Rh. und sei nicht Bürger dieses Kantons.
Am 14. Juli 2008 übermittelte das Bundesamt das Gesuch von X._ an dessen Heimatkanton, den Kanton Bern.
Am 21. August 2008 teilte der Kanton Bern mit, er erachte sich ebenfalls als unzuständig. Aus humanitären Gründen war er aber bereit, vorläufig einer Überstellung von X._ in den Kanton Bern zuzustimmen unter der Bedingung, dass sich der Kanton Appenzell A.Rh. vorgängig bereit erkläre, den weitern Vollzug zu übernehmen und dem Kanton Bern die im Zusammenhang mit der Überstellung entstandenen Kosten zurückzuerstatten, wenn die Zuständigkeit nach gerichtlicher Beurteilung der Sache beim Kanton Appenzell A.Rh. liegen sollte.
Der Kanton Appenzell A.Rh. stimmte diesem Vorgehen am 25. August 2008 zu.
Am 26. Februar 2009 wurde X._ von Spanien in die Schweiz überstellt.
C. Am 22. Juni 2009 ersuchte der Kanton Bern das Bundesstrafgericht, die Zuständigkeit für die Übernahme des Vollzugs der Strafe von X._ zu bestimmen.
Mit Entscheid vom 6. Juli 2009 trat das Bundesstrafgericht (I. Beschwerdekammer) auf das Gesuch nicht ein.
D. Am 7. Oktober 2009 erhob der Kanton Bern gegen den Kanton Appenzell A.Rh. Klage beim Bundesgericht mit dem Antrag, es sei festzustellen, dass der Kanton Appenzell A.Rh. für den Vollzug der spanischen Freiheitsstrafe zuständig sei.
Mit Urteil vom 21. Dezember 2009 trat das Bundesgericht auf die Klage nicht ein. Es befand, das Bundesamt habe die Zuständigkeitsfrage gestützt auf Art. 104 Abs. 1 IRSG (SR 351.1) in einer Verfügung zu regeln, welche nach Art. 120 Abs. 2 BGG der Beschwerde durch den betroffenen Kanton an das Bundesgericht unterliege (1E_1/2009; <ref-ruling>).
E. Am 22. Januar 2010 ersuchte der Kanton Bern das Bundesamt, eine Verfügung zur Zuständigkeit zu treffen.
F. Mit Schreiben vom 6. Oktober 2010 erkundigte sich das spanische Justizministerium nach dem Stand des Strafvollzugs, damit im Hinblick auf das Inkrafttreten des neuen spanischen Strafgesetzbuches im Dezember 2010 eine Reduktion der gegen X._ ausgesprochenen Strafe geprüft werden könne.
Am 1. November 2010 übermittelte das Bundesamt den spanischen Behörden das Antwortschreiben des Kantons Bern.
Am 16. Dezember 2010 teilte das spanische Justizministerium mit, infolge des neuen spanischen Strafgesetzbuches, welches Wirkung ab dem 23. Dezember 2010 entfalte, sei die Strafe von X._ auf sechs Jahre und einen Tag reduziert worden.
Gestützt auf die entsprechende Verfügung der Abteilung Straf- und Massnahmenvollzug des Kantons Bern wurde X._ am 23. Dezember 2010 bedingt aus dem schweizerischen Strafvollzug entlassen.
G. Mit Entscheid vom 7. März 2011 stellte das Bundesamt fest, dass der Kanton Appenzell A.Rh. für die Behandlung des Gesuchs von X._ vom 26. Juli 2007 um Überstellung von Spanien an die Schweiz zuständig war.
Das Bundesamt kam zum Schluss, es bestünden hinreichende Anhaltspunkte dafür, dass X._ im massgeblichen Zeitpunkt seiner Verhaftung Wohnsitz im Kanton Appenzell A.Rh. gehabt habe. Hinweise auf eine enge Verbindung zu einem anderen Kanton, insbesondere zum Kanton Zürich, bestünden nicht. Die subsidiäre Zuständigkeit des Heimatkantons greife somit nicht.
H. Der Kanton Appenzell A.Rh. führt beim Bundesgericht Beschwerde mit dem Antrag, es sei unter Aufhebung des Entscheids des Bundesamtes festzustellen, dass der Kanton Bern für die Behandlung des Gesuchs von X._ um Überstellung von Spanien an die Schweiz zuständig war.
Der Kanton Appenzell A.Rh. macht geltend, X._ habe im Zeitpunkt seiner Verhaftung in Speicher keinen Wohnsitz mehr gehabt, womit die subsidiäre Zuständigkeit des Heimatkantons gegeben sei.
I. Das Bundesamt hat sich vernehmen lassen mit dem Antrag, die Beschwerde sei abzuweisen.
Es hat seinerseits die Kantone Bern und Zürich eingeladen, ihm allfällige Bemerkungen zur Beschwerde zukommen zu lassen. Der Kanton Zürich hat auf eine Stellungnahme verzichtet. Der Kanton Bern hält an seinen bisherigen Ausführungen fest und ist weiterhin der Ansicht, dass X._ im Kanton Appenzell A.Rh. wohnte.

Erwägungen:
1. 1.1 Wie das Bundesgericht im Urteil 21. Dezember 2009 ausgeführt hat, ist gegen den angefochtenen Entscheid die Beschwerde gemäss Art. 120 Abs. 2 BGG gegeben.
In diesem Beschwerdeverfahren beurteilt das Bundesgericht letztinstanzlich die kantonale Zuständigkeit. Es handelt sich um eine staatsrechtliche Streitigkeit, die in Bezug auf Anfechtungsgegenstand, Vorinstanz, Beschwerdelegitimation etc. nicht in jeder Hinsicht den Regeln einer der drei Einheitsbeschwerden des Bundesgerichtsgesetzes unterliegt. Anfechtungsobjekt bildet die gemäss Art. 104 Abs. 1 IRSG erlassene Verfügung des Bundesamtes. Zur Beschwerde gegen diese Verfügung ist der Kanton berechtigt, dem das Bundesamt die Prüfung der Vollstreckungsvoraussetzungen überträgt. In Bezug auf Form und Frist sind die Art. 42 und 100 Abs. 1 BGG anwendbar (E. 1.3 und 2).
1.2 Der Beschwerdeführer ist demnach zur Beschwerde befugt. Die Beschwerdefrist von 30 Tagen gemäss Art. 100 Abs. 1 BGG hat er gewahrt. Die Eingabe genügt zudem den Anforderungen von Art. 42 BGG. Auf die Beschwerde ist somit einzutreten.
2. 2.1 Wie das Bundesgericht im Urteil vom 21. Dezember 2009 (E. 1.2) erkannt hat, ist die kantonale Zuständigkeit nach den Regeln von aArt. 342 StGB festzulegen. Danach sind für Straftaten, die im Ausland begangen wurden, die Behörden des Wohnorts des Täters zuständig. Fehlt ein Wohnort in der Schweiz, so sind die Behörden des Heimatorts zuständig.
Die Vorinstanz legt dem angefochtenen Entscheid aArt. 342 StGB zugrunde. Diese Bestimmung ist mit der Schweizerischen Strafprozessordnung vom 5. Oktober 2007 (StPO; SR 312), in Kraft seit dem 1. Januar 2011, aufgehoben worden. Den Gerichtsstand bei Auslandtaten regelt nunmehr Art. 32 StPO. Der Beschwerdeführer ist der Ansicht, anwendbar sei diese letztere Bestimmung. Das Bundesamt hält in der Vernehmlassung daran fest, anwendbar sei aArt. 342 StGB.
Wie es sich damit verhält, kann dahingestellt bleiben. aArt. 342 StGB in der Fassung gemäss Bundesgesetz vom 13. Dezember 2002, in Kraft seit 1. Januar 2007, entsprach wörtlich dem früheren aArt. 348 StGB. Art. 32 StPO entspricht in der Sache aArt. 342 bzw. aArt. 348 StGB (Botschaft vom 21. Dezember 2005 zur Vereinheitlichung des Strafprozessrechts, BBl 2006 1142; NIKLAUS SCHMID, Schweizerische Strafprozessordnung, Praxiskommentar, 2009, N. 1 zu Art. 32 StPO).
Entscheidend ist somit die Frage des Wohnorts von X._.
2.2 Nach der Rechtsprechung befindet sich der Wohnort einer Person am Ort des Mittelpunkts ihres Lebens, in der Regel also dort, wo sie für sich und ihre Familie eine Wohnung eingerichtet hat und bewohnt oder wo sie gewöhnlich nächtigt. Die Behörden dieses Orts stehen ihr am nächsten, kennen sie und können ihrer am besten habhaft werden (<ref-ruling> E. 3a S. 118 mit Hinweis).
Massgeblich ist grundsätzlich der Wohnort im Zeitpunkt, in dem das Bundesamt das Übernahmebegehren an eine kantonale Behörde weiterleitet (<ref-ruling> E. 3a S. 118/119).
Das Bundesamt schickte hier das Übernahmegesuch am 3. Juli 2008 an den Beschwerdeführer. In diesem Zeitpunkt befand sich X._ in Spanien im Strafvollzug. Damit wurde kein neuer Wohnort begründet (vgl. Art. 26 ZGB). Der 3. Juli 2008 kann für die Bestimmung des Wohnorts somit nicht massgeblich sein. Bei dieser Sachlage ist - was unbestritten ist - auf den Zeitpunkt der Verhaftung abzustellen.
2.3 X._ wurde am 25. August 2006 in Madrid verhaftet.
Zuvor wohnte er bis zum 31. Mai 2005 in Zürich. Darauf war er bis zum 28. September 2005 in der Gemeinde Gais/AR angemeldet, in der Folge in der Gemeinde Speicher.
Im Zeitpunkt der Verhaftung war X._ somit seit knapp 15 Monaten im Kanton Appenzell A.Rh. schriftenpolizeilich angemeldet. Diese Anmeldung bestand noch während eines Jahres nach der Verhaftung, bis die Gemeinde Speicher am 25. August 2007 von sich aus die Abmeldung vornahm.
X._ lebte in Speicher in einer Wohnung, welche die dortigen Sozialen Dienste bezahlten. Seit dem 1. Oktober 2005 bezog er gemäss Beschluss der Sozialhilfekommission Speicher Sozialhilfeleistungen, die ihm letztmals am 8. August 2006 ausbezahlt wurden. Am 4. September 2006 informierte er die Sozialen Dienste der Gemeinde Speicher schriftlich über seine Verhaftung.
X._ gab an, seinen Lebensmittelpunkt im Kanton Appenzell A.Rh. gehabt zu haben (Schreiben vom 11. Juli 2008, act. 34). Ein Interesse von X._, diesen Kanton als Wohnort lediglich vorzuschieben, ist - anders als etwa in einer Steuersache - nicht ersichtlich, da bei Verneinung des Wohnorts im Kanton Appenzell A.Rh. die subsidiäre Zuständigkeit des Heimatkantons gegeben gewesen wäre.
Seit seiner bedingten Entlassung aus dem Strafvollzug lebt X._ in Gais und damit erneut im Kanton Appenzell A.Rh.
2.4 Würdigt man diese Umstände gesamthaft, so bestehen gewichtige Anhaltspunkte dafür, dass X._ vor seiner Verhaftung seinen Lebensmittelpunkt im Kanton Appenzell A.Rh. hatte. Wesentlich ist namentlich, dass er dort eine Wohnung hatte. Nach der dargelegten Rechtsprechung befindet sich der Mittelpunkt des Lebens in der Regel an diesem Ort. Von dieser Regel abzuweichen besteht hier kein hinreichender Grund.
Wenn der Beschwerdeführer geltend macht, X._ habe mehrheitlich nicht in Speicher, sondern bei seinem Vater in Zürich gewohnt, beschränkt er sich auf Spekulation. Der Umstand, dass X._ wenige Male das Telefon seines Vaters in Zürich benutzt hat, kann nicht als Nachweis dafür angesehen werden, dass er sich mehrheitlich dort aufgehalten hat. Es ist normal, dass ein erwachsener Sohn seinen Vater ab und zu besucht und bei dieser Gelegenheit dessen Telefon benützen darf.
Auch der Umstand, dass der Beschwerdeführer nicht aktiv am Dorf- und Vereinsleben in Speicher teilgenommen habe, spricht nicht gegen die Annahme des dortigen Wohnorts. Wie die Vorinstanz zutreffend erwägt, gibt es viele Menschen, die an einem Ort wohnen, ohne sich dort aktiv am Dorf- und Vereinsleben zu beteiligen.
Dass die Sozialhilfekommission Speicher am 28. August 2006 im Hinblick darauf, dass X._ Termine bei den Sozialen Diensten nicht eingehalten hat, Zweifel daran geäussert hat, ob dessen Lebensmittelpunkt tatsächlich in Speicher sei, kann ebenfalls nicht entscheidend sein. Wie sich aus einem Schreiben von X._ vom 9. Januar 2007 (act. 116, Beilage 3 [rot], S. 5) ergibt, konnte dieser nachvollziehbar darlegen, weshalb er zu den Terminen nicht erschienen ist. Im Übrigen stellt mangelnde Termintreue bei Personen mit einer Drogenproblematik, wie sie bei X._ bestand, keine Seltenheit dar.
2.5 Wenn die Vorinstanz angenommen hat, der Wohnort von X._ habe sich im massgeblichen Zeitpunkt im Kanton Appenzell A.Rh. befunden, ist das unter den (E. 2.3) dargelegten Umständen bundesrechtlich haltbar.
3. Die Beschwerde ist deshalb abzuweisen.
Da es - wie der Beschwerdeführer (Beschwerde S. 2 A/2) selber darlegt - letztlich um die Kostentragung des Justizvollzugs geht, kann man sich fragen, ob der Beschwerdeführer mit der vorliegenden Beschwerde nicht Vermögensinteressen im Sinne von Art. 66 Abs. 4 BGG wahrgenommen hat. Die Abgrenzung ist nicht immer klar. Grundkriterium ist, dass das Gemeinwesen dann nicht kostenpflichtig sein soll, wenn es sich in erster Linie für die (aus seiner Sicht) rechtmässige Erfüllung von Staatsaufgaben einsetzt (HANSJÖRG SEILER, in: Bundesgerichtsgesetz, 2007, N. 51 zu Art. 66 BGG). Dies dürfte dem Beschwerdeführer zuzubilligen sein. Wie es sich damit verhält, braucht jedoch nicht abschliessend beurteilt zu werden, da es sich unter den gegebenen Umständen jedenfalls nach Art. 66 Abs. 1 Satz 2 BGG rechtfertigte, auf die Erhebung von Kosten zu verzichten (vgl. Urteil. 1C_2/2007 vom 4. Oktober 2007 E. 4, nicht publ. in: <ref-ruling>; BERNARD CORBOZ, in: Commentaire de la LTF, 2009, N. 31 zu Art. 66 BGG).
Dem Beschwerdeführer werden somit keine Kosten auferlegt.
Parteientschädigungen sind keine zuzusprechen (Art. 68 Abs. 3 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Es werden keine Kosten erhoben und keine Parteientschädigungen ausgerichtet.
3. Dieses Urteil wird dem Beschwerdeführer und dem Bundesamt für Justiz, Fachbereich Auslieferung, schriftlich mitgeteilt.
Lausanne, 4. Juli 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Härri