Sachverhalt:
A. Auf einem mit "Antrag auf Überstellung" bezeichneten Formular bekundete X._ am 26. Juli 2007 sein Interesse, zur weiteren Strafverbüssung in die Schweiz überstellt zu werden. Nach den im genannten Formular enthaltenen Angaben verbüsste X._ gestützt auf ein Urteil eines Madrider Gerichts in einem spanischen Gefängnis eine Freiheitsstrafe von 9 Jahren und einem Tag. In der Folge ersuchte das Bundesamt für Justiz das Departement Sicherheit und Justiz des Kantons Appenzell A.Rh., sich zum Überstellungsgesuch zu äussern. Das Departement Sicherheit und Justiz des Kantons Appenzell A.Rh. erklärte sich für unzuständig. X._ habe weder Wohnsitz noch Bürgerrecht im Kanton Appenzell A.Rh. Er habe sich bereits am 25. August 2007 aus der Gemeinde Speicher abgemeldet.
B. Hierauf richtete sich das Bundesamt für Justiz mit Schreiben vom 14. Juli 2008 an die Polizei- und Militärdirektion des Kantons Bern mit der Frage, ob sie einer Überstellung von X._ zustimme. Die Abteilung Straf- und Massnahmenvollzug der Polizei- und Militärdirektion des Kantons Bern erachtete in ihrem Schreiben vom 21. August 2008 die Zuständigkeit des Kantons Appenzell A.Rh. als gegeben. Die formellen Voraussetzungen für eine Überstellung seien erfüllt. Nach <ref-law> seien die Behörden des Wohnorts oder subsidiär des Heimatorts zuständig. X._ sei in Kleindietwil BE heimatberechtigt. Der Heimatort komme jedoch im vorliegenden Fall nicht zum Tragen, weil X._ seinen Wohnsitz nach wie vor in der Gemeinde Speicher AR habe. Seit Eingang des Überstellungsgesuchs beim Bundesamt für Justiz sei bereits mehr als ein Jahr vergangen. Der Kanton Bern sei daher namentlich aus humanitären Gründen der Ansicht, dass das Verfahren so rasch als möglich abgeschlossen werden müsse. Sofern der Kanton Appenzell A.Rh. nicht bereit sei, seine Zuständigkeit anzuerkennen, würde der Kanton Bern in dieser Angelegenheit an die Beschwerdekammer des Bundesstrafgerichts gelangen.
Um weitere Verzögerungen zu vermeiden, biete die Abteilung Straf- und Massnahmenvollzug des Kantons Bern an, dass einer vorläufigen Überstellung in den Kanton Bern - mit entsprechender Kostenfolge - zugestimmt werde. Dies geschehe allerdings unter der Bedingung, dass sich der Kanton Appenzell A.Rh. vorgängig bereit erkläre, den weiteren Vollzug zu übernehmen und dem Kanton Bern die im Zusammenhang mit der Überstellung entstandenen Kosten zurückzuerstatten, wenn die Zuständigkeit nach gerichtlicher Beurteilung der Sache beim Kanton Appenzell A.Rh. liegen sollte.
Das Departement Sicherheit und Justiz des Kantons Appenzell A.Rh. hielt in einem weiteren Schreiben an das Bundesamt für Justiz an seiner Rechtsauffassung fest und erklärte, ebenfalls an einer baldmöglichsten Klärung der Zuständigkeit interessiert zu sein. Der Kanton Appenzell A.Rh. sei daher mit dem Vorschlag der Abteilung Straf- und Massnahmenvollzug des Kantons Bern einverstanden, dass X._ - mit entsprechender Kostenfolge - vorläufig in den Kanton Bern überstellt werde. Der vom Kanton Bern angestrebte Entscheid der Beschwerdekammer des Bundesstrafgerichts werde akzeptiert. Der Kanton Appenzell A.Rh. werde den weiteren Vollzug der Strafe mit rückwirkender Kostenfolge übernehmen, wenn das Bundesstrafgericht zum Schluss komme, die Zuständigkeit liege beim Kanton Appenzell A.Rh.
Mit Vollzugsauftrag für Strafen und Massnahmen vom 2. Oktober 2009 hielt der Kanton Bern hierauf das Regionalgefängnis Bern, Anstalten in Witzwil, an, X._ zum Zwecke des Strafvollzugs aufzunehmen.
C. Mit Entscheid vom 6. Juli 2009 trat die I. Beschwerdekammer des Bundesstrafgerichts auf das Gesuch des Kantons Bern, die Zuständigkeit für die Übernahme des Strafvollzugs im Zusammenhang mit der Überstellung des in Spanien verurteilten X._ zu bestimmen, nicht ein. Zur Begründung seines Entscheids führte das Bundesstrafgericht im Wesentlichen aus, es gehe im vorliegenden Fall nicht um die Bestimmung des Gerichtsstands durch das Bundesstrafgericht im Sinne von <ref-law>. Das Bundesamt für Justiz lege mit seinem Entscheid gemäss <ref-law> (SR 351.1) über die Annahme des ausländischen Ersuchens die innerstaatliche Zuständigkeit fest. Ein solcher Entscheid könne beim Bundesstrafgericht nicht angefochten werden.
D. Der Kanton Bern erhebt mit Rechtsschrift vom 7. Oktober 2009 gegen den Kanton Appenzell A.Rh. Klage beim Bundesgericht. Er stellt den Antrag, es sei festzustellen, dass der Kanton Appenzell A.Rh. in Sachen X._ zum Vollzug der mit Urteil des Untersuchungsgerichts Madrid No 15 vom 29. Mai 2007 ausgesprochenen und mit Entscheid des Gerichtskreises IV Aarwangen-Wangen vom 28. Oktober 2008 als vollstreckbar erklärten Freiheitsstrafe von neun Jahren und einem Tag zuständig sei. Der Kanton Bern beruft sich auf <ref-law> und macht geltend, es sei kein Rechtsmittel zum Entscheid über die Zuständigkeit gegeben.
E. Das Departement Sicherheit und Justiz des Kantons Appenzell A.Rh. beantragt, die Klage sei abzuweisen, soweit darauf einzutreten sei.

Erwägungen:
1. Das Bundesgericht prüft seine Zuständigkeit von Amtes wegen und mit freier Kognition (<ref-law>).
1.1 Gemäss <ref-law> beurteilt das Bundesgericht auf Klage als einzige Instanz unter anderem öffentlich-rechtliche Streitigkeiten zwischen Kantonen. Nach <ref-law> ist die Klage jedoch unzulässig, wenn ein anderes Bundesgesetz eine Behörde zum Erlass einer Verfügung über solche Streitigkeiten ermächtigt. Gegen die Verfügung ist letztinstanzlich die Beschwerde an das Bundesgericht zulässig.
1.2 Nach <ref-law> entscheidet das Bundesamt nach Rücksprache mit der Vollzugsbehörde über die Annahme des ausländischen Ersuchens. Nimmt es dieses an, so übermittelt es die Akten und seinen Antrag der Vollzugsbehörde und verständigt den ersuchenden Staat. Es kann die Übernahme des Strafvollzugs in sinngemässer Anwendung von <ref-law> ablehnen. Nach dem klaren Wortlaut von <ref-law> entscheidet das Bundesamt verbindlich über die Übernahme des Strafvollzugs durch die Schweiz und durch den bestimmten Kanton. Die kantonale Zuständigkeit ist nach den Regeln von <ref-law> festzulegen (vgl. <ref-law> i.V.m. <ref-law> in der Fassung des dritten Buchs StGB vom 13. Dezember 2002, in Kraft seit 1. Januar 2007 [AS 2006 3459 3535]). Danach sind für Straftaten, die im Ausland begangen wurden, die Behörden des Wohnorts des Täters zuständig. Fehlt ein Wohnort in der Schweiz, so sind die Behörden des Heimatorts zuständig (<ref-law>).
Vor seinem Entscheid hat das Bundesamt mit dem von ihm als zuständig erachteten Vollzugskanton Rücksprache zu nehmen. Diese Rücksprache dient im Wesentlichen der Wahrung des rechtlichen Gehörs gegenüber dem Vollzugskanton vor Erlass der Verfügung über die Übernahme des Strafvollzugs (<ref-law>). Hält sich ein angefragter Kanton für nicht zuständig, so ist je nach den konkreten Umständen noch mit einem oder mehreren anderen Kantonen Rücksprache zu nehmen (z.B. bei mehreren Heimatkantonen). Nach erfolgter Rücksprache hat das Bundesamt über das Übernahmegesuch betreffend den Strafvollzug eine Verfügung zu treffen. Stimmt es der Übernahme zu, so bestimmt es gleichzeitig nach den Regeln von <ref-law> den Kanton, der für die Vollstreckung des ausländischen Urteils und die Durchführung des Exequaturverfahrens nach Art. 105 f. IRSG zuständig ist.
1.3 Ist die hier umstrittene Zuständigkeitsfrage erstinstanzlich durch den Erlass einer Verfügung zu entscheiden, so tritt an die Stelle der Klage nach <ref-law> die Beschwerde gemäss <ref-law>. In diesem Beschwerdeverfahren beurteilt das Bundesgericht letztinstanzlich die kantonale Zuständigkeit. Die Beschwerde nach <ref-law> betrifft im vorliegenden Zusammenhang lediglich die Frage der Zuständigkeit zur Durchführung des Exequaturverfahrens und zur Vollstreckung des ausländischen Strafurteils. Es handelt sich dabei um eine staatsrechtliche Streitigkeit, die in Bezug auf Anfechtungsgegenstand, Vorinstanz, Beschwerdelegitimation etc. nicht in jeder Hinsicht den Regeln einer der drei Einheitsbeschwerden des BGG unterliegt. Anfechtungsobjekt bildet die gemäss <ref-law> erlassene Verfügung des Bundesamts für Justiz. Zur Beschwerde gegen diese Verfügung ist der Kanton berechtigt, dem das Bundesamt die Prüfung der Vollstreckungsvoraussetzungen überträgt. In Bezug auf Form und Frist sind die Art. 42 und 100 Abs. 1 BGG anwendbar.
1.4 Dem beschriebenen Rechtsweg zur Klärung der Zuständigkeitsfrage steht <ref-law> (SR 351.11) nicht entgegen. Diese vor Erlass des BGG eingefügte Bestimmung bezeichnet Entscheide des Bundesamts über die Annahme oder die Weiterleitung eines Ersuchens an die ausführende Behörde im Sinne von <ref-law> als nicht selbstständig anfechtbar. Dies entspricht grundsätzlich der Praxis des Bundesgerichts zur Anfechtbarkeit von Vorprüfungsentscheiden des Bundesamts für Justiz (Urteil 1A.53/2001 vom 26. April 2001; ROBERT ZIMMERMANN, La coopération judiciaire internationale en matière pénale, 3. Aufl. 2009, S. 730). Soweit jedoch mit dem Entscheid des Bundesamts auch über die innerstaatliche Zuständigkeit zum Exequaturverfahren nach Art. 105 f. IRSG entschieden wird, liegt ein Entscheid über eine Rechtsfrage vor, welche für das Exequaturverfahren von grundlegender Bedeutung ist und nicht auf einen späteren Zeitpunkt verschoben werden kann. Nach rechtskräftiger Beurteilung der Zuständigkeitsfrage hat der als zuständig bezeichnete Kanton das Exequaturverfahren im Sinne von Art. 105 f. IRSG durchzuführen (Urteil des Bundesgerichts 1A.53/2001 vom 26. April 2001 E. 2b). Der Entscheid des erstinstanzlichen Exequaturrichters unterliegt einem kantonalen Rechtsmittel (<ref-law>). Der kantonale Rechtsmittelentscheid kann anschliessend mit Beschwerde in Strafsachen beim Bundesgericht angefochten werden (<ref-law>).
2. Es ergibt sich, dass das Bundesamt für Justiz die Zuständigkeitsfrage gestützt auf <ref-law> in einer Verfügung zu regeln hat, welche nach <ref-law> der Beschwerde durch den betroffenen Kanton an das Bundesgericht unterliegt. Auf die vorliegende Klage kann somit nicht eingetreten werden.
Den Parteien sind für das bundesgerichtliche Verfahren in Anwendung von Art. 66 Abs. 4 und Art. 68 Abs. 3 BGG keine Gerichtskosten aufzuerlegen und keine Parteientschädigungen zuzusprechen.

Demnach erkennt das Bundesgericht:
1. Auf die Klage wird nicht eingetreten.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien und dem Bundesamt für Justiz schriftlich mitgeteilt.
Lausanne, 21. Dezember 2009
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Haag