Sachverhalt:
A. Der schweizerisch-brasilianische Doppelbürger M._ kehrte am 4. Mai 2008 als Rückwanderer mit der Absicht des dauernden Verbleibens in die Schweiz zurück, wo er zunächst in einem Wohnheim in der Stadt Zürich Unterkunft fand. Da er über keine finanziellen Mittel verfügte, wurde er von den Sozialen Diensten der Stadt Zürich unterstützt. Auf den 1. Juni 2008 bezog er in Zürich eine Mietwohnung.
Mit Unterstützungsanzeige der Sozialen Dienste Zürich vom 16. Juni 2008 zeigte der Kanton Zürich dem Bundesamt für Justiz (nachstehend: Bundesamt) am 20. Juni 2008 den Unterstützungsfall an und ersuchte um Kostenersatz des Bundes für die Zeit vom 4. Mai bis 3. August 2008. Am 2. Dezember 2008 unterbreitete er dem Bundesamt die Abrechnung vom 25. Oktober 2008 für das 3. Quartal in Höhe von insgesamt Fr. 2'727.55. Darin enthalten war unter anderem die Wohnungsmiete der Monate Juli und August von je Fr. 801.-.
Mit Verfügung vom 20. März 2009 anerkannte das Bundesamt seine grundsätzliche Leistungspflicht, kürzte die Abrechnung jedoch um die darin enthaltene Miete für die Zeitspanne vom 4. bis 31. August 2008 im Umfang von Fr. 723.50, womit ein Rückerstattungsbetrag von Fr. 2'004.05 verblieb.
B. Die vom Kanton Zürich dagegen eingereichte Beschwerde wies das Bundesverwaltungsgericht mit Entscheid vom 6. Januar 2012 ab.
C. Der Kanton Zürich erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheids sei das Bundesamt zu verpflichten, ihm die Kosten gemäss Abrechnung für das 3. Quartal 2008 im Betrag von Fr. 2'727.55 vollumfänglich zu ersetzen.
Das Bundesamt schliesst auf Abweisung der Beschwerde.

Erwägungen:
1. Das Bundesgericht prüft seine Zuständigkeit von Amtes wegen (<ref-law>).
1.1 Gemäss <ref-law> beurteilt das Bundesgericht auf Klage hin als einzige Instanz unter anderem öffentlich-rechtliche Streitigkeiten zwischen Bund und Kantonen. Nach <ref-law> ist die Klage jedoch unzulässig, wenn ein anderes Bundesgesetz eine Behörde zum Erlass einer Verfügung über solche Streitigkeiten ermächtigt. Gegen die Verfügung ist letztinstanzlich die Beschwerde an das Bundesgericht zulässig. Die Klage ist somit insofern subsidiär zur Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>), als ein Spezialgesetz einer Behörde für die Erledigung der in <ref-law> genannten Streitigkeiten eine Verfügungskompetenz zuweist (vgl. <ref-ruling> E. 1.2 f. S. 46 ff.; ALAIN WURZBURGER, in: Commentaire de la LTF, 2009, N. 14 ff. zu <ref-law>). Dasselbe hat auch zu gelten, wenn die Sachgesetzgebung ein Anfechtungsverfahren ohne Vorliegen einer Verfügung vorsieht, wie dies beispielsweise gemäss Art. 31 und 34 des Zuständigkeitsgesetzes vom 24. Juni 1977 (ZUG; SR 851.1) der Fall ist (vgl. <ref-ruling> E. 2.3 S. 353; BERNHARD WALDMANN, in: Basler Kommentar, Bundesgerichtsgesetz, 2. Aufl. 2011, N. 20 zu <ref-law>).
1.2 Der Kanton Zürich stützt sich für die geltend gemachte Kostenersatzpflicht des Bundes auf Art. 3 Abs. 1 Satz 1 des bis 31. Dezember 2009 gültig gewesenen Bundesgesetzes vom 21. März 1973 über Fürsorgeleistungen an Auslandschweizer (ASFG; AS 1973 1976 [seit 1. Januar 2010: Bundesgesetz vom 21. März 1973 über Sozialhilfe und Darlehen an Schweizer Staatsangehörige im Ausland; BSDA; SR 852.1]). Dort wird bloss festgehalten, dass der Bund bei der Unterstützung von Heimkehrenden die Kosten während längstens drei Monaten übernimmt. Eine konkrete Verfügungskompetenz bei Rückvergütungen durch den Bund wird dem Bundesamt im Gesetz nicht eingeräumt. Dieses sieht auch kein verfügungsloses Anfechtungsverfahren analog dem ZUG (<ref-law>) vor. Ebenso wenig enthalten die bis 31. Dezember 2009 in Kraft gestandene Verordnung vom 26. November 1973 über Fürsorgeleistungen an Auslandschweizer (ASFV; AS 1973 1983) und die seit 1. Januar 2010 gültige Verordnung vom 4. November 2009 über Sozialhilfe und Darlehen an Schweizer Staatsangehörige im Ausland (VSDA; SR 852.11) diesbezüglich eine nähere Bestimmung. Art. 27 Abs. 1 VSDA hält lediglich fest, dass der Bund dem Aufenthaltskanton die Kosten für die Sozialhilfe nach Art. 3 BSDA vergütet.
1.3 Nach Art. 14 Abs. 1 BSDA entscheidet das Bundesamt für Justiz über die ihm unterbreiteten Gesuche und leistet für die von ihm bewilligte Hilfe Gutsprache. Ablehnende Verfügungen und Entscheide sind schriftlich zu begründen und mit einer Rechtsmittelbelehrung zu versehen (Art. 14 Abs. 4 BSDA). Diese Kompetenzzuweisung bezieht sich nach dem Wortlaut und der Systematik der Gesetzesbestimmung auf Sozialhilfegesuche von Auslandschweizerinnen und Auslandschweizern. Es ist daher fraglich, ob sie im Rahmen von Rückvergütungen durch den Bund den Anforderungen von <ref-law> ("eine Behörde zum Erlass einer Verfügung über solche Streitigkeiten ermächtigt") zu genügen vermag.
1.4 Gemäss Art. 2 Abs. 1 des Bundesgesetzes vom 5. Oktober 1990 über Finanzhilfen und Abgeltungen (Subventionsgesetz; SuG; SR 616.1) gilt dieses für alle im Bundesrecht vorgesehenen Finanzhilfen und Abgeltungen. Laut Art. 3 Abs. 2 SuG sind Abgeltungen Leistungen an Empfänger ausserhalb der Bundesverwaltung zur Milderung oder zum Ausgleich von finanziellen Lasten, die sich ergeben aus der Erfüllung von: a) bundesrechtlich vorgeschriebenen Aufgaben; b) öffentlichrechtlichen Aufgaben, die dem Empfänger vom Bund übertragen worden sind. Indem der Kanton Zürich den Bund um die Vergütung von Kosten ersucht, die ihm in den ersten drei Monaten nach der Heimkehr einer unterstützungsbedürftigen Person entstanden sind, verlangt er sinngemäss eine Abgeltung im Sinne von Art. 3 Abs. 2 SuG. Es handelt sich dabei zwar nicht um einen typischen Subventionstatbestand, sondern um die streitige Kostenübernahme durch den Bund in einem konkreten Unterstützungsfall (vgl. nachstehend E. 6.4.1). Gemäss Art. 2 SuG sind die Bestimmungen des Subventionsgesetzes für alle im Bundesrecht vorgesehenen Finanzhilfen und Abgeltungen anwendbar. Art. 16 Abs. 1 SuG bestimmt, dass Finanzhilfen und Abgeltungen in der Regel durch Verfügung gewährt werden. Für die Ablehnung von Gesuchen ist in jedem Fall eine Verfügung nötig (Art. 16 Abs. 4 SuG).
1.5 Aus Art. 16 Abs. 4 SuG in Verbindung mit Art. 14 BSDA ergibt sich somit eine bundesgesetzliche Ermächtigung an das Bundesamt für Justiz im Sinne von <ref-law>, über den vorliegenden Rückvergütungsstreit als erstverfügende Behörde zu entscheiden. Damit ist der Klageweg ausgeschlossen, und die Sache kann mit Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) vor das Bundesgericht gebracht werden, sofern die entsprechenden gesetzlichen Voraussetzungen erfüllt sind.
1.6 Angefochten ist ein Endentscheid des Bundesverwaltungsgerichts (Art. 86 Abs. 1 lit. a, Art. 90 BGG). Bei der gerügten unrichtigen Anwendung des ASFG handelt es sich um öffentliches Recht des Bundes im Sinne von <ref-law>. Ein Ausschlussgrund liegt nicht vor (vgl. 83 BGG).
1.7 Der Kanton Zürich hat am vorinstanzlichen Verfahren als Partei teilgenommen und wurde als Adressat des seine Ersatzforderung teilweise ablehnenden angefochtenen Erlasses verpflichtet, finanzielle Leistungen zu erbringen. Er ist daher zur Beschwerde ans Bundesgericht legitimiert (<ref-law>).
1.8 Auf die fristgerecht eingereichte Beschwerde ist daher einzutreten (<ref-law>).
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung im Sinne von Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 beruht (<ref-law>).
3. 3.1 Im Streit liegt der Umfang der Kostenersatzpflicht des Bundes gegenüber dem zuständigen Kanton für einem Auslandschweizer nach dessen Rückkehr in die Schweiz ausgerichtete Sozialhilfeleistungen. In Frage steht, ob der Bund dem Beschwerdeführer die gesamten von diesem innerhalb der vom 4. Mai bis 3. August 2008 dauernden dreimonatigen Frist gemäss Art. 3 Abs. 1 Satz 1 ASFG bezahlten Mietkosten zu vergüten hat. Unbestritten ist, dass der Beschwerdeführer am 21. Juli 2008 die vertraglich am 1. des Monats fällig gewordene Wohnungsmiete für den Monat August 2008 in Höhe von Fr. 801.- bezahlt hat. Während der Beschwerdeführer geltend macht, mit Blick auf Art. 3 Abs. 1 ASFG habe der Bund sämtliche Sozialhilfekosten zu übernehmen, die der Kanton während den ersten drei Monaten nach der Rückkehr des Auslandschweizers zu dessen Gunsten aufgebracht habe, verneinen Vorinstanz und Bundesamt dies, da vom Bund nur jene Kosten pro rata temporis zu vergüten seien, welche Unterstützungsleistungen für den fraglichen Zeitraum zum Gegenstand haben.
3.2 Unter dem Titel "Unterstützung bei Heimkehr" hält der hier interessierende Art. 3 Abs. 1 ASFG fest: "Müssen Auslandschweizer, die sich mindestens drei Jahre im Ausland aufgehalten haben, nach ihrer Rückkehr in die Schweiz unterstützt werden, so übernimmt der Bund die Kosten längstens für drei Monate, vom Tage der Rückkehr an gerechnet. Die Fürsorgeleistungen richten sich in diesem Falle nach den Bestimmungen des Aufenthaltskantons." Der Gesetzestext von Art. 3 Abs. 1 Satz 1 ASFG stimmt wörtlich mit dem seit 1. Januar 2010 in Kraft stehenden Art. 3 Abs. 1 BSDA überein. Satz 2 von Art. 3 Abs. 1 ASFG wurde praktisch wörtlich zu Art. 3 Abs. 2 BSDA. Da sich der hier massgebende Sachverhalt unter der Herrschaft des ASFG zugetragen hat, wird nachstehend dieses Gesetz zitiert.
4. 4.1 Das Bundesverwaltungsgericht hält im angefochtenen Entscheid dafür, der Bund habe dem Aufenthaltskanton bei angebrochenen Monaten nach Art. 3 Abs. 1 Satz 1 ASFG die Wohnungsmieten pro rata temporis zu vergüten. Zu diesem Ergebnis kommt es hauptsächlich aufgrund der teleologischen Überlegung, wonach die Bestimmung einerseits ein Entgegenkommen gegenüber den Kantonen bezwecke und anderseits einen reibungslosen Übergang der Sozialhilfe auf die zuständigen Organe in der Schweiz ermöglichen solle. Damit stelle sie eine Sonderregelung gegenüber dem in <ref-law> verankerten Grundsatz der Unterstützung Bedürftiger durch den Wohnkanton dar und sei folglich eng auszulegen. Da die dreimonatige Frist mit dem Tag der Einreise in die Schweiz zu laufen beginne und erfahrungsgemäss die wenigsten Heimkehrenden auf den Monatsbeginn oder dessen Ende einreisten, würde ein Abstellen auf sämtliche vom Kanton während dieser Zeitspanne bezahlten Dauerleistungen zu einer mit Sinn und Zweck von Art. 3 Abs. 1 Satz 1 ASFG nicht vereinbaren zeitlichen Ausweitung der Kostenersatzpflicht des Bundes führen, indem dieser auch angebrochene Monate voll zu vergüten hätte. Zum selben Ergebnis führt laut Vorinstanz auch eine systematische Betrachtungsweise, indem sich eine anteilsmässige Verrechnung dem Grundsatz nach mit den Abrechnungsmodalitäten gemäss ZUG decke.
4.2 Nach dem Beschwerdeführer deutet die historische Auslegung darauf hin, dass bei Dauerrechtsverhältnissen jene Kosten vom Bund zu erstatten seien, welche während der Weiterverrechnungsperiode fällig würden. Gemäss den Ausführungen des Bundesrates in der Botschaft zum Entwurf eines Bundesgesetzes über Fürsorgeleistungen an Auslandschweizer vom 6. September 1972 (BBl 1972 II 548 Ziff. 32) trage der Bund den Aufwand aus Verpflichtungen, welche der Kanton nach fürsorgerischen Grundsätzen für den Klienten eingegangen sei. Mit der Fälligkeit und entsprechenden Zahlung würden die Kosten im Sinne des Weiterverrechnungstatbestandes nach Art. 3 ASFG entstehen. Da für die Bemessung des Anspruchs auf öffentliche Sozialhilfe grundsätzlich die aktuelle wirtschaftliche Situation der bedürftigen Person massgebend sei, gehören nach Ansicht des Beschwerdeführers die üblicherweise auf den 1. des Monats im Voraus fällig werdenden Mietzinsforderungen zu den vom Bund rückerstattungspflichtigen Kosten. Mit der vertragsgemässen Vorauszahlung der Wohnungsmiete für den Monat August am 21. Juli 2008 seien die zur Rückerstattung geltend gemachten Kosten somit entstanden. Seine Auffassung sieht der Beschwerdeführer zudem darin bestätigt, dass gemäss der von der Schweizerischen Konferenz für Sozialhilfe eingesetzten "Kommission ZUG/Rechtsfragen" bei Arztrechnungen vom Zeitpunkt der Fälligkeit der Rechnung auszugehen sei (49. Sitzung vom 18. Januar 2007) und Versicherungsprämien nach gängiger interkantonaler Weiterverrechnungspraxis nicht pro rata temporis abgerechnet würden.
5. 5.1 Nach den üblichen Regeln der Gesetzesauslegung (<ref-ruling> E. 2.2 S. 211; <ref-ruling> E. 4.1 S. 316 f.) ist eine Bestimmung in erster Linie nach ihrem Wortlaut auszulegen. Ist der Text nicht ganz klar und sind verschiedene Auslegungen möglich, so muss nach seiner wahren Tragweite gesucht werden unter Berücksichtigung aller Auslegungselemente, namentlich von Sinn und Zweck sowie der dem Text zu Grunde liegenden Wertung. Wichtig ist ebenfalls der Sinn, der einer Norm im Kontext zukommt. Vom klaren, d.h. eindeutigen und unmissverständlichen Wortlaut darf nur ausnahmsweise abgewichen werden, u.a. dann nämlich, wenn triftige Gründe dafür vorliegen, dass der Wortlaut nicht den wahren Sinn der Bestimmung wiedergibt. Solche Gründe können sich aus der Entstehungsgeschichte der Bestimmung, aus ihrem Grund und Zweck oder aus dem Zusammenhang mit andern Vorschriften ergeben (<ref-ruling> E. 3.1 S. 169 f.; <ref-ruling> E. 2.2 S. 81; <ref-ruling> E. 7.1 S. 229).
5.2 Ausnahmebestimmungen sind weder restriktiv noch extensiv, sondern nach ihrem Sinn und Zweck im Rahmen der allgemeinen Regelung auszulegen (<ref-ruling> E. 3.4 S. 171 mit Hinweisen).
6. 6.1 Mit der Vorinstanz ist davon auszugehen, dass der Wortlaut von Art. 3 Abs. 1 Satz 1 ASFG, zumindest was die hier in Frage stehenden periodischen Leistungen bzw. über die Dreimonatsperiode hinausgehende Dauersachverhalte betrifft, mehreren Deutungen zugänglich ist. In der Formulierung "übernimmt der Bund die Kosten längstens für drei Monate, vom Tage der Rückkehr an gerechnet" (frz.:"... assume les frais pendant trois mois au plus à compter de la date de retour ..."; ital.: "... ne assume le spese per tre mesi al massimo a contare dalla data del ritorno ...") kann zwar die Verpflichtung des Bundes zur Übernahme sämtlicher vom Kanton in dieser Zeitspanne bezahlten Fälligkeiten erblickt werden, unabhängig davon, welchen Zeitraum die Leistung effektiv abdeckt. Die Bezeichnung "längstens für drei Monate" ("pendant trois mois au plus"; "per tre mesi al massimo") spricht eher für eine restriktive Auslegung. Der Wortlaut kann daher auch dahin gehend gedeutet werden, dass nur Kosten gemeint sind, die den Unterstützungsbedarf ("unterstützt werden") längstens für drei Monate ab der Rückkehr abdecken.
6. 6.1 Mit der Vorinstanz ist davon auszugehen, dass der Wortlaut von Art. 3 Abs. 1 Satz 1 ASFG, zumindest was die hier in Frage stehenden periodischen Leistungen bzw. über die Dreimonatsperiode hinausgehende Dauersachverhalte betrifft, mehreren Deutungen zugänglich ist. In der Formulierung "übernimmt der Bund die Kosten längstens für drei Monate, vom Tage der Rückkehr an gerechnet" (frz.:"... assume les frais pendant trois mois au plus à compter de la date de retour ..."; ital.: "... ne assume le spese per tre mesi al massimo a contare dalla data del ritorno ...") kann zwar die Verpflichtung des Bundes zur Übernahme sämtlicher vom Kanton in dieser Zeitspanne bezahlten Fälligkeiten erblickt werden, unabhängig davon, welchen Zeitraum die Leistung effektiv abdeckt. Die Bezeichnung "längstens für drei Monate" ("pendant trois mois au plus"; "per tre mesi al massimo") spricht eher für eine restriktive Auslegung. Der Wortlaut kann daher auch dahin gehend gedeutet werden, dass nur Kosten gemeint sind, die den Unterstützungsbedarf ("unterstützt werden") längstens für drei Monate ab der Rückkehr abdecken.
6.2 6.2.1 In der Botschaft zum ASFG (BBl 1972 II 548 Ziff. 32), welches sich auf Art. 45bis aBV (heute: <ref-law>) stützt, wurde festgehalten: "Die Bestimmung von Artikel 3, wonach der Bund allfällige Unterstützungskosten für längstens drei Monate, vom Tage der Rückkehr eines Auslandschweizers in die Schweiz an gerechnet, übernimmt, stellt nicht bloss ein Entgegenkommen gegenüber den nach kantonalem Recht zuständigen Fürsorgebehörden dar; sie bezweckt vor allem den reibungslosen Übergang der Fürsorge auf die zuständigen Fürsorgeorgane in der Schweiz." .... "Anerkannt werden während der dreimonatigen Frist nicht nur die tatsächlich ausgelegten Kosten, sondern auch alle Aufwendungen aus Verpflichtungen, welche der Kanton nach fürsorgerischen Grundsätzen für den Hilfsbedürftigen eingegangen ist."
6.2.2 Der Vorinstanz ist darin beizupflichten, dass aus den erwähnten Aussagen in der bundesrätlichen Botschaft nicht hervorgeht, wie es sich in zeitlicher Hinsicht mit Leistungen und Verpflichtungen aus Dauerrechtsverhältnissen verhält, welche die Dreimonatsperiode überschreiten. Die Rede ist einerseits von "Unterstützungskosten für längstens drei Monate" und anderseits von "während der dreimonatigen Frist ... ausgelegten Kosten" und "Aufwendungen aus Verpflichtungen, welche der Kanton" eingegangen ist. Daraus ergibt sich indessen kein klarer Hinweis darauf, dass die Rückvergütung gemäss Art. 3 Abs. 1 Satz 1 ASFG auch Vorauszahlungen für Leistungen betrifft, die erst nach Ablauf der Dreimonatsfrist zu erbringen sind. Insbesondere kann aus der Botschaft - entgegen der Auffassung des Beschwerdeführers - nicht eine Absicht abgeleitet werden, wonach die Rückvergütung durch den Bund sämtliche innerhalb der dreimonatigen Frist fälligen und daher vom Kanton bezahlten Verbindlichkeiten der unterstützungsbedürftigen Person betreffe, unabhängig vom Zeitpunkt der Inanspruchnahme der entsprechenden Leistung.
6.2.3 Laut Art. 27 Abs. 1 VSDA (die ASFV enthielt keine gleichlautende Bestimmung) vergütet der Bund dem Aufenthaltskanton die Kosten für die Sozialhilfe nach Art. 3 BSDA ab dem Tag der Einreise in die Schweiz. Gemäss den Erläuterungen VSDA vom Dezember 2009 (http://www.bj.admin.ch unter Themen/Migration/Sozialhilfe Auslandschweizer/Auslandschweizer/in/Erläuterungen) zu Art. 27 Abs. 1 VSDA werden dem Aufenthaltskanton die Sozialhilfekosten für Heimkehrende vergütet, die ihm in den ersten drei Monaten entstanden sind. Die dreimonatige Frist beginne wie bisher mit dem Tag der Einreise in die Schweiz. Eine bestimmte Praxis zur Rückvergütung der Kosten von Dauerleistungen ergibt sich somit weder aufgrund der Verordnung noch der Erläuterungen.
6.2.3 Laut Art. 27 Abs. 1 VSDA (die ASFV enthielt keine gleichlautende Bestimmung) vergütet der Bund dem Aufenthaltskanton die Kosten für die Sozialhilfe nach Art. 3 BSDA ab dem Tag der Einreise in die Schweiz. Gemäss den Erläuterungen VSDA vom Dezember 2009 (http://www.bj.admin.ch unter Themen/Migration/Sozialhilfe Auslandschweizer/Auslandschweizer/in/Erläuterungen) zu Art. 27 Abs. 1 VSDA werden dem Aufenthaltskanton die Sozialhilfekosten für Heimkehrende vergütet, die ihm in den ersten drei Monaten entstanden sind. Die dreimonatige Frist beginne wie bisher mit dem Tag der Einreise in die Schweiz. Eine bestimmte Praxis zur Rückvergütung der Kosten von Dauerleistungen ergibt sich somit weder aufgrund der Verordnung noch der Erläuterungen.
6.3 6.3.1 Werden zusätzlich systematische Argumente zur Auslegung herangezogen, ergibt sich auch kein eindeutiges Ergebnis. Sowohl das ASFG als auch das ZUG sind Gesetze, die im Bereich der Sozialhilfe die Zuständigkeit regeln. Während das ASFG die Zuständigkeit des Bundes in Abgrenzung zu den Zuständigkeiten der Kantone umschreibt, hat das ZUG die Zuständigkeit zwischen den Kantonen zum Gegenstand. <ref-law> verweist bezüglich der Unterstützung von Auslandschweizern auf das ASFG, während <ref-law> den Ersatz von Unterstützungskosten durch den Bund nach besonderen Erlassen vorbehält.
6.3.2 Hinsichtlich der Ersatzpflicht von periodischen Leistungen enthält das ZUG keine Regelung. Es äussert sich insbesondere nicht zur Frage, wie Mietzinsen unter den Kantonen weiterzuverrechnen sind. Nach den unbestrittenen Feststellungen der Vorinstanz erging diesbezüglich bislang auch keine Verwaltungsweisung. Laut einer Auskunft der Schweizerischen Konferenz für Sozialhilfe (SKOS) vom 21. November 2007 verhält es sich indessen offenbar so, dass Mietkosten im Verhältnis zwischen Wohn- und Heimatkanton anteilsmässig zu übernehmen sind. Die Aussage bezieht sich allerdings auf eine Anfrage in einem konkreten Einzelfall und nicht auf eine allgemeine Weisung. Der Beschwerdeführer verweist unter anderem auf ein anderes Vorgehen im interkantonalen Ausgleich bei Auslagen für Jahresversicherungen und medizinische Leistungen. Es trifft zwar zu, dass die "Kommission ZUG/Rechtsfragen" (vgl. 49. Sitzung vom 18. Januar 2007) für die Weiterverrechnung von medizinischen Leistungen den Zeitpunkt der Fälligkeit als massgebend bezeichnet hat. Wie die Vorinstanz zu Recht anführt, handelt es sich dabei jedoch nicht um periodische Leistungen. Bezüglich der Auslagen für Jahresversicherungen fehlt es am klaren Hinweis auf eine gängige Praxis.
6.3.3 In einem an die kantonalen Sozialämter gerichteten Orientierungsschreiben vom Februar 2008 hielt das Bundesamt im Zusammenhang mit der Heimkehr von Auslandschweizer/innen fest, bei der Verrechnung der ausgelegten Sozialhilfe sei - analog der gängigen interkantonalen Praxis - zu beachten, dass die vom Kanton erbrachten Leistungen, die über drei Monate hinausgehen, in der Regel "pro rata temporis" abzurechnen seien. Als Beispiele wurden Auslagen für lang dauernde Sprachkurse und Ausbildungen erwähnt. Wie die Vorinstanz zutreffend festhält, müssten die nicht ausdrücklich erwähnten Mietzinse grundsätzlich ebenfalls in diese Kategorie fallen.
6.3.4 Eine eindeutige Antwort auf die sich stellende Frage der Weiterverrechnung von Kosten länger dauernder Leistungen lässt sich aus dem ZUG aber nicht ableiten.
6.4 Da die erwähnten Auslegungsmethoden zu keinem eindeutigen Ergebnis führen, kommt dem Sinn und Zweck von Art. 3 Abs. 1 Satz 1 ASFG entscheidende Bedeutung zu.
6.4.1 Die Unterstützung Bedürftiger in der Schweiz obliegt grundsätzlich den Kantonen (<ref-law>; <ref-law>). Entsprechend richten sich Umfang und Modalitäten der Sozialhilfe nach kantonalem Recht (<ref-law>). Art. 3 Abs. 1 Satz 1 ASFG normiert keine Zuständigkeit, sondern lediglich eine zeitlich beschränkte Kostenersatzpflicht des Bundes (WERNER THOMET, Kommentar zum Bundesgesetz über die Zuständigkeit für die Unterstützung Bedürftiger [ZUG], 2. Aufl. 1994, N. 201). Mit der Rückvergütungsregelung wird der Kanton bei der Aufnahme rückkehrender Auslandschweizer finanziell unterstützt. Es handelt sich somit um ein Entgegenkommen des Bundes gegenüber der kantonal zuständigen Sozialhilfebehörde.
6.4.2 Dem Beschwerdeführer ist darin beizupflichten, dass einem Grundsatz der öffentlichen Sozialhilfe entsprechend, bei der Bemessung des Anspruchs auf die aktuelle wirtschaftliche Situation der bedürftigen Person abzustellen ist und die Hilfeleistung rechtzeitig zu erfolgen hat. Für eine fällige Forderung sind dieser die nötigen Mittel gegebenenfalls sofort zur Verfügung zu stellen. Im Verhältnis zwischen der Sozialhilfebehörde und der unterstützungsberechtigten Person spielt die Fälligkeit einer Forderung somit eine entscheidende Rolle. Anders verhält es sich bei der Beziehung zwischen Kanton und Bund. Hier ist die Fälligkeit einer Forderung insofern unerheblich, als der Kanton durchaus jene Unterstützungsleistungen ausscheiden kann, welche die ersten drei Monate betreffen. Daran ändert nichts, dass Dauerrechtsverhältnisse, wie beispielsweise die Wohnungsmieten, normalerweise nicht tageweise, sondern für einen längeren Zeitraum (z.B. für einen Monat, eventuell sogar für ein Jahr) im Voraus zu begleichen sind. Der Einwand des Beschwerdeführers führt somit nicht ohne Weiteres zu einer Interpretation von Art. 3 ASFG dahin gehend, dass der Bund alle Kosten zu übernehmen habe, die für einen Sozialhilfebezüger in den ersten drei Monaten nach seiner Rückkehr von der Fürsorgebehörde bezahlt werden. Eine formelle Betrachtungsweise mit der Anknüpfung an das Datum der Zahlung hat nämlich unter Umständen zur Folge, dass der Bund Rückvergütungen leisten muss für Zahlungen, welche den Sozialhilfebedarf für einen weit grösseren Zeitraum abdecken. Mit Blick auf Mieten würde dies konkret bedeuten, dass bei einer Einreise der bedürftigen Person in die Schweiz im Laufe der ersten Woche eines Monats der Bund Wohnkosten für jeweils praktisch vier Monate übernehmen müsste. Dies kann jedoch nicht Sinn und Zweck der zur Diskussion stehenden Norm sein, welche die Kostenvergütung des Bundes ausdrücklich auf "längstens" drei Monate beschränkt. Zudem würde damit ohne hinreichend klare gesetzliche Grundlage und ohne sachlich zwingenden Grund eine systemfremde Ausdehnung der finanziellen Verantwortung des Bundes in den Bereich der grundsätzlich den Kantonen überlassenen Sozialhilfe einhergehen. Eine materielle Betrachtungsweise, welche auf die Kosten für effektive Sozialhilfeleistungen der ersten drei Monate abstellt, steht demgegenüber mit Sinn und Zweck der interessierenden Bestimmung im Einklang.
6.5 Zusammenfassend ist Art. 3 Abs. 1 Satz 1 ASFG deshalb so zu interpretieren, dass der Bund nur jene Mietkosten pro rata temporis zu vergüten hat, welche die ersten drei Monate nach der Rückkehr des Auslandschweizers betreffen.
7. Demzufolge erweist sich die Beschwerde als unbegründet und ist abzuweisen. Der Prozess ist kostenpflichtig (Art. 65 f. BGG). Da es sich im vorliegenden Verfahren um sein Vermögensinteresse handelt, wird der Kanton Zürich als unterliegende Partei kostenpflichtig (<ref-law>; Urteil 8C_521/2010 vom 27. September 2010 E. 9, nicht publ. in: <ref-ruling>). Die Zusprechung einer Parteientschädigung fällt ausser Betracht (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 600.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Bundesverwaltungsgericht schriftlich mitgeteilt.
Luzern, 17. September 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Hofer