Sachverhalt:
A. C._, griechischer Staatsangehöriger, wurde am 5. Februar 2008 von der zürcherischen Polizei an einem Bahnhof aufgegriffen und in der Folge mittels Fürsorgerischer Freiheitsentziehung (FFE) in die Psychiatrische Klinik Z._ eingewiesen. Mit Schreiben vom 25. März 2008 wandte sich die Sicherheitsdirektion des Kantons Zürich, Kantonales Sozialamt, an den Kantonalen Sozialdienst Aargau mit dem Ersuchen um Kostengutsprache für den Aufenthalt in der Psychiatrischen Klinik Z._. Der Kantonale Sozialdienst Aargau lehnte es ab, diese Kostengutsprache zu erteilen (Brief vom 2. April 2008). Nachdem die beiden Amtsstellen mit Schreiben vom 7. und 16. April 2008 an ihrem jeweiligen Standpunkt festgehalten hatten, erstattete der Kanton Zürich am 9. Mai 2008 eine Unterstützungsanzeige an den Kanton Aargau. Dieser erhob Einsprache. Mit Verfügung vom 4. Juni 2008 wies die Sicherheitsdirektion des Kantons Zürich die Einsprache ab.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zürich ab (Entscheid vom 21. August 2008).
C. Der Kanton Aargau führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, es sei der angefochtene Entscheid aufzuheben und festzustellen, dass der Kanton Zürich im Zeitpunkt der Hilfeleistung Aufenthaltskanton von C._ gewesen sei und als solcher die Kosten der Sozialhilfe zu tragen habe.
Der Kanton Zürich schliesst auf Abweisung der Beschwerde.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Dabei legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder wenn sie auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>).
2. Die Zuständigkeit zur Erbringung von Sozialhilfe im interkantonalen Verhältnis wird durch das Bundesgesetz vom 24. Juni 1977 über die Zuständigkeit für die Unterstützung Bedürftiger (Zuständigkeitsgesetz, ZUG, SR 851.1) geregelt. Das Gesetz unterscheidet zwischen der Unterstützung von Schweizer Bürgern (Art. 12-19 ZUG) und der Unterstützung von Ausländern (Art. 20-23 ZUG). Vorliegend steht die Unterstützung eines ausländischen Staatsangehörigen zur Diskussion. Hierfür ist der Wohnkanton zuständig, wenn die zu unterstützende Person in der Schweiz Wohnsitz verzeichnet (<ref-law>). Andernfalls obliegt die Unterstützung dem Aufenthaltskanton (<ref-law>).
3. 3.1 Es steht fest und ist unbestritten, dass C._ in der Schweiz keinen Wohnsitz verzeichnet. Für die Unterstützung ist deshalb nach dem Gesagten der Aufenthaltskanton zuständig. Als Aufenthalt gilt in diesem Zusammenhang die tatsächliche Anwesenheit in einem Kanton (<ref-law>). Entscheidend ist demnach, in welchem Kanton sich C._ während der Zeit bis zum 5. Februar 2008 tatsächlich aufhielt.
3.2 Gemäss den vorinstanzlichen Erwägungen hielt sich C._ nach seiner Einreise in die Schweiz von Anfang Dezember 2007 bis zum 5. Februar 2008 im Kanton Aargau auf. Zur Begründung dieser Feststellung führt das kantonale Gericht aus, C._ habe beabsichtigt, in der Gemeinde A._ (AG) Wohnsitz zu nehmen, da im Kanton Aargau sein Lebensmittelpunkt sei und seine Ex-Frau mit den Kindern sowie seine Schwester dort wohnten. Allerdings habe ihn die Gemeinde A._ direkt in die Unterkunft der Heilsarmee in B._ (AG) gewiesen, wo ein Zimmer frei gewesen sei und von wo aus keine Anmeldung vorgenommen werde. Der Aufenthalt in B._ habe von Anfang Dezember 2007 bis zum 31. Januar 2008 gedauert. Gemäss seinen eigenen Angaben habe sich C._ auch in den Folgetagen bis zum 5. Februar 2008 im Kanton Aargau aufgehalten. Dies erscheine auch angesichts der familiären Beziehungen zu diesem Kanton und der Lebensgeschichte (C._ lebte von seiner Geburt im Jahr 1964 an im Kanton Aargau, bis er im Jahr 2000 ins Ausland zog) als plausibel. Als C._ am 5. Februar 2008 im Bahnhof aufgegriffen worden sei, habe er sich auf dem Weg zum griechischen Konsulat befunden.
3.3 Die erwähnten vorinstanzlichen Feststellungen sind für das Bundesgericht grundsätzlich verbindlich (E. 1 hiervor). Die Vorbringen in der Beschwerdeschrift sind in keiner Weise geeignet, sie als offensichtlich unrichtig erscheinen zu lassen. Unter diesen Umständen lässt sich auch die vom kantonalen Gericht gezogene Folgerung, Aufenthaltskanton im Sinne von <ref-law> sei der Kanton Aargau, nicht beanstanden. Der einzige hiegegen erhobene Einwand, der Betroffene sei am 5. Februar 2008 im Kanton Zürich aufgegriffen worden, ändert daran nichts, denn gemäss den auch insoweit verbindlichen vorinstanzlichen Feststellungen wollte C._ das griechische Konsulat aufsuchen. Durch diesen beabsichtigten Besuch hat sich sein Aufenthaltskanton nicht geändert. Allgemein ist ein Wechsel des Aufenthaltskantons, welcher zu einer Änderung der Fürsorgezuständigkeit führt, nur mit Zurückhaltung anzunehmen (Urteil 2A.55/2000 vom 27. Oktober 2000 E. 5a). Die anschliessende Unterbringung in der Psychiatrischen Klinik Z._ begründete ebenfalls keinen Wechsel des unterstützungsrechtlichen Aufenthaltsortes. Der Kanton Aargau blieb weiterhin zuständig. Die Beschwerde ist unbegründet und deshalb abzuweisen.
4. Das Verfahren ist kostenpflichtig. Der unterliegende Kanton Aargau hat die Gerichtskosten zu tragen (<ref-law>), da es um sein Vermögensinteresse geht, weshalb <ref-law> keine Anwendung findet (BGE [8C_97/2008] E. 5 mit Hinweisen).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2000.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zürich schriftlich mitgeteilt.
Luzern, 25. Februar 2009
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Flückiger