Sachverhalt:
A. R._ ist Bürger von A._/AG. Er leidet an einer Suchterkrankung. Ab 1. September 1998 wohnte er in B._/SG. Anfangs Dezember 2007 meldete er sich in B._/SG ab und in C._/SG an, wo er bei einem Bekannten lebte. Am 18. Februar 2008 meldete er sich in C._/SG ab. Danach lebte er nach eigenen Angaben bei einer Kollegin in D._/SG, wo er sich am 13. März 2008 anmeldete. Am 20. März 2008 trat er in die Klinik X._ in E._/SG ein. Am 27. Oktober 2008 meldete sich R._ in F._/SG an und trat am 5. November 2008 aus der Klinik X._ aus. Seither lebt er in einer eigenen Wohnung in F._/SG.
Das Amt für Soziales des Kantons St. Gallen erliess am 2. Juni 2008 eine Unterstützungsanzeige an den Kanton Aargau und machte geltend, R._ habe keinen Unterstützungswohnsitz in D._/SG begründet, sondern sich dort lediglich vorübergehend aufgehalten, weshalb gegenüber dem Heimatkanton Anspruch auf Kostenersatz bestehe. Die vom Kanton Aargau erhobene Einsprache wies der Kanton St. Gallen mit Entscheid vom 2. Juli 2009 ab und hielt fest, im Gegensatz zu den bloss vorübergehenden Aufenthalten in C._/SG und D._/SG habe R._ am 27. Oktober 2008 in F._/SG einen neuen Unterstützungswohnsitz begründet.
B. Die vom Kanton Aargau dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons St. Gallen mit Entscheid vom 28. Januar 2010 ab.
C. Der Kanton Aargau führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, es sei der vorinstanzliche Entscheid aufzuheben und festzustellen, dass der Kanton St. Gallen weiterhin für dessen sozialhilferechtliche Unterstützung zuständig sei.
Die Vorinstanz und der Kanton St. Gallen schliessen auf Abweisung der Beschwerde.

Erwägungen:
1. Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140).
2. Streitig ist, ob R._ nach seinem Wegzug von B._/SG erneut im Kanton St. Gallen einen Unterstützungswohnsitz im Sinne des Bundesgesetzes vom 24. Juni 1977 über die Zuständigkeit für die Unterstützung Bedürftiger (Zuständigkeitsgesetz, ZUG; SR 851.1) begründet hat.
3. 3.1 Der unterstützungsrechtliche Wohnsitz gemäss <ref-law> ist dem zivilrechtlichen (vgl. <ref-law>) angeglichen: Der Wohnsitz befindet sich dort, wo jemand sich mit der Absicht dauernden Verbleibens aufhält. Da sich diese Absicht nach der Rechtsprechung in äusserlich erkennbaren Umständen verwirklichen muss, gilt als Wohnsitz einer Person der Ort, an dem sich faktisch der Mittelpunkt ihrer Lebensinteressen befindet. Den so verstandenen Lebensmittelpunkt kann eine Person aber grundsätzlich nur in einer bestimmten Gemeinde haben, nicht in einem Kanton als solchem. Auch dem Unterstützungswohnsitz gemäss <ref-law> liegt - begriffsimmanent - eine räumliche und persönliche Beziehung einer Person zu einer bestimmten Gemeinde zu Grunde; dass das Gesetz, seinem Zweck entsprechend, dem Wortlaut nach an den "Kanton" bzw. "Wohnkanton" anknüpft, vermag daran nichts zu ändern. Dementsprechend verliert eine Person ihren bisherigen Unterstützungswohnsitz nicht nur, wenn sie aus dem "Wohnkanton" wegzieht (<ref-law>), sondern auch dann, wenn sie aus dem Ort wegzieht, zu dem sie bis dahin die wohnsitzbegründenden räumlichen und persönlichen Beziehungen hatte. Solange die betreffende Person weder in einem anderen Kanton noch im bisherigen Wohnkanton einen neuen Wohnsitz begründet, besitzt sie in der Regel keinen Unterstützungswohnsitz mehr. Das Zuständigkeitsgesetz kennt nämlich im Gegensatz zum Zivilrecht (vgl. <ref-law>) den fiktiven Wohnsitz nicht. Der bisherige Wohnkanton wird gegebenenfalls zum Aufenthaltskanton (vgl. <ref-law>) und als solcher unterstützungspflichtig (<ref-law>; vgl. zum Ganzen Urteil 2A.420/1999 vom 2. Mai 2000 E. 4b sowie Urteil 2A.345/2002 vom 9. Mai 2003 E. 2.1 und Urteil 2A.253/2003 vom 23. September 2003 E. 2).
3.2 Gestützt auf die erfolgte polizeiliche Abmeldung und den tatsächlich erfolgten Wegzug aus der Gemeinde B._/SG hat die Vorinstanz zu Recht festgestellt, dass R._ seinen Unterstützungswohnsitz in B._/SG aufgegeben hat. Zu prüfen bleibt, ob R._ allenfalls in einer anderen Gemeinde des Kantons St. Gallen einen neuen Unterstützungswohnsitz begründet hat.
4. 4.1 Der Bedürftige hat seinen Unterstützungswohnsitz in dem Kanton, in dem er sich mit der Absicht dauernden Verbleibens aufhält. Dieser Kanton wird als Wohnkanton bezeichnet (<ref-law>). Die polizeiliche Anmeldung gilt als Wohnsitzbegründung, wenn nicht nachgewiesen ist, dass der Aufenthalt schon früher oder erst später begonnen hat oder nur vorübergehender Natur ist (<ref-law>).
Nach der bundesgerichtlichen Rechtsprechung dient der Unterstützungswohnsitz der Bestimmung des fürsorgepflichtigen Gemeinwesens. Dieses kann nur ein Kanton (bzw. eine Gemeinde) sein, zu dem der Bedürftige dauernde persönliche Beziehungen unterhält und wo er tatsächlich wohnt, d.h. sich mit der Absicht dauernden Verbleibens aufhält (<ref-law>). Für die Begründung des Unterstützungswohnsitzes ist die körperliche Anwesenheit des Betroffenen im Allgemeinen unabdingbar, ist es fürsorgerisch doch unzweckmässig, ein Gemeinwesen als Unterstützungswohnsitz zu bezeichnen, in dem der Bedürftige sich gar nie aufgehalten oder das er ohne Rückkehrabsicht verlassen hat. Im Gegensatz zum zivilrechtlichen Wohnsitz (vgl. <ref-law>) bleibt der einmal begründete Unterstützungswohnsitz nicht bis zum Erwerb eines neuen bestehen; er endet vielmehr mit dem Wegzug aus dem Wohnkanton (<ref-law>). Selbst wenn der Bedürftige diesen verlässt, um sich in einem anderen Kanton niederzulassen, nach kurzer Zeit aber bereits wieder an seinen früheren Wohnsitz zurückkehrt, bleibt der Unterstützungswohnsitz nicht erhalten; er wird vielmehr allenfalls neu begründet (Urteil 2A.253/2003 vom 23. September 2003 E. 2.3).
Für die Ermittlung der subjektiven Absicht des dauernden Verbleibens sind alle Elemente der äusserlichen Gestaltung der Lebensverhältnisse zu berücksichtigen. Das Fehlen gefestigter sozialer und ökonomischer Beziehungen ist für drogenabhängige Personen typisch und kann für sich allein nicht ausschlaggebend sein. Andernfalls könnten solche Personen kaum je einen Unterstützungswohnsitz begründen. Dass eine Person auf Dauer keinen Unterstützungswohnsitz hat, ist nach der Konzeption des Zuständigkeitsgesetzes zwar grundsätzlich möglich, darf aber nicht leichthin angenommen werden. Dies würde nicht nur dem Sinn und Zweck der Fürsorgegesetzgebung, sondern auch den richtig verstandenen Interessen der bedürftigen Person und der betroffenen Gemeinwesen widersprechen. Es hätte zudem zur Folge, dass dem Heimatkanton eine zeitlich unbefristete Ersatzpflicht gegenüber dem Aufenthaltskanton obläge. Auch das liefe dem mit der Gesetzesrevision von 1990 angestrebten Ziel, im Fürsorgewesen zum Wohnsitzprinzip zu übergehen, zuwider. Dieses Ziel gebietet und rechtfertigt vielmehr, die Tatbestände der Ersatzpflicht des Heimatkantons (vgl. Art. 15 bis 17 ZUG) einschränkend auszulegen; den Rückerstattungsanspruch des Wohnkantons etwa hat der Gesetzgeber selber auf zwei Jahre befristet (<ref-law>; vgl. zum Ganzen Urteil 2A.420/1999 vom 2. Mai 2000 E. 6a).
4.2 Nach der Wegweisung aus seiner Wohnung meldete sich R._ in B._/SG am 1. Dezember 2007 ab und lebte in der Folge bei einem Kollegen in C._/SG, wo er sich gleichentags anmeldete. Nachdem er sich am 18. Februar 2008 in C._/SG abgemeldet hatte, lebte er bei einer Kollegin in D._/SG, wo er sich am 13. März 2008 anmeldete. Am 20. März 2008 trat er in die Klinik X._ in E._/SG ein. Wärend seines Klinikaufenthaltes behielt er seine polizeiliche Meldung in D._/SG bei. Am 27. Oktober 2008 meldete er sich in F._/SG an, wo er seit seinem Austritt aus der Klinik am 5. November 2008 in seiner eigenen Wohnung lebt.
Die Vorinstanz stützt ihre Auffassung, R._ habe weder in C._/SG noch in D._/SG einen Unterstützungswohnsitz begründet, auf den Umstand ab, dass er nicht in einer eigenen Wohnung gelebt habe und sein Aufenthalt somit bloss vorübergehender Natur gewesen sei. Dem kann nicht gefolgt werden. Bei drogenabhängigen Personen kann einer befristeten resp. unklaren Wohnsituation keine ausschlaggebende Bedeutung beigemessen werden (vgl. Urteil 2A.420/1999 vom 2. Mai 2000 E. 6b in fine). Auch bei anderen Personen wird allein aus dem Umstand, dass sie in der betroffenen Gemeinde keine eigene Wohnung gefunden haben und sich - wie sich im Nachhinein ergibt - nur kurz in der Gemeinde aufhielten, die Begründung eines Unterstützungswohnsitzes nicht ausgeschlossen (vgl. Urteil 2A.253/2003 vom 23. September 2003 E. 3.4). Der länger (gemäss Vorinstanz mindestens 6 Monate) dauernde Aufenthalt in derselben Gemeinde ist nicht Voraussetzung, sondern lediglich ein Indiz unter anderen für die Begründung eines Unterstützungswohnsitzes. Daran ändert auch nichts, dass gemäss Unterstützungsanzeige die beiden nicht namentlich genannten Kollegen R._ nur vorübergehend bei sich wohnen liessen. Denn allein daraus kann nicht geschlossen werden, R._ habe nicht beabsichtigt, sich anschliessend eine eigene oder anderweitige Unterkunft zu suchen. Entsprechendes wird zwar vom Kanton St. Gallen im vorinstanzlichen Verfahren geltend gemacht, doch fehlen in den Akten jegliche Hinweise dazu. Weiter sind aus den Akten - abgesehen von den namentlich nicht genannten beiden Kollegen in C._/SG und D._/SG - keine näheren Angaben über weitere Personen oder soziale Institutionen ersichtlich, bei welchen R._ untergekommen wäre, so dass nicht gesagt werden kann, er habe bei wechselnden Personen und an wechselnden Orten übernachtet. Auch finden sich keine Anhaltspunkte dafür, dass R._ beabsichtigte, nur bis zu seinem Klinikeintritt und damit vorübergehend bei diesen beiden Kollegen zu wohnen. Das Bundesgericht hat zudem betont, bei drogenabhängigen Personen dürfe nicht leichthin angenommen werden, es mangle ihnen infolge fehlender sozialer und ökonomischer Beziehungen zu einem Ort an der Absicht des dauernden Verbleibs, und die Tatbestände der Ersatzpflicht des Heimatkantons seien einschränkend auszulegen (E. 4.1). Bezüglich D._/SG lässt der Umstand, dass R._ sich anmeldete, als er dort bereits 3 1/2 Wochen gelebt hatte, auf die Absicht schliessen, sich an diesem Ort länger aufzuhalten. Schliesslich ist auch dem Umstand Rechnung zu tragen, dass sich R._ seit 1998 stets in derselben Region aufhielt und auch nach seinem Klinikaufenthalt in F._/SG einen neuen (Unterstützungs-)Wohnsitz begründete, was gemäss bundesgerichtlicher Rechtsprechung als Indiz für die Absicht des dauernden Verbleibs zu werten ist (vgl. Urteil 2A.420/1999 vom 2. Mai 2000 E. 6b).
Nach dem Gesagten wiegen die vom Kanton St. Gallen angeführten Umstände, soweit sie durch die Akten gestützt werden, nicht so schwer, als dass sie die gesetzliche Vermutung der Begründung eines Unterstützungswohnsitzes infolge polizeilicher Anmeldung (<ref-law>) in C._/SG und D._/SG umzustossen vermöchten.
4.3 Zusammenfassend ist festzuhalten, dass R._ auch nach seinem Wegzug von B._/SG stets Unterstützungswohnsitz im Kanton St. Gallen hatte. Somit hat der Kanton Aargau nicht für die angefallenen Unterstützungskosten aufzukommen.
5. Das Verfahren ist kostenpflichtig. Der unterliegende Kanton St. Gallen hat die Gerichtskosten zu tragen (<ref-law>), da es um sein Vermögensinteresse geht und er sich folglich nicht auf <ref-law> berufen kann (vgl. Urteil 8C_829/2007 vom 5. August 2008 E. 5 mit Hinweisen). Hingegen hat der Kanton Aargau keinen Anspruch auf eine Parteientschädigung, da er in seinem amtlichen Wirkungskreis tätig war (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons St. Gallen vom 28. Januar 2010 und der Einspracheentscheid des Kanton St. Gallen vom 2. Juli 2009 werden aufgehoben.
2. Die Gerichtskosten von Fr. 2000.- werden dem Beschwerdegegner auferlegt.
3. Die Sache wird zur Neuverlegung der Kosten des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons St. Gallen zurückgewiesen.
4. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons St. Gallen schriftlich mitgeteilt.
Luzern, 5. Juli 2010
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Riedi Hunold