Unterstützungszuständigkeit für A._, hat sich ergeben:
A.- Der querschnittgelähmte A._, der eigenen Angaben zufolge aus Israel stammt und palästinensischer Herkunft sein will, gelangte zu einem unbekannten Zeitpunkt illegal in die Schweiz. Am 3. August 1992 wurde er auf dem Hauptbahnhof Zürich mittellos und ohne Ausweispapiere aufgegriffen.
Abklärungen zur Feststellung seiner Identität scheiterten an der fehlenden Mitwirkung von A._ oder blieben, wie insbesondere Anfragen bei zwölf nationalen Interpol-Stellen, bisher ohne Erfolg. Auf Antrag der Fremdenpolizei des Kantons Thurgau ist A._ am 17. Oktober 1995 vom Bundesamt für Flüchtlinge vorläufig aufgenommen und dem Kanton Thurgau zugewiesen worden.
A._ musste in der Schweiz wegen seines schlechten Gesundheitszustands umgehend hospitalisiert werden.
Er wurde zunächst (ab 3. August 1992) am Universitätsspital Zürich (Wiederherstellungschirurgie) und vom 1. bis
16. September 1992 in der Klinik Balgrist in Zürich (Paraplegikerzentrum) und danach (16. September bis 7. Oktober 1992) wiederum am Universitätsspital Zürich behandelt. Anschliessend wurde er in das private Alters-, Pflege- und Krankenheim Neutal in Berlingen/TG und dann (am 2. Juni 1993) in das Asylbewerber-Durchgangsheim in Embrach/ZH eingewiesen.
Ob die dortigen Einrichtungen den Bedürfnissen eines Invaliden genügten, ist zwischen den beteiligten Kantonen strittig. Fest steht, dass A._ in der Folge - mit ausdrücklichem Einverständnis des Heimleiters von Embrach - von der in Kreuzlingen/TG wohnhaften Krankenpflegerin X._, die er im Pflegeheim Neutal kennengelernt hatte, privat aufgenommen und betreut wurde. Die notwendige ärztliche Behandlung wie auch zwei weitere Spitalaufenthalte (im März 1994 und von November 1994 bis Februar 1995) erfolgten jedoch im Kanton Zürich (Spital Bülach). Im Anschluss an den Spitalaufenthalt vom März 1994 wurde A._ im Invaliden-Wohn- und Arbeitszentrum Wetzikon/ZH untergebracht; danach hielt er sich bis zur erneuten Spitaleinweisung wiederum bei X._ in Kreuzlingen auf. Sie übernahm im Februar 1995 - nach Absprache mit den zuständigen Stellen des Spitals Bülach/ZH - auch die pflegerische Nachbetreuung (Ausheilen einer offenen Wunde). Am 10. Mai 1995 musste A._, der inzwischen bei einem Arzt in Kreuzlingen in Behandlung stand, auf dessen Veranlassung ins Kantonsspital Münsterlingen/TG eingeliefert werden.
B.- Die Fürsorgekommission der Stadt Kreuzlingen wies am 13. Juli 1995 ein Gesuch des Kantonsspitals Münsterlingen um Kostengutsprache für die stationäre Behandlung von A._ ab, da seine Hospitalisation im Kanton Thurgau mit Wissen (oder gar auf Anweisung) der Zürcher Behörden erfolgt sei, sodass Zürich als effektiver Aufenthaltskanton weiterhin für die Erteilung der nachgesuchten Kostengutsprache zuständig sei. Den hiergegen von A._ erhobenen Rekurs hiess das Departement für Finanzen und Soziales des Kantons Thurgau am 27. November 1995 mit der Begründung gut, einer unterstützungsbedürftigen Person dürfe die notwendige Hilfe nicht deswegen versagt bleiben, weil zwei oder mehrere Gemeinwesen diesbezüglich in einen negativen Kompetenzkonflikt verstrickt seien. A._ habe vor seinem Eintritt ins Kantonsspital Münsterlingen in Kreuzlingen gelebt und somit dort zumindest einen "provisorischen" Aufenthaltsort gehabt. Die Fürsorgekommission Kreuzlingen habe ihm deshalb - als die zuerst um Hilfe angegangene Behörde - bis zur rechtskräftigen Entscheidung der Zuständigkeitsfrage die erforderliche Unterstützung unpräjudiziell zu gewähren. Bereits am 18. Juli 1995 hatte das Fürsorgeamt des Kantons Thurgau dem Kanton Zürich vorsorglich eine Unterstützungsanzeige nach Art. 31 des Bundesgesetzes vom 24. Juni 1977 über die Zuständigkeit für die Unterstützung Bedürftiger (Zuständigkeitsgesetz, ZUG; SR 851. 1) unterbreitet. Dagegen erhob der Kanton Zürich am 21. Juli 1995 Einsprache gemäss <ref-law>, die das Fürsorgeamt des Kantons Thurgau am 26. September 1995 abwies. Die Direktion der Fürsorge des Kantons Zürich erhob daraufhin Beschwerde nach <ref-law> beim Eidgenössischen Justiz- und Polizeidepartement.
Dieses hob den Beschluss des Kantons Thurgau vom 26. September 1995 mit Entscheid vom 28. Dezember 1999 auf.
C.- Das Departement für Finanzen und Soziales des Kantons Thurgau hat am 2. Februar 2000 Verwaltungsgerichtsbeschwerde beim Bundesgericht eingereicht mit dem Antrag, den vorinstanzlichen Entscheid aufzuheben und festzustellen, der Kanton Zürich sei für die Unterstützung von A._ zuständig und habe dem Kanton Thurgau die seit dem 10. Mai 1995 für A._ aufgelaufenen Kosten zurück zu vergüten.
Die Direktion für Soziales und Sicherheit des Kantons Zürich (an Stelle der auf Ende 1998 aufgehobenen Direktion der Fürsorge) beantragt die Abweisung der Verwaltungsgerichtsbeschwerde.
Den gleichen Antrag stellt das Eidgenössische Justiz- und Polizeidepartement.

Das Bundesgericht zieht in Erwägung:
1.- a) Der angefochtene Beschwerdeentscheid des Departements unterliegt der Verwaltungsgerichtsbeschwerde an das Bundesgericht (<ref-law>). Das Eidgenössische Justiz- und Polizeidepartement (im Folgenden: Departement) nimmt zwar an (S. 3/4 des angefochtenen Entscheides), im vorliegenden Zusammenhang sei eine Unterstützungsanzeige gemäss Art. 30 f. ZUG ausgeschlossen (vgl. hierzu E. 4b), was zur Folge hätte, dass das in den Art. 33 und Art. 34 ZUG vorgesehene Rechtspflegesystem nicht zur Anwendung käme. Da das Departement den Streit betreffend die Zuständigkeit der Kantone Zürich und Thurgau im Unterstützungsfall A._ jedoch auch materiell entschieden hat, ist auf die Beschwerde des in diesem Verfahren unterlegenen Kantons Thurgau grundsätzlich einzutreten.
b) Der Kanton Zürich bestreitet, dass der beschwerdeführende Kanton Thurgau die 30-tägige Rechtsmittelfrist gemäss Art. 106 Abs. 1 OG eingehalten habe. In der Verwaltungsgerichtsbeschwerde wird hierzu ausgeführt, der Entscheid des Eidgenössischen Justiz- und Polizeidepartementes vom 28. Dezember 1999 sei fälschlicherweise an die Fremdenpolizei des Kantons Thurgau adressiert gewesen; dort sei er am 3. Januar 2000 eingegangen und dem Departement für Finanzen und Soziales am 4. Januar 2000 zugeleitet worden. Mit Eingabe vom 2. Februar 2000 werde die Rechtsmittelfrist deshalb gewahrt.
Massgebend für den Beginn von Fristen, die durch die Zustellung einer Gerichtsurkunde ausgelöst werden, ist der Zeitpunkt des Eintreffens im Machtbereich des Adressaten (<ref-ruling> E. 4b S. 320, mit zahlreichen Hinweisen auf Lehre und Rechtsprechung; vgl. auch <ref-ruling> E. 3a/bb S. 99). Übertragen auf den vorliegenden Fall ist damit der Zeitpunkt massgebend, in welchem der Entscheid bei der zuständigen Behörde einging. Anders verhält es sich allenfalls, wenn einem Kanton ausserhalb eines bereits hängigen Verfahrens ein anfechtbarer Akt mitgeteilt wird oder wenn die zuständige Stelle der Verwaltung erst noch ermittelt werden muss (hier könnte schon die Mitteilung an die Staatskanzlei oder an eine andere den Staat vertretende Behörde fristauslösend sein).
Der während der Gerichtsferien (Art. 34 Abs. 1 lit. c OG) zugestellte Entscheid wurde statt dem beschwerdeführenden Departement für Finanzen und Soziales der am Verfahren nicht beteiligten Fremdenpolizei des Kantons Thurgau eröffnet. Diese leitete den Entscheid umgehend, d.h.
am Montag, dem 3. Januar 2000 - dem ersten Arbeitstag nach dem Jahreswechsel -, an das zuständige Departement weiter, wo er, wie glaubhaft dargelegt wird, am folgenden Tag einging.
Aus dieser mangelhaften Eröffnung darf dem Beschwerdeführer kein Nachteil erwachsen (vgl. Art. 107 Abs. 3 OG); die Rechtsmittelfrist begann deshalb - in sinngemässer Anwendung der vorstehend wiedergegebenen Rechtsprechung - erst im Zeitpunkt des Empfangs des Entscheids durch das Departement für Finanzen und Soziales, d.h. am 4. Januar 2000, zu laufen. Die Beschwerde wurde demnach am 2. Februar 2000 fristgerecht eingereicht.
2.- a) Der Beschwerdeführer kann mit der Verwaltungsgerichtsbeschwerde eine Verletzung von Bundesrecht, einschliesslich Überschreitung oder Missbrauch des Ermessens, sowie die unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts rügen (Art. 104 lit. a und b OG). Im vorliegenden Fall kann das Bundesgericht, da als Vorinstanz nicht eine richterliche Behörde entschieden hat, auch die Feststellung des Sachverhalts von Amtes wegen überprüfen (Art. 105 OG).
b) Das Bundesgericht wendet im Verfahren der Verwaltungsgerichtsbeschwerde das Recht von Amtes wegen an, wobei es grundsätzlich an die Parteibegehren, nicht aber an die vorgebrachten Begründungen gebunden ist (Art. 114 Abs. 1 OG; <ref-ruling> E. 1 S. 513). Es kann die Beschwerde auch aus andern als den geltend gemachten Gründen gutheissen oder den angefochtenen Entscheid mit einer Begründung bestätigen, die von jener der Vorinstanz abweicht (<ref-ruling> E. 4a S. 117; <ref-ruling> E. 4a S. 203).
3.- a) Das Recht auf Existenzsicherung war bisher gemäss bundesgerichtlicher Rechtsprechung durch ungeschriebenes Verfassungsrecht des Bundes gewährleistet (<ref-ruling> E. 2a-c S. 370 ff.) und wird nun in Art. 12 der am 1. Januar 2000 in Kraft getretenen neuen Bundesverfassung vom 18. April 1999 ausdrücklich aufgeführt. Auf dieses Recht können sich auch Ausländer berufen, unabhängig davon, welchen aufenthaltsrechtlichen Status sie haben (<ref-ruling> E. 2d S. 374).
b) Die Fürsorge für bedürftige Schweizer Bürger obliegt grundsätzlich dem Wohnkanton (<ref-law>; <ref-law>; vgl. Art. 48 Abs. 1 aBV). Anlässlich der Revision des Zuständigkeitsgesetzes im Jahre 1990 ist für diejenigen Bedürftigen, die keinen Unterstützungswohnsitz haben, eine weitreichende Fürsorgezuständigkeit des Aufenthaltskantons eingeführt worden (<ref-law>), der in diesen Fällen umfassend Hilfe leisten und sich nicht lediglich auf die ein Minimum umfassende Notfallhilfe (vgl. <ref-law>) beschränken soll. Die Neuregelung bezweckt eine klare Verantwortlichkeit des Aufenthaltskantons für Personen ohne Unterstützungswohnsitz; dabei wurde vor allem an Sucht- und Aids-Patienten gedacht, die so im Aufenthaltskanton adäquat unterstützt und betreut werden können, unabhängig von der Dauer der notwendigen Massnahmen (vgl. Botschaft des Bundesrates vom 22. November 1989 zur Änderung des Bundesgesetzes über die Zuständigkeit für die Unterstützung Bedürftiger, BBl 1990 I S. 49 ff., S. 64). Der Entwurf des Bundesrates ist diesbezüglich in den Räten unbestritten geblieben (AB 1990 S 496 und 1039, 1990 II N 1828). Die Notfallhilfe für Ausländer ist entsprechend derjenigen für Schweizer Bürger geändert worden (BBl 1990 I S. 67; AB 1990 S 496 und 1039, 1990 II N 1828), wobei im Einzelnen Folgendes gilt:
Ausländer mit Wohnsitz in der Schweiz werden vom Wohnkanton unterstützt (<ref-law>). Bedarf ein Ausländer ausserhalb seines Wohnkantons oder wenn er sich in der Schweiz aufhält, hier aber keinen Wohnsitz hat, sofortiger Hilfe, ist der Aufenthaltskanton unterstützungspflichtig (Art. 20 Abs. 2 und <ref-law>). Dieser sorgt für die Rückkehr des Bedürftigen in seinen Wohnsitz- oder Heimatstaat, wenn nicht ein Arzt von der Reise abrät (<ref-law>). Vorbehalten bleibt gemäss <ref-law> die Heimschaffung nach den Bestimmungen von Fürsorgeabkommen oder nach dem Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20).
4.- a) A._ wurde 1992 gelähmt und in sehr schlechtem gesundheitlichen Zustand im Kanton Zürich aufgefunden.
Die erforderliche medizinische Soforthilfe wurde von Zürich als zuständigem Aufenthaltskanton erbracht (Art. 21 Abs. 1 und <ref-law>). Danach wurde A._ dem Asylbewerber-Durchgangsheims Embrach/ZH zugewiesen. Wie sich den Sachverhaltsfeststellungen des Departementes entnehmen lässt, hielt sich A._ in der Folge mit Einverständnis des Leiters bei der ihm bekannten Krankenpflegerin X._ in Kreuzlingen auf, so lange bis das Bad und die Toilette des Durchgangsheims rollstuhlgängig umgebaut seien (S. 4 des angefochtenen Entscheides vom 28. Dezember 1999).
Für mehrere medizinische Nachbehandlungen A._'s kam der Kanton Zürich bis im Frühjahr 1995 auf; sonstige Betreuungskosten gingen offenbar zu Lasten der genannten Privatperson (vgl. Befragungsprotokoll der Kantonspolizei Thurgau vom 29. September 1994 betr. A._, Blatt Nr. 3). Nachdem A._ am 10. Mai 1995 ins Kantonsspital Münsterlingen/TG hatte eingeliefert werden müssen, verweigerte der Kanton Zürich die Übernahme weiterer Kosten.
Streitig sind im vorliegenden Verfahren somit diese vom Kanton Thurgau ohne Anerkennung einer Unterstützungspflicht bis Oktober 1995 übernommenen Spital- und Pflegekosten (Kantonsspital Münsterlingen, Höhenklinik Davos, Unterhaltsbeiträge).
Da A._ am 17. Oktober 1995 vorläufig aufgenommen worden ist, trägt der Bund seither die entsprechenden Kosten (Art. 14c Abs. 4 und 5 ANAG; Art. 88 des Asylgesetzes vom 26. Juni 1998 [AsylG; SR 142. 31]; vgl. Art. 20b aAsylG).
b) A._, dessen Identität nicht feststeht, hatte während der hier zu beurteilenden Unterstützungsperiode in der Schweiz keinen Wohnsitz. Gemäss <ref-law> war demnach der Aufenthaltskanton unterstützungspflichtig.
A._ wurde im Kanton Zürich aufgefunden und hielt sich unbestrittenermassen zunächst dort auf. Das Departement geht jedoch davon aus, A._ habe, indem er zu seiner Bekannten nach Kreuzlingen gezogen sei, im Kanton Thurgau zu einem unbekannten Zeitpunkt, spätestens aber im Frühjahr 1995, freiwillig zumindest neuen Aufenthalt und damit die Fürsorgezuständigkeit des Kantons Thurgau nach Massgabe von <ref-law> begründet. Es fällt auf, dass diese - in den materiellen Erwägungen des Entscheids enthaltene - Argumentation in einem gewissen Widerspruch zur vorgängigen formellen Feststellung steht, der Kanton Thurgau könne sich für seinen Ersatzanspruch nicht auf einen Rechtstitel des Zuständigkeitsgesetzes abstützen; ein Drittkanton im Sinne von <ref-law> dürfe sich nämlich darauf beschränken, das Kostengutsprachegesuch eines Leistungserbringers an den zuständigen Aufenthaltskanton weiterzuleiten; leiste er dennoch Hilfe, stehe ihm - jedenfalls gestützt auf das Zuständigkeitsgesetz - gegenüber dem Aufenthaltskanton kein Ersatzanspruch zu. Indessen hatte hier der Kanton Zürich bereits zu erkennen gegeben, dass er für weitere Kosten nicht aufkommen würde (Einsprache der Direktion der Fürsorge vom 21. Juli 1995, S. 2). Hätte sich der Kanton Thurgau in dieser Situation damit begnügt, das Kostengutsprachegesuch des Kantonsspitals Münsterlingen bloss an den Kanton Zürich weiterzuleiten, wäre ein verpönter, weil zu Lasten des Hilfsbedürftigen gehender, negativer Kompetenzkonflikt eingetreten (Werner Thomet, Kommentar zum Bundesgesetz über die Zuständigkeit für die Unterstützung Bedürftiger, N 184 S. 122/123).
Entspricht die unpräjudizielle Hilfeleistung des Kantons Thurgau deshalb Sinn und Geist des Zuständigkeitsgesetzes, darf daraus keine Verwirkung des Rückerstattungsanspruchs abgeleitet werden.
c) Zu prüfen bleibt, ob die Fürsorgezuständigkeit im Unterstützungsfall A._ auf den Kanton Thurgau übergegangen ist.
5.- a) Seit der auf den 1. Juli 1992 in Kraft getretenen Revision des Zuständigkeitsgesetzes liegt, wie ausgeführt, die Verantwortung für die Hilfeleistung an Bedürftige ohne Unterstützungswohnsitz beim Aufenthaltskanton (<ref-law>). Dieser hat einen Kostenersatzanspruch gegenüber dem Wohnkanton (Art. 14, Art. 23 Abs. 1 ZUG) und bei Schweizer Bürgern auch einen solchen gegenüber dem Heimatkanton (<ref-law>). Bei ausländischen Staatsangehörigen können die Fürsorgekosten dem Heimatstaat jedoch nur verrechnet werden, wenn dies staatsvertraglich geregelt ist (<ref-law>; Fürsorgevereinbarung mit der Bundesrepublik Deutschland vom 14. Juli 1952 [SR 0.854. 913.61]; Fürsorgeabkommen mit Frankreich vom 9. September 1931 [SR 0.854. 934.9]; Thomet, a.a.O., N 228 S. 140 ff., N 245 S. 148). Für Bedürftige ohne Unterstützungswohnsitz trägt somit bei Schweizer Bürgern der Wohn- oder Heimatkanton bzw. bei Ausländern, mit Wohnsitz in der Schweiz, der Wohnkanton die finanzielle Last der Fürsorgeunterstützung, unabhängig davon, dass die konkrete Hilfestellung vom jeweils zuständigen Aufenthaltsort erbracht wird. Ändert diesfalls ein Bedürftiger seinen Aufenthaltsort, wechselt zwar die Zuständigkeit des Gemeinwesens, das die Hilfe leistet, indessen in der Regel nicht die desjenigen, das die Kosten dafür ersetzt. Nur wenn ein hilfsbedürftiger Ausländer, der in der Schweiz keinen Wohnsitz hat, seinen bisherigen Aufenthaltsort aufgibt, sind - vorbehältlich allfälliger Rückgriffsrechte nach <ref-law> - die Fürsorgekosten vom neuen Aufenthaltsort zu tragen. Wann und ob in einem solchen Fall ein die kantonale Unterstützungszuständigkeit ändernder Aufenthaltsortwechsel vorliegt, regelt das Zuständigkeitsgesetz, ausser in <ref-law>, der jedoch eine eigentliche ärztliche oder behördliche Zuweisung voraussetzt, nicht. Insofern liegt eine Gesetzeslücke vor. Gemäss Botschaft des Bundesrates vom 17. November 1976 (BBl 1976 III S. 1193 ff., S. 1199) kann ein Bedürftiger nicht unter allen Umständen an jedem beliebigen Ort der Schweiz, wo er sich gerade aufhält - und sei es auch nur vorübergehend oder sogar auf der Durchreise - Unterstützung verlangen. Weder die Verfassung (vgl. nun <ref-law>) noch <ref-law> wollen dem Bettel von Ort zu Ort Vorschub leisten (vgl. Thomet, a.a.O., N 182 S. 122). Eine Änderung der kantonalen Fürsorgezuständigkeit bei einem in der Schweiz nicht ansässigen Ausländer, der vom Aufenthaltskanton unterstützt werden muss, ist deshalb zurückhaltend anzunehmen. Fallen, wie vorliegend, für einen unterstützten Ausländer nicht rückforderbare Sozialhilfekosten an, darf sich der unterstützungspflichtige Aufenthaltskanton nicht einfach damit begnügen, dem betreffenden Ausländer anheim zu stellen, seinen Aufenthaltsort zu ändern (vgl. Beschwerdeschrift der Direktion der Fürsorge des Kantons Zürich vom 11. Oktober 1995 an das Eidgenössische Justiz- und Polizeidepartement [S. 4], die gemäss Vernehmlassung des Kantons Zürich vom 2. März 2000 zum Bestandteil dieser Eingabe erklärt wurde [S. 1]). Vielmehr hat er für die Rückkehr des Bedürftigen in seinen Wohnsitz- oder Heimatstaat (<ref-law>) bzw. allenfalls für dessen Heimschaffung zu sorgen (<ref-law>); scheitert dies, ist in Absprache mit den zuständigen Bundesbehörden eine vorläufige Aufenthaltsregelung anzustreben (vgl. <ref-law>; Art. 14a, 14b, 14c ANAG). Die verfassungsrechtliche Pflicht der Kantone, Bedürftigen das Existenzminimum zu garantieren (<ref-law>), darf nämlich nicht einfach auf einen anderen Kanton überwälzt werden (vgl. auch BGE 51 I 325 ff., E. 3, S. 329, mit weiteren Hinweisen).
b) A._ ist vom Kanton Zürich dem Asylbewerber-Durchgangsheim Embrach/ZH zugewiesen worden. Damit war er - obschon selber nicht Asylbewerber - verpflichtet, die dortigen Regeln zu beachten, was insbesondere auch bedeutete, dass er im Durchgangsheim zu wohnen hatte (vgl.
Art. 20 Abs. 2 aAsylG; vgl. Achermann/Hausammann, Handbuch des Asylrechts, 2. Aufl. , Bern 1991, S. 370). Der Aufenthalt bei der ihm bekannten Krankenpflegerin in Kreuzlingen war deshalb - entgegen den Ausführungen des Kantons Zürich - nicht eine frei gewählte "Wohn- und Lebenssituation", sondern erfolgte im Einverständnis mit dem für A._ zuständigen Heimleiter des Durchgangsheims, weil die dortigen sanitären Installationen den Bedürfnissen eines Behinderten nicht angepasst waren (vgl. Sachverhaltsfeststellungen des angefochtenen Entscheids, S. 4). Kam somit die gewählte ausserkantonale Betreuungslösung allen Beteiligten entgegen, kann daraus billigerweise nicht abgeleitet werden, die Fürsorgezuständigkeit des Kantons Zürich sei aufgehoben worden. Daran ändert nichts, dass sich dieser Zustand in der Folge hinzog. Vielmehr hätte es dem Kanton Zürich als unterstützungspflichtigem Aufenthaltskanton obgelegen, die nötigen (auch rechtlichen) Schritte einzuleiten (E. 5a; vgl. Thomet, a.a.O., N 182 S. 122).
6.- a) Der Entscheid der Vorinstanz hält nach dem Gesagten vor Bundesrecht nicht Stand und ist aufzuheben. Der Antrag des Kantons Thurgau auf Rückvergütung der seit dem
10. Mai 1995 für A._ aufgelaufenen Kosten durch den Kanton Zürich ist deshalb gutzuheissen; das ebenfalls gestellte Feststellungsbegehren wird damit gegenstandslos.
b) Dem Ausgang des Verfahrens entsprechend sind die Kosten dem Beschwerdegegner aufzuerlegen, um dessen Vermögensinteressen es geht (Art. 156 Abs. 1 und 2, 153 und 153a OG). Der obsiegende Kanton Thurgau hat gemäss Art. 159 Abs. 2 OG keinen Anspruch auf Parteientschädigung.

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird gutgeheissen und der Entscheid des Eidgenössischen Justiz- und Polizeidepartementes vom 28. Dezember 1999 aufgehoben. Der Kostenersatzanspruch des Kantons Thurgau gegenüber dem Kanton Zürich wird gutgeheissen.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdegegner auferlegt.
3.- Dieses Urteil wird den Parteien sowie dem Eidgenössischen Justiz- und Polizeidepartement schriftlich mitgeteilt.
_
Lausanne, 27. Oktober 2000
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Die Gerichtsschreiberin: