A.- Mit Verfügung vom 3. Juni 1997 verneinte die IV-Stelle des Kantons Thurgau den Anspruch von M._ auf eine Rente der Invalidenversicherung. In Gutheissung der hiegegen eingereichten Beschwerde hob die AHV/IV-Rekurskommission des Kantons Thurgau mit Entscheid vom 2. März 1998 diesen Verwaltungsakt auf und wies die Sache an die IV-Stelle zurück, damit sie eine psychiatrische Begutachtung über die Arbeitsfähigkeit auch für leichte körperliche Tätigkeit anordne und hernach über die Rentenfrage erneut entscheide. In der Folge wurde M._ durch Dr.
med. H._, Psychiatrie und Psychotherapie FMH, ambulant untersucht und begutachtet (Expertise vom 14. September 1998). Nach Durchführung des Vorbescheidverfahrens erliess die IV-Stelle am 3. Dezember 1999 wiederum eine anspruchsverneinende Verfügung.
B.- M._ liess hiegegen Beschwerde erheben, welche die AHV/IV-Rekurskommission des Kantons Thurgau mit Entscheid vom 16. Mai 2000 mit der Feststellung guthiess, dass ab dem frühestmöglichen (durch die IV-Stelle noch festzulegenden) Zeitpunkt Anspruch auf eine ganze Invalidenrente bestehe.
C.- Die IV-Stelle führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, es sei der kantonale Entscheid aufzuheben.
M._ lässt die Abweisung der Verwaltungsgerichtsbeschwerde beantragen. Das Bundesamt für Sozialversicherung hat keine Vernehmlassung eingereicht.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Im Streite liegt der Anspruch auf eine (ganze) Rente der Invalidenversicherung.
2.- Im angefochtenen Entscheid werden der Begriff der Invalidität (<ref-law>) sowie seine Konkretisierung durch die Rechtsprechung im Falle psychischer Gesundheitsschäden zutreffend dargelegt. Darauf wird verwiesen.
3.- Die kantonale Rekurskommission hat den Anspruch auf eine ganze Invalidenrente - bei noch festzulegendem Leistungsbeginn - bejaht, weil dem Versicherten keine Erwerbstätigkeit zugemutet werden könne. Dieser Schluss ergibt sich gemäss Vorinstanz aus dem psychiatrischen Gutachten des Dr. med. H._ vom 14. September 1998. Danach hat sich das Rückenleiden zu einem chronischen Schmerzsyndrom entwickelt. Dieser Prozess sei das Ergebnis eines komplexen Zusammenspiels einer organischen Vorschädigung mit ungünstigen Verlaufsparametern, welche durch spezifische psychische Voraussetzungen begünstigt worden seien.
Die daraus entstandene heutige gesundheitliche Situation sei weder durch den Versicherten noch durch irgendwelche therapeutische Massnahmen veränderbar. Die von Dr. med.
H._ auf 100 % veranschlagte Arbeitsunfähigkeit auch in dem Leiden angepassten Tätigkeiten beruhe auf invalidenversicherungsrechtlich relevanten Gründen und die vollständige Erwerbsunfähigkeit sei somit invaliditätsbedingt im Sinne von <ref-law>. Dass aus psychiatrischer Sicht kein eigenständiges Krankheitsbild vorliege, sei nicht relevant.
Nach Auffassung der Verwaltungsgerichtsbeschwerde führenden IV-Stelle ist demgegenüber von einer Arbeitsfähigkeit von 100 % in leidensangepassten (körperlich leichten, wechselbelastenden) Tätigkeiten auszugehen. Gemäss Dr. med.
H._ sei kein psychischer Gesundheitsschaden gegeben.
Psychische Störungen, die vorwiegend durch äussere Umstände, wie Überforderung durch mehrere Berufe oder ungünstige Umgebung verursacht werden, bei zumutbarer Veränderung der Verhältnisse aber verschwinden würden, seien an sich nicht invalidisierend. Dies gelte insbesondere für soziokulturell ethnische oder familiendynamisch bedingte Verhaltensbesonderheiten sowie psychische Schwierigkeiten, die in erster Linie durch Auswanderung und Verpflanzung aus dem Heimatland ins Gastland zustande kämen. Die Ursachen des Chronifizierungsprozesses lägen somit in invalidenversicherungsrechtlich nicht relevanten Gründen und sinngemäss könne demzufolge die Arbeitsunfähigkeit, soweit sie auch bei leidensangepassten Tätigkeiten bestehe, bei der Invaliditätsbemessung nicht berücksichtigt werden.
4.- a) Invalidität im Sinne von <ref-law> setzt voraus, dass die voraussichtlich bleibende oder längere Zeit dauernde Einschränkung der Arbeits- und Erwerbsfähigkeit die Folge einer gesundheitlichen Beeinträchtigung (Geburtsgebrechen, Krankheit oder Unfall) ist (<ref-ruling> Erw. 5c/bb). Ob ein solcher Gesundheitsschaden gegeben ist und inwiefern er die Arbeitsfähigkeit einschränkt, beurteilt sich auf der Grundlage ärztlicher Berichte (<ref-ruling> Erw. 4 mit Hinweisen), wobei der im Sozialversicherungsrecht übliche Beweisgrad der überwiegenden Wahrscheinlichkeit gilt (<ref-ruling> Erw. 6b, 119 V 9 Erw. 3c/aa mit Hinweisen).
b) aa) Beim Beschwerdegegner besteht ein chronisches Schmerzsyndrom, welches sich bei ausgeprägter Fehlhaltung der Wirbelsäule als rechtsbetontes lumbospondylogenes Syndrom sowie zervikovertebrales und zervikozephales Syndrom manifestiert (Bericht Klinik X._ vom 16. August 1996). Gemäss Dr. med. H._ lässt sich eine spezifische Psychopathologie als Erklärung der Chronifizierung des Rückenleidens nicht eruieren. Der Explorand habe sich entsprechend den vorgegebenen soziokulturellen Bedingungen entwickelt. Sein geringer Bildungsstand, die Emigration, Fremdsprachigkeit und die Art der Tätigkeit (Hilfsarbeit) begünstigten vermutlich in ihrer Summe diese Entwicklung deutlich. Dabei handle es sich weniger um krankheitserzeugende Faktoren als um solche, die die Selbstheilungstendenz negativ beeinflussten. Diese Gegebenheiten (soziokulturelle Bedingungen, spezifische psychische Voraussetzungen) seien im Wesentlichen weder von aussen noch durch den Exploranden selber, trotz Einsicht in die Dynamik des Chronifizierungsprozesses, beeinflussbar. Die bereits wiederholt aus rheumatologischer Sicht angegebene Therapieresistenz sei auch aus psychiatrischer Sicht zu bestätigen (Gutachten vom 14. September 1998). Dieser Beurteilung hat sich Dr. med.
A._, Spezialarzt FMH für Psychiatrie und Psychotherapie, welcher den Beschwerdegegner 1995 im Rahmen der MEDAS-Abklärung untersucht hatte, in allen Teile angeschlossen (Bericht vom 29. Oktober 1999).
bb) Aufgrund dieser fachärztlichen Aussagen ist ein Gesundheitsschaden im Sinne von <ref-law> zu bejahen.
Daran ändert nichts, dass gemäss Dr. med. H._ ein "Schmerzsyndrom" keine eigentliche psychiatrische Diagnose ist und eine eigenständige Diagnosestellung im Sinne einer einseitig psychiatrischen Definition des Krankheitsbildes nicht möglich ist. Ebenfalls nicht von Bedeutung ist, inwiefern so genannte invaliditätsfremde Faktoren (vgl. dazu <ref-ruling> Erw. 2c sowie Alfred Bühler, Zur rechtlichen Bedeutung der invaliditätsfremden Gründe der Erwerbsunfähigkeit für die Invaliditätsbemessung, in: SZS 1993 S. 249 ff.), wozu auch das soziokulturelle Umfeld gehört, den Chronifizierungsprozess in Bezug auf das Rückenleiden beeinflusst haben. Entscheidend ist, dass aus fachärztlicher (psychiatrischer und rheumatologischer) Sicht diese Entwicklung nicht (mehr) beeinflussbar ist, und zwar auch nicht durch den Beschwerdegegner bei zumutbarer Aufbietung allen Willens. Wenn Dr. med.
H._ ausführt, der Chronifizierungsprozess habe eine "durch therapeutische Interventionen nicht beeinflussbare Eigendynamik" angenommen, und das "Schmerzsyndrom als eigenständiges Bild" stehe heute im Vordergrund, bringt er zum Ausdruck, dass losgelöst von allen möglichen Ursachen für diese Entwicklung ein Zustand erreicht ist, der als krank bezeichnet werden muss (vgl. zu diesem Begriff <ref-ruling> f. Erw. 3b und dortige Hinweise).
c) Nach dem Gesagten ist die Einschränkung der Arbeitsfähigkeit auch soweit sie dem Rückenleiden angepasste Tätigkeiten betrifft, krankheitsbedingt und die dadurch bewirkte gänzliche Erwerbsunfähigkeit somit invaliditätsbedingt.
Der angefochtene Entscheid ist somit rechtens.
5.- Dem Prozessausgang entsprechend steht dem Beschwerdegegner eine Parteientschädigung zu (Art. 159 Abs. 1 und 2 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle des Kantons Thurgau hat dem Beschwerdegegner für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von
Fr. 2500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
IV.Dieses Urteil wird den Parteien, der AHV/IV-Rekurskommission des Kantons Thurgau und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 26. April 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: