hat sich ergeben:
A.- X._ befand sich vom 11. März 1999 bis zum 21. Dezember 1999 im Bezirksgefängnis Frauenfeld in Haft (vorerst Untersuchungshaft, ab 3. Dezember 1999 Sicherheitshaft).
Danach wurde er in die Kantonale Strafanstalt Pöschwies zum Vollzug einer auf Urteile des Geschworenengerichts des Kantons Zürich und des Obergerichts des Kantons Zug zurückgehenden Verwahrung verlegt.
Mit Eingabe vom 5. Juni 1999 beanstandete X._ seine Haftbedingungen; am 10. September 1999 liess er die Eingabe ergänzen. Er bemängelte insbesondere, dass er keinen Zugang zu einem Computer und Drucker habe, ihm die Möglichkeit einer Arbeitsverrichtung verwehrt werde, er keinen Zugang zu Tageszeitungen und einem Fernsehgerät habe und ihm ein Hofgang von lediglich 60 Minuten pro Tag gewährt werde. Die Staatsanwaltschaft des Kantons Thurgau wies die Beschwerde mit Ausnahme der den Zugang zu Tageszeitungen betreffenden Beanstandung am 19. November 1999 ab.
Am 2. Dezember 1999 liess X._ bei der Anklagekammer des Kantons Thurgau Beschwerde erheben. Deren Präsident schrieb die Beschwerde indessen mit Entscheid vom 3. August 2001 zufolge Gegenstandslosigkeit ab, verzichtete auf eine Verfahrensgebühr und entschädigte den Rechtsvertreter.
B.- Gegen diesen Entscheid des Präsidenten der Anklagekammer hat X._ am 17. September 2001 beim Bundesgericht staatsrechtliche Beschwerde erhoben. Er beantragt die Aufhebung des angefochtenen Entscheides und ersucht um Gewährung der unentgeltlichen Rechtspflege. Zur Begründung macht er eine Verletzung von Art. 9 und 29 BV sowie von Art. 13 EMRK geltend.
Die Staatsanwaltschaft beantragt mit materiellen Erwägungen und dem Hinweis, dass der Beschwerdeführer eine Verlegung ins Kantonalgefängnis mit günstigeren Haftbedingungen und Einrichtungen abgelehnt hatte, Nichteintreten auf die Beschwerde. Der Präsident der Anklagekammer schliesst auf deren Abweisung.

Das Bundesgericht zieht in Erwägung:
1.- Der Präsident der Anklagekammer hat die Beschwerde betreffend die Haftbedingungen im Bezirksgefängnis Frauenfeld materiell nicht geprüft, sondern wegen Gegenstandslosigkeit abgeschrieben. Bei dieser Sachlage ist der Beschwerdeführer ohne weiteres legitimiert, den Abschreibungsbeschluss wegen formeller Rechtsverweigerung anzufechten.
Hierfür kann er sich auf <ref-law> (in Verbindung mit <ref-law>) sowie auf Art. 13 EMRK berufen.
Gegenstand des vorliegenden Verfahrens ist einzig die Frage, ob der Präsident der Anklagekammer die bei ihm erhobene Beschwerde wegen Gegenstandslosigkeit abschreiben durfte. Hingegen sind die Haftbedingungen im Bezirksgefängnis Frauenfeld als solche nicht zu prüfen. Auf die Ausführungen materieller Natur sowohl des Beschwerdeführers als auch der Staatsanwaltschaft ist daher nicht einzugehen.
Ebenso wenig stehen die Verlegung des Beschwerdeführers in die Strafanstalt Pöschwies und die damit zusammenhängenden Verfahrensumstände (rechtliches Gehör) zur Diskussion.
2.- Im angefochtenen Entscheid wird die Gegenstandslosigkeit der Beschwerde nicht auf ausdrücklich genanntes kantonales Prozessrecht gestützt, sondern mit einer allgemeinen Erwägung und einem Verweis auf die bundesgerichtliche Rechtsprechung (Art. 88 OG) begründet. In gleicher Weise setzt sich der Beschwerdeführer nicht mit der Anwendung bestimmter Normen des kantonalen Verfahrensrechts auseinander.
Demnach ist die vorliegende Beschwerde einzig vor dem Hintergrund der Verfassung zu prüfen.
a) Im angefochtenen Entscheid führt der Präsident der Anklagekammer aus, die Haftbeschwerde sei zum einen gegenstandslos geworden, weil der Beschwerdeführer nur bis zum 3. Dezember 1999 in Untersuchungshaft und ab diesem Datum in Sicherheitshaft war. Nach § 114 Abs. 2 der Strafprozessordnung des Kantons Thurgau (StPO) kann die Sicherheitshaft in einer Strafanstalt vollzogen werden. Für den vorliegenden Fall ist nun aber kaum ersichtlich, inwiefern die Möglichkeit eines andern Vollzugs eine Beschwerde wegen beanstandeter Haftbedingungen dahinfallen lassen könnte.
Denn der Beschwerdeführer ist - bis zu seiner Verlegung in die zürcherische Strafanstalt am 21. Dezember 1999 - tatsächlich im Bezirksgefängnis Frauenfeld verblieben. Dass mit der Anordnung der Sicherheitshaft die Haftbedingungen geändert worden wären und aus diesem Grunde die Beschwerde gegenstandslos geworden wäre, wird im angefochtenen Entscheid nicht dargelegt.
Wie es sich damit verhält, kann indessen offen bleiben. Denn der Präsident der Anklagekammer hat die Beschwerde zum andern auch deshalb als gegenstandslos bezeichnet, weil der Beschwerdeführer am 21. Dezember 1999 in die Strafanstalt Pöschwies verlegt wurde. Im Folgenden ist zu prüfen, ob der angefochtene Entscheid unter diesem Gesichtswinkel vor der Verfassung standzuhalten vermag.
b) Nach der Rechtsprechung zu Art. 88 OG verlangt das Bundesgericht, dass ein Beschwerdeführer ein aktuelles praktisches Interesse an der Behandlung einer Beschwerde hat. Hinsichtlich von Beschwerden, mit denen die Anordnung oder Fortführung von Untersuchungshaft angefochten wird, nimmt das Bundesgericht an, dass mit der Entlassung aus der Haft kein aktuelles praktisches Interesse an deren Behandlung mehr besteht. Ein praktisches Interesse bestehe insbesondere auch nicht im Hinblick auf ein allfälliges späteres Entschädigungsbegehren (<ref-ruling> E. 4a S. 397, mit Hinweisen auf 110 Ia 140). Ausnahmsweise könne hingegen auf das Erfordernis des aktuellen praktischen Interesses verzichtet werden, wenn sich die aufgeworfenen Fragen jederzeit unter gleichen oder ähnlichen Umständen wieder stellen können, an deren Beantwortung wegen der grundsätzlichen Bedeutung ein hinreichendes öffentliches Interesse besteht und sie im Einzelfall kaum je verfassungsgerichtlich geprüft werden können. An diesen Voraussetzungen fehle es indessen bei der Mehrzahl der Haftbeschwerden (<ref-ruling> E. 4a S. 397, mit Hinweisen). Diese Rechtsprechung zum aktuellen Interesse an Haftbeschwerden hat das Bundesgericht auch in kantonalen Verfahren zur Anwendung gebracht (Urteil vom 2. September 1994 i.S. B.).
c) Es ist verfassungsrechtlich haltbar, diese Rechtsprechung auch auf Beschwerden zu übertragen, mit denen die konkreten Haftbedingungen beanstandet werden. Mit der Entlassung aus der Haft - welches auch der Grund hierfür sein mag - verliert die betroffene Person ein aktuelles praktisches Interesse an deren Anfechtung. Darüber hinaus erscheinen auch die Voraussetzungen für einen Verzicht auf ein solches nicht gegeben. Im Allgemeinen ist es durchaus möglich, die Haftbedingungen während der Haft in wirksamer Weise überprüfen zu lassen. Sollte der Beschwerdeführer erneut in demselben Bezirksgefängnis Frauenfeld in Untersuchungs- oder Sicherheitshaft versetzt werden - wofür zur Zeit keinerlei Anhaltspunkte bestehen -, könnte er die dannzumal geltenden Haftbedingungen erneut anfechten. Die vom Beschwerdeführer angesprochene Entschädigung nach <ref-law> bezieht sich vor allem auf die Freiheitsentziehung als solche; soweit er in diesem Rahmen Schadenersatz oder Genugtuung verlangt, bedarf es ebenso wenig einer abschliessenden Beurteilung im jetzigen Moment wie im Falle von gegenstandslos gewordenen Haftbeschwerden (vgl. <ref-ruling> E. 4a S. 397). Schliesslich ist das Vorbringen, Beschwerden wegen der Haftbedingungen beträfen in gleichem Umfange auch andere in Haft gehaltene Personen, unerheblich, weil die Beschwerde ausschliesslich in eigenem Namen erhoben worden ist.
Daraus ergibt sich, dass die Abschreibung der Beschwerde wegen Gegenstandslosigkeit durch den Präsidenten der Anklagekammer vor <ref-law> standhält.
d) Der Beschwerdeführer macht weiter geltend, Art. 13 EMRK verlange im vorliegenden Fall eine materielle Prüfung seiner Beschwerde durch den Präsidenten der Anklagekammer.
Die Haftbedingungen als solche fallen weder in den Bereich von Art. 5 EMRK noch in denjenigen von Art. 6 EMRK.
Aus der Systematik der Europäischen Menschenrechtskonvention bedürfen Beanstandungen wegen Verletzungen von Art. 8 EMRK (und allenfalls Art. 3 EMRK) einer wirksamen Überprüfung durch eine nationale Instanz. Die nationale Instanz in diesem Sinne braucht indessen kein Gericht zu sein; vielmehr kann es sich dabei um eine Verwaltungsbehörde handeln (vgl. Haefliger/Schürmann, Die Europäische Menschenrechtskonvention und die Schweiz, 2. Aufl. 1999, S. 333). In dieser Hinsicht verfügte der Beschwerdeführer tatsächlich über eine Prüfung durch eine nationale Instanz: Die Staatsanwaltschaft hatte die Beschwerde des Beschwerdeführers mit Entscheid vom 19. November 1999 eingehend geprüft. Bei dieser Sachlage erweist sich die Rüge, der Präsident des Anklagekammer habe mit dem angefochtenen Abschreibungsentscheid Art. 13 EMRK verletzt, von vornherein als unbegründet.
e) Schliesslich schildert der Beschwerdeführer in seiner Beschwerde eingehend, dass er sich mehrmals und ohne Erfolg um eine Verbesserung seiner Haftbedingungen bemüht habe. Er unterlässt es indessen, eine Verfahrensverzögerung im Sinne von <ref-law> zu rügen und begnügt sich damit, darauf hinzuweisen, dass er im kantonalen Verfahren Rechtsverzögerungsbeschwerden angedroht habe. Bei dieser Sachlage ist mangels entsprechender Rüge nicht zu prüfen, ob das kantonale Verfahren hinreichend rasch geführt worden ist (Art. 90 Abs. 1 lit. b OG).
3.- Demnach ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann.
Der Beschwerdeführer ersucht um Gewährung der unentgeltlichen Rechtspflege nach Art. 152 OG. Die Mittellosigkeit des Beschwerdeführers kann ohne weiteres angenommen werden. Die gesamten Umstände lassen die Beschwerde nicht von vornherein als aussichtslos erscheinen. Dem Ersuchen kann daher stattgegeben werden.

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen.
2.- Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt:
a) Es werden keine Kosten erhoben.
b) Rechtsanwalt lic. iur. Max Birkenmaier wird als amtlicher Vertreter bestimmt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 1'000.-- entschädigt.
3.- Dieses Urteil wird dem Beschwerdeführer sowie der Staatsanwaltschaft und dem Präsidenten der Anklagekammer des Kantons Thurgau schriftlich mitgeteilt.
_
Lausanne, 16. November 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: