A.- Mit Verfügung vom 21. August 1997 lehnte das Amt für Industrie, Gewerbe und Arbeit des Kantons Thurgau (neu:
Amt für Wirtschaft und Arbeit, nachfolgend AWA) das Gesuch von H._, geboren 1965, um Ausrichtung von Arbeitslosenentschädigung für Februar 1997 mit der Begründung ab, jener habe im fraglichen Monat die Kontrollvorschriften nicht erfüllt. Die hiegegen erhobene Beschwerde wies die Rekurskommission des Kantons Thurgau für die Arbeitslosenversicherung mit Entscheid vom 13. April 1999 ab. Auf Verwaltungsgerichtsbeschwerde hin hob das Eidgenössische Versicherungsgericht den angefochtenen Entscheid mit Urteil vom 22. November 1999 aus prozessualen Gründen auf (Nichtmitwirkung des Kommissionssekretärs) und wies die Sache zur neuen Beurteilung an die Rekurskommission zurück.
B.- Mit Entscheid vom 4. Mai 2000 wies die Rekurskommission die Beschwerde erneut ab.
C.- H._ führt Verwaltungsgerichtsbeschwerde mit dem sinngemässen Begehren um Zusprechung von Arbeitslosenentschädigung für Februar 1997.
Während die Rekurskommission und das AWA auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen, hat sich das Staatssekretariat für Wirtschaft nicht vernehmen lassen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Gemäss <ref-law> hat die versicherte Person Anspruch auf Arbeitslosenentschädigung, wenn sie u.a.
die Kontrollvorschriften des <ref-law> erfüllt (lit. g).
Nach <ref-law> muss sie sich möglichst frühzeitig, jedoch spätestens am ersten Tag, für den sie Leistungen nach Art. 7 Abs. 2 lit. a oder b AVIG beansprucht, persönlich beim Arbeitsamt ihres Wohnsitzes zur Arbeitsvermittlung melden und von da an die Kontrollvorschriften des Bundesrates befolgen.
2.- a) Es steht nach der Aktenlage fest und ist unbestritten, dass eine Anmeldung beim Arbeitsamt im Sinne des <ref-law> durch den Beschwerdeführer erstmals am 3. März 1997 erfolgte (und dieser während der Rahmenfrist zum Leistungsbezug vom 3. März 1997 bis 2. März 1999 während insgesamt 80 Tagen Arbeitslosenentschädigung bezog).
Die Anspruchsvoraussetzungen nach den in Erw. 1 zitierten Bestimmungen sind mithin erst ab diesem Datum erfüllt, weshalb materiellrechtlich vor diesem Zeitpunkt kein Anspruch auf Arbeitslosenentschädigung besteht.
b) Der Beschwerdeführer macht indes geltend, bereits am 3. Februar 1997, nachdem er sein bisheriges Arbeitsverhältnis auf Ende Januar 1997 gekündigt hatte, beim Arbeitsamt Frauenfeld vorstellig geworden zu sein. Hiebei habe er durch eine Mitarbeiterin erfahren, "dass Kündigungen, die vom Arbeitnehmer aus gehen, im ersten Monat keinen Anspruch auf Erwerbsersatz" hätten (Schreiben des Beschwerdeführers vom 3. März 1997). Aus den Worten der Mitarbeiterin habe er geschlossen, dass er im Februar - als dem "ersten Monat" - nichts machen bzw. die Kontrollvorschriften noch nicht erfüllen müsse, zumal ihm auch keine Formulare und Informationsunterlagen ausgehändigt worden seien. Er habe sich daraufhin erst einen Monat später, am 3. März 1997, wiederum beim Arbeitsamt gemeldet, wo er darüber orientiert worden sei, auf Grund der verspäteten Anmeldung könne der Monat Februar nicht angerechnet werden. Hiegegen bringt der Beschwerdeführer sinngemäss vor, der Umstand, dass er bezüglich des Datums der Anmeldung falsch oder jedenfalls nicht ausreichend informiert worden sei, könne ihm nicht angelastet werden, weshalb der Monat Februar 1997 dennoch an seine Rahmenfrist für den Leistungsbezug anzurechnen sei.
Mit dieser Argumentation beruft sich der Beschwerdeführer auf den Grundsatz von Treu und Glauben. Zu prüfen ist daher, ob er gestützt auf die Rechtsprechung zum Vertrauensschutz in Abweichung von der materiellrechtlichen Regelung so behandelt werden kann und muss, wie wenn er sich bereits am 3. Februar 1997 rechtsgenüglich zum Leistungsbezug angemeldet hätte.
3.- a) Der Grundsatz von Treu und Glauben schützt den Bürger und die Bürgerin in ihrem berechtigten Vertrauen auf behördliches Verhalten und bedeutet u.a., dass falsche Auskünfte von Verwaltungsbehörden unter bestimmten Voraussetzungen eine vom materiellen Recht abweichende Behandlung der Rechtsuchenden gebieten. Ob eine Verletzung dieses Prinzips nach Art. 4 der bis Ende 1999 gültig gewesenen Bundesverfassung vom 29. Mai 1974 (aBV) bzw. der hiezu ergangenen Rechtsprechung (<ref-ruling> ff. Erw. 2b/aa, 121 V 66 Erw. 2a, je mit Hinweisen) oder im Lichte von Art. 9 (und Art. 5 Abs. 3) der neuen, am 1. Januar 2000 in Kraft getretenen Verfassung vom 18. April 1999 zu prüfen ist, kann offen bleiben, da die Praxis zu Art. 4 aBV auch unter der Herrschaft von <ref-law> gilt (RKUV 2000 Nr. KV 126 S. 223).
b) Zu den Voraussetzungen für eine erfolgreiche Berufung auf den sich aus der Bundesverfassung ergebenden Vertrauensschutz gehört nach der Rechtsprechung und Doktrin u.a., dass eine Behörde in einer konkreten Situation mit Bezug auf eine bestimmte Person gehandelt hat, dass diese Behörde für die Erteilung der betreffenden Auskunft zuständig war oder der Bürger sie aus zureichenden Gründen als zuständig betrachten durfte und dass im Vertrauen auf die Richtigkeit der Auskunft Dispositionen getroffen wurden, die nicht ohne Nachteil wieder rückgängig gemacht werden können (<ref-ruling> Erw. 2a mit Hinweisen).
Diese - kumulativ zu erfüllenden - Erfordernisse sind im vorliegenden Fall nicht gegeben. Wie die Vorinstanz zutreffend dargelegt hat, ist davon auszugehen, dass der Beschwerdeführer die Aussage der Mitarbeiterin des Arbeitsamtes, er habe auf Grund seiner selbstverschuldeten Arbeitslosigkeit mit einer Einstellung in der Anspruchsberechtigung zu rechnen, dahingehend fehl interpretierte, er müsse sich erst nach Ablauf eines Monats wieder zum Leistungsbezug anmelden. Es liegt demnach ein Missverständnis seitens des Beschwerdeführers, nicht aber eine konkrete vertrauensbildende Falschauskunft durch das Arbeitsamt vor. Ebenfalls nicht ausgewiesen ist sodann, dass dem Versicherten das Recht auf Anmeldung zum Leistungsbezug faktisch verweigert worden wäre, was gegebenenfalls - weil eine fehlerhafte Verwaltungshandlung - einer falschen Auskunft gleichgesetzt werden könnte (<ref-ruling> Erw. 2b/aa mit Hinweis; Urteil S. vom 17. Januar 2001, C 177/00).
c) Hingegen stellt sich auf Grund der Vorbringen in der Verwaltungsgerichtsbeschwerde die Frage, ob eine Berufung auf den Vertrauensschutz wegen fehlender Auskunftserteilung durch eine Behörde zuzulassen ist. Die Rechtsprechung hat das Vertrauen in behördliches Handeln seit jeher als schutzwürdig erachtet, wenn eine bestimmte gesetzlich gebotene Auskunft im konkreten Anwendungsfall unterblieben ist (<ref-ruling> Erw. 2, 112 V 120 Erw. 3b). Im vorliegenden Zusammenhang sieht der diesbezüglich einzig in Betracht fallende <ref-law> vor, dass das Arbeitsamt oder die zuständige Amtsstelle die versicherte Person bei der Anmeldung zum Taggeldbezug auf ihre in <ref-law> aufgeführten Pflichten, insbesondere diejenige zur Stellensuche, aufmerksam zu machten hat. Die Organe der Arbeitslosenversicherung sind im Übrigen von Verfassungs wegen nicht gehalten, von sich aus - spontan, ohne von der versicherten Person angefragt worden zu sein - Auskünfte zu erteilen oder auf drohende Rechtsnachteile aufmerksam zu machen. Eine Berufung auf den Vertrauensschutz wegen unterlassener weitergehender Auskünfte ist demzufolge unbegründet, sofern nicht konkrete Umstände eine ausserhalb der gesetzlich statuierten Verpflichtung liegende Aufklärung im Sinne der Rechtsprechung aufdrängen (<ref-ruling> f. Erw. 2b/aa; ARV 2000 Nr. 20 S. 98 f. Erw. 2b mit Hinweisen).
Vorliegend musste der Mitarbeiterin des Arbeitsamtes Frauenfeld angesichts der Sachlage - der Beschwerdeführer war auf Ende Januar 1997 arbeitslos geworden - klar sein, dass dieser das Amt am 3. Februar 1997 in erster Linie mit der Absicht aufsuchte, sich zum Bezug von Arbeitslosenentschädigung anzumelden. Der Umstand, dass er sich bei dieser Gelegenheit (auch) nach den arbeitslosenversicherungsrechtlichen Folgen seiner Kündigung des bisherigen Arbeitsverhältnisses mit der Swissair erkundigte, vermag nichts daran zu ändern, dass es ihm nicht nur um eine Beratung ging, sondern sein Interesse primär dem baldmöglichsten Leistungsbezug galt. Spätestens in dem Moment, als sich der Beschwerdeführer anschickte, die Räumlichkeiten ohne formelle Anmeldung zu verlassen, hätte die Angestellte ihn deshalb auf das Erfordernis der Anmeldung bzw. die Folgen einer verspäteten Anmeldung (Anspruchsverlust für die vor der kontrollierten Arbeitslosigkeit liegenden Tage; <ref-law>) aufmerksam machen müssen. Diese Informationspflicht ergibt sich einerseits bereits aus <ref-law>, da unter die von der zuständigen Amtsstelle mitzuteilenden Pflichten nach <ref-law> auch die möglichst frühzeitige, jedoch spätestens am ersten Tag, für den u.a. Taggeldleistungen beansprucht werden, zu erfolgende persönliche Meldung beim Arbeitsamt des Wohnorts zur Arbeitsvermittlung zu zählen ist (<ref-law>). Ihrer diesbezüglichen Verantwortung kann sich die Mitarbeiterin des Arbeitsamtes auch nicht mit dem Argument entschlagen, der Beschwerdeführer habe schon früher Taggelder bezogen, weshalb ihm die entsprechenden Kontrollvorschriften bekannt gewesen seien. Selbst wenn im Übrigen das Verhalten der Angestellten nicht bereits als Unterlassung im Hinblick auf <ref-law> zu werten wäre, hätte sich auch auf Grund der konkreten Umstände eine Aufklärung aufgedrängt.
Da die Voraussetzungen für die Anwendung des Vertrauensschutzes somit zu bejahen sind, gebietet sich eine vom materiellen Recht abweichende Behandlung des Beschwerdeführers im von ihm anbegehrten Sinne (vgl. <ref-ruling> Erw. 2a mit Hinweisen).

Demnach erkennt das Eidg. Versicherungsgericht:
I.In Gutheissung der Verwaltungsgerichtsbeschwerde werden
der Entscheid der Rekurskommission des Kantons
Thurgau für die Arbeitslosenversicherung vom 4. Mai
2000 und die Verfügung vom 21. August 1997 aufgehoben,
und es wird die Sache an das Amt für Wirtschaft und
Arbeit des Kantons Thurgau zurückgewiesen, damit es
den Anspruch des Beschwerdeführers auf Arbeitslosenentschädigung
im Sinne der Erwägungen neu festsetze.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, der Rekurskommission des Kantons Thurgau für die Arbeitslosenversicherung, dem Amt für Wirtschaft und Arbeit, Abteilung Arbeitslosenkasse,
Frauenfeld, und dem Staatssekretariat für
Wirtschaft zugestellt.
Luzern, 14. September 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Die Gerichtsschreiberin: