Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Gemäss Art. 128 OG beurteilt das Eidgenössische Versicherungsgericht letztinstanzlich Verwaltungsgerichtsbeschwerden gegen Verfügungen im Sinne von Art. 97, 98 lit. b-h und 98a OG auf dem Gebiet der Sozialversicherung.
Im verwaltungsgerichtlichen Beschwerdeverfahren sind grundsätzlich nur Rechtsverhältnisse zu überprüfen bzw. zu beurteilen, zu denen die zuständige Verwaltungsbehörde vorgängig verbindlich - in Form einer Verfügung - Stellung genommen hat. Insoweit bestimmt die Verfügung den beschwerdeweise weiterziehbaren Anfechtungsgegenstand. Umgekehrt fehlt es an einem Anfechtungsgegenstand und somit an einer Sachurteilsvoraussetzung, wenn und insoweit keine Verfügung ergangen ist (<ref-ruling> Erw. 1a, 119 Ib 36 Erw. 1b, je mit Hinweisen).
b) Das Gesuch des Beschwerdeführers vom 10. Dezember 1999 betraf Pendlerkostenbeiträge für die Periode Dezember 1995 bis Dezember 1997. Im Weiteren bezog sich die Beschwerde gegen die ablehnende Verfügung des AWA vom 11. Januar 2000 auf Pendlerkostenbeiträge für die Jahre 1996/1997. Soweit der Beschwerdeführer im letztinstanzlichen Verfahren die Zusprechung von Pendlerkostenbeiträgen für die Zeit ab 1. Januar 1998 bis 31. März 1998 verlangt, haben darüber somit weder die Verwaltung noch die Vorinstanz entschieden, weshalb auf diesen Antrag mangels Anfechtungsgegenstandes nicht einzutreten ist.
2.- Streitig und zu prüfen bleibt der Anspruch auf Pendlerkosten- und Wochenaufenthalterbeiträge für die Zeit ab 1. Oktober 1997 bis 31. Dezember 1997.
a) Die Vorinstanz hat die gesetzlichen Bestimmungen über die Höhe des Pendlerkosten- (<ref-law> und <ref-law>) und Wochenaufenthalterbeitrags (<ref-law>) sowie die Frist zur Einreichung des Gesuchs (<ref-law> in Verbindung mit <ref-law>) zutreffend dargelegt.
Richtig sind auch die Ausführungen über das im Leistungsbereich der Arbeitslosenversicherung grundsätzlich geltende Verbot des Leistungsexports (Nussbaumer, Arbeitslosenversicherung, in: Schweizerisches Bundesverwaltungsrecht [SBVR], Bd. Soziale Sicherheit, Rz 138; Breining, Arbeitslosenversicherung und Ausländerrecht, Diss. Zürich 1990, S. 166 ff.).
Zu ergänzen ist, dass Arbeitnehmern, denen in ihrer Wohnortsregion keine zumutbare Arbeit vermittelt werden konnte und die zur Vermeidung von Arbeitslosigkeit Arbeit ausserhalb ihrer Wohnortsregion angenommen haben, Pendlerkostenbeiträge und Beiträge an Wochenaufenthalter zugesprochen werden können (<ref-law>). Pendler und Wochenaufenthalter können innerhalb der Rahmenfrist Beiträge insgesamt während längstens sechs Monaten erhalten (<ref-law>). Die Frist von sechs Monaten beginnt mit dem Zeitpunkt der Aufnahme der auswärtigen Arbeit (ARV 1987 Nr. 3 S. 44; Nussbaumer, a.a.O., Rz 658). Der Versicherte muss ein Gesuch um Leistungen nach <ref-law> der kantonalen Amtsstelle einreichen, bevor er auswärts Arbeit annimmt oder umzieht (<ref-law>). Die Leistungen werden nicht ausgerichtet, wenn sie der Versicherte nicht spätestens drei Monate nach Ablauf des Monats, in dem die betreffenden Kosten angefallen sind, geltend macht (<ref-law>).
b) Das ursprüngliche, an das Arbeitsamt gerichtete Gesuch des Beschwerdeführers datiert vom 5. April 1996 und betraf die auswärtige Tätigkeit ab 6. April 1996. Der Beschwerdeführer hat dieses Gesuch am 10. Dezember 1999 erneut beim Regionalen Arbeitsvermittlungszentrum eingereicht, da das Arbeitsamt im Jahre 1996 dessen Entgegennahme und Beurteilung verweigert habe. Ob das Arbeitsamt das Gesuch vom 5. April 1996 zu Unrecht nicht behandelt hat bzw. ob für die sechs Monate ab 6. April 1996 Ansprüche auf Pendlerkosten- und Wochenaufenthalterbeiträge bestanden, kann offen bleiben. Denn vorliegend sind einzig noch die Beiträge ab 1. Oktober 1997 bis 31. Dezember 1997 streitig.
Für diesen Zeitraum ist das notwendige Gesuch ebenfalls erst am 10. Dezember 1999 und nach dem Gesagten offensichtlich verspätet eingereicht worden. Entschuldbare Gründe für diese Verspätung liegen nicht vor, weshalb der Versicherte keinen Anspruch auf die geltend gemachten Beiträge hat. Er bringt keine Einwendungen vor, die zu einer anderen Beurteilung führen könnten.
3.- Da die Verwaltungsgerichtsbeschwerde, soweit nicht unzulässig, offensichtlich unbegründet ist, wird sie im Verfahren nach Art. 36a OG erledigt.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit
darauf einzutreten ist.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, der Rekurskommission des Kantons Thurgau für die Arbeitslosenversicherung, dem Amt für Wirtschaft und Arbeit, Abteilung Rechtsdienst
und Entscheide, Frauenfeld, und dem
Staatssekretariat für Wirtschaft zugestellt.
Luzern, 28. August 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Der Gerichtsschreiber: