Sachverhalt:
A.
Im Jahr 2017 eröffnete die Staatsanwaltschaft für Wirtschaftsstraffälle und Organisierte Kriminalität des Kantons Thurgau aufgrund einer Mitteilung der Meldestelle für Geldwäscherei (MROS) im Bundesamt für Polizei (fedpol) ein Strafverfahren gegen A._ wegen des Verdachts auf Betrug, Urkundenfälschung, Geldwäscherei und ungetreue Geschäftsbesorgung zum Nachteil seiner Arbeitgeberin, der B._ AG.
B.
Wegen verschiedener Vorkommnisse reichte A._ am 14. Dezember 2019 bei der Staatsanwaltschaft sowie am 16. Dezember 2019 beim Obergericht des Kantons Thurgau ein Ausstandsgesuch gegen den als Untersuchungsleiter amtenden stellvertretenden Oberstaatsanwalt des Kantons Thurgau, Urs Wiedemann, ein. Zur Begründung machte er im Wesentlichen geltend, es bestünden auf Seiten von Urs Wiedemann zumindest der Anschein der Befangenheit und die Gefahr einer Voreingenommenheit. Mit Entscheid vom 21. April 2020 wies das Obergericht das Ausstandsgesuch ab.
C.
Mit Beschwerde in Strafsachen vom 2. Juni 2020 gelangte A._ an das Bundesgericht und beantragte, den Entscheid des Obergerichts aufzuheben und Staatsanwalt Urs Wiedemann in den Ausstand zu versetzen; eventuell sei die Angelegenheit zu neuer Entscheidung an das Obergericht zurückzuweisen. Das Bundesgericht hiess die Beschwerde mit Urteil 1B_278/2020 vom 18. August 2020 gut, hob den Entscheid des Obergerichts vom 21. April 2020 auf und ordnete den Ausstand von Staatsanwalt Urs Wiedemann im Strafverfahren gegen A._ an.
D.
Mit Eingabe an die Staatsanwaltschaft vom 18. September 2020 verlangte A._, es seien sämtliche Amtshandlungen, an denen der abgelehnte Staatsanwalt seit Eröffnung der Strafverfahren SUV_W.2017.41 und SUV_W.2019.84 direkt oder indirekt mitgewirkt habe oder an denen er beteiligt gewesen sei, aufzuheben und aus den Akten zu entfernen. Sodann sei auf eine Nichtanhandnahmeverfügung vom 6. Dezember 2019 zurückzukommen und es sei der zuständige polizeiliche Sachbearbeiter Beat Gisler von den erwähnten Strafverfahren abzuziehen.
Am 22. September 2020 verfügte die Staatsanwaltschaft, es würden "keinerlei Akten oder sonstige Beweismittel, welche vor dem 26. November 2019 erhoben worden sind, ausgesondert"; zudem verblieben "sämtliche Einvernahmen, welche nach dem 26. November 2019 ohne Mitwirkung resp. Teilnahme von StA Wiedemann durchgeführt worden" seien, bei den Akten. Die übrigen Begehren wies die Staatsanwaltschaft ab. Gegen diese Verfügung gelangte A._ am 2. Oktober 2020 mit Beschwerde ans Obergericht. Dessen Verfahrensleitung trennte am 5. Januar 2021 das Verfahren auf, indem es je ein separates Verfahren betreffend (1) Aufhebung von Amtshandlungen, (2) Wiederaufnahme von Verfahren und (3) Ablehnung des polizeilichen Sachbearbeiters Beat Gisler führte. Die Beschwerde betreffend Aufhebung von Amtshandlungen hiess es teilweise gut, indem es bestimmte, einzeln aufgeführte Amtshandlungen aufhob. Im Übrigen wies es die Beschwerde ab.
E.
Mit Beschwerde in Strafsachen vom 9. Juni 2020 an das Bundesgericht beantragt A._ die Aufhebung des angefochtenen Urteils, soweit seine Beschwerde abgewiesen worden ist, sowie die Aufhebung bestimmter, einzeln aufgeführter Amtshandlungen, an denen der abgelehnte Staatsanwalt mitgewirkt hatte oder beteiligt war, und deren Entfernung aus den Akten; eventuell sei die Angelegenheit ans Obergericht zu neuem Entscheid zurückzuweisen.
Die B._ AG beantragt mit Beschwerdeantwort vom 15. Juli 2021, auf die Beschwerde sei nicht einzutreten, eventuell sei sie abzuweisen, soweit darauf eingetreten werden könne. Das Obergericht schliesst auf Abweisung der Beschwerde unter Hinweis auf den angefochtenen Entscheid. Die Staatsanwaltschaft hat sich nicht vernehmen lassen. A._ hat am 25. August 2021 eine Replik eingereicht.

Erwägungen:
1.
Gegen den angefochtenen Entscheid ist gemäss <ref-law> die Beschwerde in Strafsachen gegeben. Sie ist zulässig gegen Entscheide letzter kantonaler Instanzen (<ref-law>). Der Beschwerdeführer ist nach Art. 81 Abs. 1 lit. a und b Ziff. 1 BGG zur Beschwerde befugt.
2.
2.1. Der angefochtene Entscheid schliesst das Strafverfahren nicht ab; er stellt vielmehr einen Zwischenentscheid dar.
Gemäss <ref-law> ist die Beschwerde zulässig gegen selbständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren (Abs. 1); diese Entscheide können später nicht mehr angefochten werden (Abs. 2).
Gegen andere selbständig eröffnete Zwischenentscheide ist die Beschwerde gemäss <ref-law> zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Der Beschwerdeführer muss darlegen, inwiefern die Voraussetzungen nach Art. 92 und/oder <ref-law> erfüllt sind. Andernfalls genügt er seiner Begründungspflicht nach <ref-law> nicht und kann auf die Beschwerde nicht eingetreten werden (<ref-ruling> E. 2.3 f., 289 E. 1.3 f.; je mit Hinweisen).
2.2. Der Beschwerdeführer ist der Auffassung, Prozessthema bilde vorliegend nicht das ursprüngliche Ausstandsbegehren gegen Staatsanwalt Wiedemann, welches vom Bundesgericht mit Urteil 1B_278/2020 vom 18. August 2020 rechtskräftig gutgeheissen wurde (<ref-law>), sondern ein Beweisverwertungsverbot. Indes bleibe trotzdem <ref-law> anwendbar, da es um den zeitlichen Umfang des Ausstands gehe. Strittig sei mithin nicht die Frage, ob, sondern vielmehr, ab wann der Staatsanwalt in den Ausstand treten müsse. Da das Bundesgericht die Ausstandspflicht des Staatsanwalts erkannt habe, so schlussfolgert der Beschwerdeführer, erscheine es naheliegend, dass es auch die geeignete Instanz sei, in Erinnerung seiner eigenen Beratung und Erwägungen den massgeblichen Anfangszeitpunkt des Befangenheitsanscheins zu bestimmen, solange die Sache noch "frisch" sei.
Dieser Schlussfolgerung kann nicht beigepflichtet werden. Wie das Bundesgericht in seinem (auch vom Beschwerdeführer angeführten) Urteil 1B_5/2016 vom 23. Mai 2016 ausgeführt hat, umfasst <ref-law> (Zwischenentscheide "über Ausstandsbegehren") nach dem insoweit klaren Wortlaut des Gesetzes allein den Ausstand. Die sich im Anschluss an einen angeordneten Ausstand stellende (und mit diesem unter Umständen eng zusammenhängende) Frage, welche Amtshandlungen gegebenenfalls aufzuheben und zu wiederholen sind, betrifft demgegenüber die Folgen der Verletzung von Ausstandsvorschriften (<ref-law>), nicht den Ausstand selbst bzw. dessen Voraussetzungen. Der Beschwerdeführer bringt nichts vor, das ein Abweichen vom klaren Wortlaut von <ref-law> rechtfertigen würde; auch gibt es keine Hinweise dafür, dass die Bestimmung nach dem Willen des Gesetzgebers (und in Abweichung vom klaren Wortlaut) so zu verstehen wäre, dass auch Beweisverwertungsverbote gemäss <ref-law> vom Begriff des Ausstandsbegehrens von <ref-law> erfasst sein sollten (Urteil 1B_5/2016 vom 23. Mai 2016 E. 2.2.2 mit Hinweisen). Darum kann auf der Grundlage von <ref-law> auf eine Beschwerde, welche die Aufhebung von Amtshandlungen eines in den Ausstand versetzten Staatsanwalts zum Gegenstand hat, klarerweise nicht eingetreten werden.
2.3. Der Beschwerdeführer stützt die Zulässigkeit seiner Beschwerde auch auf <ref-law>.
In Strafsachen bezieht sich der nicht wieder gutzumachende Nachteil im Sinne von Art. 93 Abs. 1 Bst. a BGG auf einen Nachteil rechtlicher Natur, der später nicht durch ein Endurteil oder einen anderen für den Beschwerdeführer günstigen Entscheid behoben werden kann. Nach der Rechtsprechung stellt der blosse Umstand, dass ein Beweismittel, dessen Gültigkeit bestritten ist, bei den Akten bleibt, noch keinen solchen Nachteil dar, da es möglich ist, diese Rüge bis zum endgültigen Abschluss des Verfahrens zu erneuern. Insbesondere kann die Frage der Rechtmässigkeit von Beweismitteln dem Sachrichter vorgelegt werden (<ref-law>), von dem erwartet werden kann, dass er in der Lage ist, zwischen rechtmässigen und unrechtmässigen Beweismitteln zu unterscheiden und sich bei der Würdigung ausschliesslich auf Letztere zu stützen. Das erstinstanzliche Urteil kann im Rahmen einer Berufung angefochten werden (<ref-law>), und als letztes Mittel kann der Beschuldigte dieses Urteil vor dem Bundesgericht anfechten (<ref-ruling> E. 1.1.3; <ref-ruling> E. 4.4; <ref-ruling> E. 2.2; je mit Nachweisen).
Von dieser Regel bestehen jedoch Ausnahmen. Eine solche liegt insbesondere vor, wenn das Gesetz ausdrücklich die sofortige Rückgabe aus den Akten bzw. Vernichtung rechtswidriger Beweise vorsieht (vgl. z.B. Art. 248, Art. 271 Abs. 3, Art. 277 und Art. 289 Abs. 6 StPO). Ebenso verhält es sich, wenn aufgrund des Gesetzes oder der Umstände des Einzelfalles die Rechtswidrigkeit des Beweismittels ohne Weiteres feststeht. Derartige Umstände können nur angenommen werden, wenn der Betroffene ein besonders gewichtiges rechtlich geschütztes Interesse an der unverzüglichen Feststellung der Unverwertbarkeit des Beweises geltend macht (BGE <ref-ruling> E. 4.4; <ref-ruling> E. 2.3; je mit Hinweisen).
2.3.1. Nach <ref-law> sind Amtshandlungen, an denen eine zum Ausstand verpflichtete Person mitgewirkt hat, auf Verlangen einer Partei aufzuheben und zu wiederholen. Beweise, die nicht wieder erhoben werden können, darf die Strafbehörde nach <ref-law> berücksichtigen. Damit sieht <ref-law> weder die sofortige Entfernung "kontaminierter" Beweismittel aus den Akten noch deren Vernichtung ausdrücklich vor; insoweit droht dem Beschwerdeführer kein nicht wieder gutzumachender Rechtsnachteil (vgl. <ref-ruling> E. 2.9).
2.3.2. Weiter ist zu prüfen, ob im vorliegenden Fall die Ungültigkeit bzw. Unverwertbarkeit des Beweismittels aufgrund des Gesetzes oder der besonderen Umstände des Einzelfalles ohne Weiteres feststeht.
Der Beschwerdeführer macht insoweit geltend, der nicht wieder gutzumachende rechtliche Nachteil sei darin begründet, dass <ref-law> die Eliminierung der Gesamtheit der kontaminierten Akten und Verfahrenshandlungen bezwecke, um ein faires Verfahren sicherzustellen. Solange mutmasslich kontaminierte Beweismittel im Aktenstand blieben, werde der neue Staatsanwalt diese nicht von sich aus wiederholen, sondern weiterhin auf sie abstellen. Das Verfahren werde weiterhin unter dem Einfluss potentiell kontaminierter Beweismittel stehen, wogegen der Beschwerdeführer keine rechtliche Handhabe habe und woran auch der Sachrichter im Nachhinein nichts ändern könne. Es bestehe zudem die ernstliche Gefahr, dass der Staatsanwalt einschneidende Zwangsmassnahmen (z.B. Grundbuchsperren) auf kontaminierte Beweismittel bzw. identische Begründungen abstütze, wobei sich der Beschwerdeführer erst vor dem Sachgericht (allenfalls Jahre später) auf die Unverwertbarkeit berufen könne. Auch unter dem Aspekt der angemessenen Verfahrensdauer (<ref-law>; Art. 6 Ziff. 1 EMRK) sei es unzumutbar, den Beschwerdeführer auf eine Anfechtung des Endentscheids zu verweisen.
Der Beschwerdeführer macht damit bloss in ganz allgemeiner Weise ein faktisches Interesse an der unverzüglichen Feststellung der Unverwertbarkeit von Amthandlungen des abgelehnten Staatsanwalts geltend; er substantiiert seine Vorbringen nicht. So bleibt unklar, um welche konkreten Verfahrenshandlungen es geht und auf welche Weise diese geeignet sein sollen, den weiteren Verlauf des Strafverfahrens auf unzulässige Weise zu beeinflussen. Dies hätte der Beschwerdeführer aber im Einzelnen darlegen und begründen müssen (<ref-law>); es ist nicht am Bundesgericht, in den kantonalen Akten nach Belegen für seine Behauptungen zu suchen. Insoweit ergeben sich keinerlei Hinweise darauf, dass die Ungültigkeit bzw. Unverwertbarkeit von Amtshandlungen aufgrund des Gesetzes oder der besonderen Umstände des Einzelfalles ohne Weiteres feststehen würde, wie dies die Rechtsprechung verlangt.
2.3.3. Wie erwähnt dürfen nach der Rechtsprechung besondere Umstände des Einzelfalles, welche ausnahmsweise eine sofortige Prüfung der Verwertbarkeit als geboten erscheinen lassen, nur angenommen werden, wenn der Betroffene ein besonders gewichtiges rechtlich geschütztes Interesse an der unverzüglichen Feststellung der Unverwertbarkeit des Beweises bzw. der Amtshandlung (und an deren sofortigen Entfernung aus den Akten) geltend macht und substanziiert, etwa im Rahmen der Wahrung gesetzlich geschützter Privatgeheimnisse (<ref-ruling> E. 2.10.3; vgl. auch <ref-ruling> E. 2.3). Solche besonders gewichtigen und rechtlich geschützten Interessen bringt der Beschwerdeführer nicht vor; sie ergeben sich auch nicht aus den Akten. Sein faktisches Interesse als Beschuldigter, ihn belastende Beweisergebnisse möglichst zu vermeiden, fällt nicht darunter (vgl. BGE <ref-ruling> E. 4.4; <ref-ruling> E. 2.3; je mit Hinweisen). Nach dem Gesagten ist der drohende nicht wieder gutzumachende Rechtsnachteil im Sinne von <ref-law> im vorliegenden Fall zu verneinen.
2.4. Da weder die Voraussetzungen von <ref-law> noch jene von <ref-law> erfüllt sind, kann auf die Beschwerde nicht eingetreten werden.
3.
Bei diesem Ausgang des Verfahrens sind dem Beschwerdeführer die Gerichtskosten aufzuerlegen (<ref-law>). Zudem hat er der Beschwerdegegnerin eine Parteikostenentschädigung zu entrichten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
2.1. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
2.2. Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
3.
Dieses Urteil wird den Parteien, der Staatsanwaltschaft für Wirtschaftsstraffälle und Organisierte Kriminalität des Kantons Thurgau und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 14. Dezember 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Uebersax