Sachverhalt:
A. In den 1980er Jahren wurde im Rahmen der Landumlegung für den Autobahnzubringer Bonau/A7 die Parzelle Nr. 929, Grundbuch Müllheim, unter Mitwirkung des Kantons Thurgau von der Landumlegungskorporation übernommen und dem heutigen Grundeigentümer X._ zugeteilt. Vor dieser Landumlegung gehörte das Grundstück Nr. 929 zum Areal der damaligen Y._ AG. Mit Verfügung des Amtes für Umwelt des Kantons Thurgau vom 10. September 2007 wurde die Parzelle Nr. 929 in den Kataster der mit Abfällen belasteten Standorte des Kantons Thurgau aufgenommen und als untersuchungsbedürftig erklärt. X._ wurde in der Verfügung verpflichtet, auf der Parzelle eine Voruntersuchung gemäss Art. 7 der Verordnung vom 26. August 1998 über die Sanierung von belasteten Standorten (Altlasten-Verordnung, AltlV; SR 814.680) durchzuführen. Auf dem Grundstück, das sich im Grundwasserschutzbereich Au und über Grundwasser befindet, werden verschiedenartige Belastungen vermutet, insbesondere die "Schlammversickerung des Abwassers" aus dem damaligen Betrieb der Y._ AG.
Mit Rekurs an das kantonale Departement für Bau und Umwelt verlangte X._ die Aufhebung der Verfügung des Amtes für Umwelt vom 10. September 2007. Das Departement wies den Rekurs mit Entscheid vom 22. Juli 2008 ab, soweit es darauf eintrat. Gegen diesen Entscheid gelangte X._ an das Verwaltungsgericht des Kantons Thurgau, das die Beschwerde mit Entscheid vom 4. Februar 2009 teilweise guthiess und den Kanton Thurgau verpflichtete, die Voruntersuchung auf der Parzelle Nr. 929 durchzuführen.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 20. März 2009 beantragt der Kanton Thurgau, der Entscheid des Verwaltungsgerichts sei aufzuheben. Die Pflicht zur Vornahme der Voruntersuchung sei in Bestätigung von Dispositiv Ziff. 3 der Verfügung des Amtes für Umwelt des Kantons Thurgau vom 10. September 2007 dem Eigentümer des belasteten Standorts, X._, aufzuerlegen. Eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Der Beschwerdeführer macht geltend, die Vorinstanz habe ihm die Pflicht zur Vornahme einer Voruntersuchung in Verletzung von Art. 20 Abs. 1 und 2 AltIV auferlegt. Bei richtiger Rechtsanwendung sei der Grundeigentümer zur Vornahme der Voruntersuchung verpflichtet.
C. Das Verwaltungsgericht beantragt die Abweisung der Beschwerde. X._ stellt den Antrag, die Beschwerde abzuweisen, soweit darauf eingetreten werden könne. Das Bundesamt für Umwelt (BAFU) äussert sich zur Sache und kommt zum Schluss, dass der angefochtene Entscheid den Rahmen des bundesrechtlich eingeräumten Ermessens nicht überschreitet. Die Parteien halten in weiteren Eingaben an ihren Anträgen fest.

Erwägungen:
1. Das Bundesgericht prüft die Zulässigkeit der Beschwerden von Amtes wegen (<ref-law>; <ref-ruling> E. 1 S. 31).
2. Das angefochtene Urteil stützt sich auf Umweltschutzrecht des Bundes. Es betrifft eine öffentlich-rechtliche Angelegenheit im Sinne von <ref-law>. Ein Ausschlussgrund nach <ref-law> liegt nicht vor. Der Beschwerdeführer ist Adressat des angefochtenen Urteils. Er ist vom angefochtenen Entscheid in seinen hoheitlichen Befugnissen und Aufgaben besonders berührt, da er danach verpflichtet ist, eine Voruntersuchung durchzuführen, was nach <ref-law> grundsätzlich der Inhaberin oder dem Inhaber eines belasteten Standorts obliegt (vgl. <ref-ruling> E. 2.4.2 S. 406 mit Hinweisen). Namhafte schutzwürdige Interessen des Kantons an der Aufhebung des angefochtenen Entscheids werden in der Beschwerde nicht genannt (<ref-law>; <ref-ruling> E. 1.1 S. 251). Die Beschwerdeberechtigung des Kantons kann jedoch letztlich offen bleiben, da auf die Beschwerde aus einem anderen Grund nicht eingetreten werden kann.
3. Beim angefochtenen Urteil handelt es sich nicht um einen Endentscheid im Sinne von <ref-law>, da er das Sanierungsverfahren mit der Verpflichtung des Kantons zur Durchführung der Voruntersuchung nicht abschliesst. Auch liegt kein Teilentscheid im Sinne von <ref-law> vor, welcher einen Teil der Sanierung abschliessend regeln würde. Insofern unterscheidet sich die vorliegende Angelegenheit von der mit Urteil des Bundesgerichts 1A.86/2002 vom 22. Oktober 2002 vor Inkrafttreten des BGG beurteilten Streitsache betreffend einen Teilentscheid, der nicht nur die Voruntersuchungspflicht, sondern auch den Gegenstand der Sanierung festlegte.
4. Es stellt sich somit die Frage, ob ein mit Beschwerde beim Bundesgericht anfechtbarer Zwischenentscheid im Sinne der Art. 92 f. BGG vorliegt.
4.1 Nach <ref-law> (SR 814.01) sorgen die Kantone dafür, dass Deponien und andere durch Abfälle belastete Standorte saniert werden, wenn sie zu schädlichen oder lästigen Einwirkungen führen oder die konkrete Gefahr besteht, dass solche Einwirkungen entstehen. Die Kantone erstellen einen öffentlich zugänglichen Kataster der belasteten Standorte (<ref-law>). Sie können die Untersuchung, Überwachung und Sanierung belasteter Standorte selber durchführen oder Dritte damit beauftragen, wenn dies zur Abwehr einer unmittelbar drohenden Einwirkung notwendig ist, der Pflichtige nicht in der Lage ist, für die Durchführung der Massnahmen zu sorgen, oder wenn der Pflichtige trotz Mahnung und Fristansetzung untätig bleibt (Art. 32c Abs. 3 lit. a bis c USG).
Die Sanierung belasteter Standorte wird in der Altlasten-Verordnung detaillierter geregelt. In Art. 1 Abs. 2 AltIV sind die folgenden Verfahrensschritte vorgesehen: die Erfassung in einem Kataster (lit. a), die Beurteilung der Überwachungs- und Sanierungsbedürftigkeit (lit. b), die Beurteilung der Ziele und der Dringlichkeit der Sanierung (lit. c) sowie die Festlegung der Untersuchungs-, Überwachungs- und Sanierungsmassnahmen (lit. d). Gemäss <ref-law> verlangt die Behörde für untersuchungsbedürftige Standorte aufgrund der Prioritätenordnung innert angemessener Frist die Durchführung einer Voruntersuchung, die in der Regel aus einer historischen und einer technischen Untersuchung besteht. Damit werden die für die Beurteilung der Überwachungs- und Sanierungsbedürftigkeit erforderlichen Angaben ermittelt und im Hinblick auf die Gefährdung der Umwelt bewertet. Nach Art. 20 Abs. 1 AltIV sind die Untersuchungs-, Überwachungs- und Sanierungsmassnahmen vom Inhaber oder von der Inhaberin eines belasteten Standorts durchzuführen. Zur Durchführung der Voruntersuchung, der Überwachungsmassnahmen oder der Detailuntersuchung kann die Behörde Dritte verpflichten, wenn Grund zur Annahme besteht, dass diese die Belastung des Standorts durch ihr Verhalten verursacht haben (<ref-law>).
4.2 Umstritten ist im vorliegenden Verfahren einzig die im angefochtenen Entscheid dem Kanton Thurgau auferlegte Pflicht zur Vornahme der Voruntersuchung gemäss <ref-law>. Die Voruntersuchung dient zunächst der Ermittlung der möglichen Ursachen für die Belastung des Standorts (historische Untersuchung, <ref-law>). Aufgrund der historischen Untersuchung wird nach <ref-law> ein Pflichtenheft über den Gegenstand, den Umfang und die Methoden der technischen Untersuchung erstellt. Dieses muss der Behörde zur Stellungnahme vorgelegt werden. Ebenfalls zur Voruntersuchung im Sinne von <ref-law> gehört die technische Untersuchung, mit welcher Art und Menge der Stoffe am Standort, deren Freisetzungsmöglichkeiten und die Bedeutung der betroffenen Umweltbereiche ermittelt werden (<ref-law>). Die Behörde beurteilt aufgrund der Voruntersuchung, ob der belastete Standort nach den Art. 9-12 AltlV überwachungs- oder sanierungsbedürftig ist (<ref-law>).
Aus diesem Verfahrensablauf zur Ermittlung der Sanierungsbedürftigkeit ergibt sich, dass mit der Verpflichtung zur Durchführung einer Voruntersuchung noch kein abschliessender Entscheid über die Sanierungspflicht bzw. die Sanierungsbedürftigkeit eines Standorts vorliegt. Die Voruntersuchung dient im Wesentlichen der Sachverhaltsermittlung im Hinblick auf die mögliche spätere Anordnung einer Sanierung. Auch über die Kostentragung enthält der angefochtene Entscheid noch keine abschliessende Verfügung im Sinne von <ref-law>.
4.3 Gegen selbständig eröffnete Vor- und Zwischenentscheide über die Zuständigkeit und über Ausstandsbegehren ist die Beschwerde zulässig (<ref-law>). Diese Entscheide können später nicht mehr angefochten werden (<ref-law>).
Mit dem angefochtenen Entscheid wird der Kanton Thurgau zur Durchführung der Voruntersuchung verpflichtet. Dabei handelt es sich nicht um einen Entscheid über die örtliche, sachliche oder funktionelle Zuständigkeit einer Behörde im Sinne von <ref-law>. Vielmehr wird dem Kanton gestützt auf <ref-law> eine Untersuchungspflicht übertragen in einem Verfahren, in welchem er unbestrittenermassen zum Erlass von Verfügungen zuständig ist. Das Bundesgericht wird somit hier nicht angerufen, um eine Zuständigkeitsfrage zu klären, sondern um die Untersuchungspflichten der Behörde zu beurteilen. Solche Entscheide über Verfahrenspflichten der zuständigen Körperschaft oder Behörde fallen nicht unter den Begriff der Zuständigkeit im Sinne von <ref-law>.
4.4 Nach <ref-law> ist die Beschwerde gegen selbstständig eröffnete Vor- und Zwischenentscheide, welche nicht die Zuständigkeit oder den Ausstand betreffen (<ref-law>), zulässig, wenn sie einen nicht wieder gutzumachenden Nachteil bewirken können (lit. a) oder wenn die Gutheissung der Beschwerde sofort einen Endentscheid herbeiführen und damit einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen würde (lit. b). Ist die Beschwerde aufgrund von <ref-law> nicht zulässig oder wurde von ihr kein Gebrauch gemacht, so sind die betreffenden Vor- und Zwischenentscheide durch Beschwerde gegen den Endentscheid anfechtbar, soweit sie sich auf dessen Inhalt auswirken (<ref-law>).
Die Eintretensvoraussetzungen von <ref-law> sollen das Bundesgericht entlasten. Dieses soll sich möglichst nur einmal mit einer Sache befassen und sich überdies nicht bereits in einem frühen Verfahrensstadium ohne genügend umfassende Sachverhaltskenntnis teilweise materiell festlegen müssen. Können allfällige Nachteile in verhältnismässiger Weise auch noch mit einer bundesgerichtlichen Beurteilung nach Ausfällung des Endentscheids behoben werden, so tritt das Bundesgericht auf gegen Vor- und Zwischenentscheide gerichtete Beschwerden nicht ein (<ref-ruling> E. 1.3.2 S. 34 f.).
4.4.1 Keiner weiteren Begründung bedarf, dass die Voraussetzungen von <ref-law> nicht erfüllt sind. Eine Gutheissung der Beschwerde würde nicht sofort einen Endentscheid herbeiführen und damit auch nicht einen bedeutenden Aufwand an Zeit oder Kosten für ein weitläufiges Beweisverfahren ersparen. Der Untersuchungsbedarf wurde vom Verwaltungsgericht bejaht und ist nicht mehr strittig. Die Voruntersuchung muss somit durchgeführt werden, selbst wenn die vorliegende Beschwerde in der Sache gutzuheissen wäre (vgl. Urteil des Bundesgerichts 1C_360/2008 vom 11. Mai 2009 E. 3.2.3).
4.4.2 Ein nicht wieder gutzumachender Nachteil im Sinne von <ref-law> ist ebenfalls nicht zu erkennen. Soweit es das materielle Verwaltungsrecht gebietet, können zwar bei Vor- und Zwischenentscheiden auch rein tatsächliche Nachteile nicht wieder gutzumachende Nachteile im Sinne von <ref-law> darstellen. Sofern es dem Beschwerdeführer bei der Anfechtung einer Zwischenverfügung nicht lediglich darum geht, eine Verlängerung oder Verteuerung des Verfahrens zu verhindern, kann ein anderes, auch wirtschaftliche Anliegen beinhaltendes schutzwürdiges Interesse ausreichen (<ref-ruling> E. 1.3.4 S. 36 mit Hinweisen; Urteil des Bundesgerichts 1C_360/2008 vom 11. Mai 2009 E. 3.2.1).
Der Beschwerdeführer legt nicht dar, welche nicht wieder gutzumachenden Nachteile im Sinne der dargelegten Rechtsprechung ihm durch die Pflicht zur Durchführung der Voruntersuchung erwachsen könnten. Er weist im Gegenteil darauf hin, dass sich die Pflicht zur Durchführung der Voruntersuchung im Sinne von <ref-law> in der Regel praktisch darin erschöpft, einen entsprechenden Auftrag an eine Fachperson zu erteilen. Der zur Voruntersuchung Verpflichtete hat im Übrigen die Kosten der Voruntersuchung vorzuschiessen (Karin Scherrer, Handlungs- und Kostentragungspflichten bei der Altlastensanierung, 2005, S. 37). Diese Vorschusspflicht führt jedoch für den Beschwerdeführer nicht zu einem nicht wieder gutzumachenden Nachteil im Sinne der Rechtsprechung zu <ref-law>. Über die definitive Pflicht zur Kostentragung liegt noch kein Entscheid vor. Ergibt sich im weiteren Verfahren, dass eine Sanierung vorzunehmen ist, werden die Kosten der Voruntersuchung gemäss <ref-law> zu den Sanierungskosten gezählt (vgl. Scherrer, a.a.O., S. 105). Sollte sich ergeben, dass der Standort nicht belastet ist, so trägt das zuständige Gemeinwesen die Kosten für die notwendigen Untersuchungsmassnahmen (<ref-law>). Über die endgültige Kostentragungspflicht wird jedenfalls in einem späteren Zeitpunkt ein Endentscheid gefällt werden, der dannzumal bei den zuständigen Instanzen angefochten werden kann. Es kann somit auch unter diesem Gesichtspunkt nicht von einem nicht wieder gutzumachenden Nachteil gesprochen werden.
1. Es ergibt sich, dass auf die Beschwerde nicht eingetreten werden kann. Dem unterliegenden Kanton Thurgau, der im Rahmen seines amtlichen Wirkungskreises Beschwerde führt, sind keine Gerichtskosten aufzuerlegen (<ref-law>). Er hat den Beschwerdegegner jedoch für das bundesgerichtliche Verfahren angemessen zu entschädigen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Es werden keine Gerichtskosten erhoben.
3. Der Kanton Thurgau hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Parteientschädigung von Fr. 3'000.-- zu bezahlen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau und dem Bundesamt für Umwelt schriftlich mitgeteilt.
Lausanne, 20. August 2009
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Féraud Haag