Sachverhalt:
A. X._ ist Eigentümer der Parzelle Nr. 209, Grundbuch Oberbussnang, im Weiler Neuberg der Politischen Gemeinde Bussnang (nachfolgend PG Bussnang) gelegen. Die Parzelle gehört zur Landwirtschaftszone und bildet mit sieben Wohnhäusern den Weiler Neuberg. Da die Gebäudegruppe bisher nicht an die öffentliche Abwasserversorgung angeschlossen war, die Liegenschaften jedoch nur noch teilweise landwirtschaftlich genutzt werden, setzte das Amt für Umwelt die Eigentümer am 26. August 2003 davon in Kenntnis, dass sie für eine gesetzeskonforme Abwasserentsorgung verantwortlich seien. In der Folge organisierte die PG Bussnang verschiedene Informationsveranstaltungen und Besprechungen (erstmals am 24. Oktober 2003, letztmals am 21. September 2006). X._ nahm an diesen Besprechungen jeweils teil. Diskutiert wurden sowohl die Reinigung der häuslichen Abwasser mittels Kleinkläranlage als auch der Anschluss der Liegenschaften an das öffentliche Kanalisationsnetz. Eine gemeinsame Lösung zeichnete sich ab. Schliesslich fiel der Entscheid zugunsten des Anschlusses an das öffentliche Kanalisationsnetz, wobei die PG Bussnang die Projektierungskosten übernahm und pro angeschlossene Liegenschaft einen Beitrag von Fr. 5'000.-- leistete. Die Lösung wurde anlässlich der Zusammenkunft vom 21. September 2006 getroffen und wurde auch von X._ unterzeichnet. Wörtlich lautete die Vereinbarung:
"Politische Gemeinde Bussnang
Vereinbarung Kanalisationsanschluss Neuberg
Die nachfolgenden Grundeigentümer der Liegenschaften im Gebiet Neuberg/ Margenmühle erklären sich bereit, die Sanierungsleitungen gemäss folgenden Grundlagen zu erstellen und zu finanzieren:
Kanalisationsanschluss Neuberg, Variante Oberbussnang Situation 1:1000 vom 21.09.2006
Kostenzusammenstellung Variante Oberbussnang vom 21.09.2006."
Gemäss der zitierten Kostenzusammenstellung wurde für die Anschlussleitung und die Hauszuleitungen ein Totalaufwand von Fr. 172'400.-- geschätzt, was für X._ einen Anteil von Fr. 19'750.-- ergab. Weiter wurde den Eigentümern die Möglichkeit von Eigenleistungen bei der Erstellung der Hausleitung eingeräumt.
B. Die Anschlussleitung wurde fertiggestellt und im Frühjahr 2007 in Betrieb genommen. Am 8. Juni 2007 teilte X._ der PG Bussnang mit, eine weitere Kostenpflicht seinerseits über das bisher Ge-leistete sei nicht gegeben. Vielmehr sei es Sache der Gemeinde, für die Erschliessung zu sorgen.
C. Am 12. November 2007 erstellte die PG Bussnang die Schlussabrechnung von Fr. 127'684.30, was zulasten von X._ einen Anteil von Fr. 10'544.35 ergab. Hinzu kam die Anschlussgebühr von Fr. 5'000.--. Letztere bezahlte X._ vollumfänglich, während er für den übrigen Betrag nur noch Fr. 393.90 für das Auspumpen seiner Jauchegrube anerkannte. Da sich X._ nach zweimaliger Mahnung noch immer weigerte, den ausstehenden Betrag zu leisten, wurde die Betreibung eingeleitet. X._ erhob Rechtsvorschlag.
D. Mit Schreiben vom 8. Juni 2008 liess X._ seine Kostenpflicht bestreiten. Er habe sich zur Unterzeichnung der Vereinbarung vom 21. September 2006 genötigt gefühlt. Die Kosten für die Erstellung der Kanalisationsleitung seien durch Steuergelder zu begleichen. Die PG Bussnang verwies daraufhin am 3. Juli 2008 auf die schriftliche Einverständniserklärung von X._ und zeigte sich erstaunt darüber, dass nach Erbringung einer Leistung durch die Gemeinde nun plötzlich die Gegenleistung verweigert werde.
Am 19. September 2008 erhob die PG Bussnang beim Verwaltungsgericht des Kantons Thurgau Klage gegen X._ und forderte von diesem einen Betrag von Fr. 10'170.45 zuzüglich Zins zu 5 % seit dem 1. Februar 2008 sowie die Kosten des Zahlungsbefehls von Fr. 100.--. Die Vereinbarung vom 21. September 2006 stelle einen zulässigen verwaltungsrechtlichen Vertrag dar, zumindest aber eine verbindliche Verpflichtungserklärung. Nachdem die Klägerin sämtliche Leistungen erbracht habe, sei nicht nachvollziehbar, warum der Beklagte die Zahlung verweigere.
E. Das Verwaltungsgericht des Kantons Thurgau hiess die Klage mit Urteil vom 11. November 2009 gut und verpflichtete X._, der PG Bussnang den Betrag von Fr. 10'170.45 zuzüglich Zins zu 5 % seit dem 1. Februar 2008 zu bezahlen. Gleichzeitig beseitigte es den Rechtsvorschlag.
F. Am 29. Januar 2010 ersucht X._ das Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheit um Aufhebung des vorerwähnten Urteils. Er macht geltend, die Vorinstanz habe zu Unrecht die Anschluss- und Abnahmepflicht im Sinne von Art. 11 des eidgenössischen Gewässerschutzgesetzes vom 24. Januar 1991 (GSchG; SR 814.20) für den Weiler Neuberg verneint und sei fälschlich von einem verwaltungsrechtlichen Vertrag ausgegangen. Das Verwaltungsgericht hätte seiner Meinung nach gar nicht auf die Klage eintreten dürfen.
Die Politische Gemeinde Bussnang schliesst auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne. Auch das kantonale Verwaltungsgericht beantragt unter Hinweis auf den angefochtenen Entscheid, die Beschwerde abzuweisen.
Im Rahmen des zweiten Schriftenwechsels halten die Parteien sinngemäss an ihren Anträgen und deren Begründung fest.

Erwägungen:
1. Beim angefochtenen Urteil handelt es sich um einen kantonal letztinstanzlichen Endentscheid (Art. 86 Abs. 1 lit. d BGG), der eine öffentlich-rechtliche Angelegenheit im Sinne von Art. 82 lit. a BGG darstellt. Ein Ausschlussgrund nach Art. 83 BGG liegt nicht vor. Der Beschwerdeführer wurde vom kantonalen Verwaltungsgericht zur Zahlung von Fr. 10'170.45 zuzüglich Zins zu 5 % seit dem 1. Februar 2008 an die PG Bussnang verpflichtet und ist damit durch den angefochtenen Entscheid besonders berührt. Er hat ein schutzwürdiges Interesse an der Aufhebung des vorinstanzlichen Urteils und ist ohne Weiteres zur Beschwerde legitimiert (Art. 89 Abs. 1 BGG). Auf die frist- und formgerecht eingereichte Beschwerde ist unter Vorbehalt der rechtsgenüglichen Begründung grundsätzlich einzutreten.
2. Das Verwaltungsgericht hat mit Gutheissung der Klage die Sicht der PG Bussnang geschützt, wonach sich der Beschwerdeführer mittels verwaltungsrechtlichem Vertrag zur Zahlung von Anschlussgebühren an die neu erstellte Kanalisation ausserhalb der Bauzone verpflichtet habe. Vorab ist die gesetzliche Ausgangslage bezüglich Anschlusspflicht an die Kanalisation zu prüfen.
2.1 Die Kantone sorgen für die Erstellung öffentlicher Kanalisationen und zentraler Anlagen zur Reinigung von verschmutztem Abwasser aus Bauzonen (Art. 10 Abs. 1 GSchG) und aus bestehenden Gebäudegruppen ausserhalb der Bauzonen, für welche die besonderen Verfahren der Abwasserbeseitigung keinen ausreichenden Schutz der Gewässer gewährleisten oder nicht wirtschaftlich sind (Art. 10 Abs. 2 GSchG). Art. 11 Abs. 1 GSchG statuiert den Grundsatz, wonach verschmutzte Abwasser im Bereich öffentlicher Kanalisationen in die Kanalisation eingeleitet werden. Gemäss der Definition in Abs. 2 der zitierten Norm umfasst der Bereich öffentlicher Kanalisationen die Bauzonen (lit. a), weitere Gebiete, sobald für sie eine Kanalisation erstellt worden ist (lit. b) und weitere Gebiete, in welchen der Anschluss an die Kanalisation zweckmässig und zumutbar ist (lit. c). Art. 12 Abs. 1 der Gewässerschutzverordnung vom 28. Oktober 1998 (GSchV; SR 814.201) präzisiert die gesetzliche Definition: Demnach ist der Anschluss von verschmutztem Abwasser an die öffentliche Kanalisation ausserhalb von Bauzonen zweckmässig, wenn er sich einwandfrei und mit normalem baulichem Aufwand herstellen lässt (lit. a), und zumutbar, wenn die Kosten des Anschlusses diejenigen für vergleichbare Anschlüsse innerhalb der Bauzone nicht wesentlich überschreiten. Ausserhalb des Bereichs öffentlicher Kanalisation ist das Abwasser nach dem Stand der Technik zu entsorgen (Art. 13 Abs. 1 GSchG).
2.2 Der Weiler Neuberg, zu dem die Liegenschaft des Beschwerdeführers gehört, liegt ausserhalb der Bauzone und verfügt über kein öffentliches Kanalisationsnetz. Der Beschwerdeführer bestreitet denn auch nicht, dass der Anschluss an die Kanalisation zweckmässig und zumutbar wäre; er stellt auch seine Anschlusspflicht nicht grundsätzlich in Abrede. Hingegen ist aus seiner Sicht das Vorgehen der Gemeinde auf dem Klageweg unzulässig, zumal für den Abschluss eines verwaltungsrechtlichen Vertrags kein Raum bestehe. Abgesehen davon handle es sich bei der von ihm am 21. September 2006 unterzeichneten Erklärung um keinen solchen.
3. 3.1 Das Verwaltungsgericht hat sich im Rahmen der Eintretensfrage auf § 64 Ziff. 1 des kantonalen Gesetzes über die Verwaltungsrechtspflege vom 23. Februar 1981 (VRG/TG) gestützt, wonach das Verwaltungsgericht als einzige Instanz Streitigkeiten aus dem öffentlichen Recht beurteilt, mit Ausnahme von solchen über Staatsbeiträge zwischen dem Staat Thurgau und Gemeinden, Gemeindezweckverbänden, öffentlich-rechtlichen Korporationen und selbstständigen öffentlich-rechtlichen Anstalten sowie untereinander. Mit Blick auf den unklaren Gesetzeswortlaut zitiert es seine Praxis (TVR 2009 Nr. 7), wonach das Klageverfahren nur dort greift, wo der Staat wegen der besonderen Natur der Sache nicht selber ein Rechtsverhältnis durch verbindliche, formelle Verfügung regeln kann. Dies sei dann der Fall, wenn sich zwei Gemeinwesen oder ein Gemeinwesen und ein Individuum als gleichgeordnete Rechtssubjekte gegenüberstünden. Da sich die Zuständigkeit des Verwaltungsgerichts als Beschwerde- oder als Klageinstanz gegenseitig ausschliesse, bestimme sich die Verfahrensart letztlich danach, ob in der Sache hoheitlich verfügt werden könne (in der seit 2009 geltenden Fassung von § 64 VRG/TG wird die Frage klar beantwortet, indem Ziff. 1a explizit festhält, dass das Verwaltungsgericht als einzige Instanz Streitigkeiten aus verwaltungsrechtlichen Verträgen zu beurteilen hat).
Damit fällt die formell-rechtliche Frage, welcher Verfahrensweg zu beschreiten sei (Beschwerdeweg nach Erlass einer Verfügung oder Klage) mit der materiell-rechtlichen Frage zusammen, unter welchen Voraussetzungen im Verwaltungsrecht Rechte und Pflichte entstehen.
3.2 Dem Legalitätsprinzip zufolge entstehen Rechte und Pflichten im Verwaltungsrecht in der Regel unmittelbar aufgrund eines Gesetzes oder in Anwendung eines Gesetzes durch Verwaltungsverfügung. In der Lehre und Rechtsprechung ist die Regelung von verwaltungsrechtlichen Rechten und Pflichten durch einen verwaltungsrechtlichen Vertrag zulässig, wenn ein Rechtssatz entweder diese Handlungsform vorsieht oder dafür Raum lässt (Urteil 1A.266/2005 des Bundesgerichts vom 13. März 2006, in: URP 2006 S. 361 E. 2.4 und 2.5; <ref-ruling> E. 1b S. 34) oder sofern sie vom Gesetz nicht ausdrücklich ausgeschlossen wird. Eine ausdrückliche gesetzliche Ermächtigung ist nicht erforderlich (<ref-ruling> E. 2a S. 209; <ref-ruling> E. 3a S. 512). Weiter wird die Möglichkeit, einen verwaltungsrechtlichen Vertrag abzuschliessen, bejaht, wenn dies die zur Erreichung des Gesetzeszwecks geeignetere Handlungsform darstellt als die Verfügung (ULRICH HÄFELIN/GEORG MÜLLER/FELIX UHLMANN, Allgemeines Verwaltungsrecht, 6. Auflage, Zürich 2010, Rz. 1071; GEORG MÜLLER, Zulässigkeit des Vertrags und zulässige Vertragsinhalte, in: Der verwaltungsrechtliche Vertrag in der Praxis, Hrsg. Isabelle Häner und Bernhard Waldmann, Zürich 2007, S. 25 ff.). Der mit dem Gesetz verfolgte Zweck muss erfordern, dass ein Vertrag abgeschlossen wird. Ob dies der Fall ist, ergibt sich aus den Motiven, die zum Vertragsschluss führen (HÄFELIN/MÜLLER/UHLMANN, a.a.O., Rz. 1074 ff.). Verwaltungsrechtliche Verträge über die Abgabepflicht im Hinblick auf die Erschliessung von Bauland werden von Rechtsprechung und Lehre grundsätzlich als zulässig erachtet, sofern damit keine eigentliche Abgabevergünstigung bezweckt wird (<ref-ruling> E. 4.1 S. 146 f.; <ref-ruling> E. 2a S. 209 f; <ref-ruling> E. 3b S. 513; Urteil 1P.360/2006 des Bundesgerichts vom 15. Januar 2007 E. 3.5; HÄFELIN/MÜLLER/UHLMANN, a.a.O., Rz. 1082).
3.3 Gemäss § 35 des kantonalen Planungs- und Baugesetzes vom 16. August 1995 (PBG/TG) sind die Gemeinden für die zeit- und sachgerechte Erschliessung des Baugebietes verantwortlich (Abs. 1), namentlich für die Abwasserbeseitigung (Abs. 2). Sie ziehen die Grundeigentümer der Grundstücke, die durch den Bau, den Ausbau oder die Korrektion von Erschliessungsanlagen einen besonderen Vorteil erfahren, zu Beiträgen heran (§ 52 Abs. 1 PBG/TG; auf kommunaler Ebene dazu Art. 3 Abs. 1 und Art. 10 der Beitrags- und Gebührenverordnung für das Bau- und Erschliessungswesen [BGO PG Bussnang]). Die BGO PG Bussnang verweist für das Veranlagungsverfahren in ihrem Art. 13 Abs. 1 auf die §§ 53-57 PBG/TG. Das System, Erschliessungsbeiträge mittels anfechtbarer Verfügung zu veranlagen, ist auf den Fall zugeschnitten, in welchem die Gemeinde selber die Erschliessungspflicht trifft und sie infolgedessen als Bauherrin auftritt sowie die Anlage (vor-)finanziert. Ist die Gemeinde nicht zur Erschliessung verpflichtet, wie das bei Bauten ausserhalb der Bauzone zutrifft, verstösst es nicht gegen die in E. 3.2 hievor dargelegten Grundsätze, die Erschliessung mittels verwaltungsrechtlichen Vertrags mit den ihrerseits zur Abwasserbeseitigung verpflichteten Bauherren zu regeln. Dabei kann sich die Gemeinde etwa verpflichten, Planung, Bauleitung und Kostenabrechnung bzw. -verteilung, allenfalls auch einen Beitrag an die Baukosten zu übernehmen. Die Grundeigentümer tragen im Gegenzug die anteilsmässig auf sie zu verlegenden Kosten. Indessen ist nicht ausgeschlossen, dass die öffentliche Hand auch hinsichtlich der abwassermässigen Erschliessung von Liegenschaften ausserhalb der Bauzone hoheitlich verfügt, ja verfügen muss, namentlich wenn es nicht gelingt, eine vertragliche Einigung mit allen betroffenen Grundeigentümern eines bestimmten Projekts zu finden oder wenn ein anschlusspflichtiger Eigentümer sich weigert, dieser Pflicht nachzukommen. Insoweit geht also die Auffassung des Beschwerdeführers fehl, denn bei Konstellationen wie der vorliegenden ist eine Konsensfindung mittels verwaltungsrechtlichen Vertrags nicht a priori ausgeschlossen.
4. 4.1 Verwaltungsrechtliche Verträge sind wie privatrechtliche Verträge zweiseitige Rechtsgeschäfte; Rechtsgeschäfte, die einseitigen Charakter haben, scheiden aus. Erforderlich ist die Willensübereinstimmung in allen wesentlichen Punkten (MAX IMBODEN, Der verwaltungsrechtliche Vertrag, ZSR 1958 II, S. 39a f. Ziff. 32). Schriftlichkeit ist nach überwiegender Auffassung in der Lehre Gültigkeitsvoraussetzung des verwaltungsrechtlichen Vertrags (Frank Klein, Die Rechtsfolgen des fehlerhaften verwaltungsrechtlichen Vertrags, Diss. Zürich 2003, S. 192 mit Zusammenstellung zur Lehre; ULRICH HÄFELIN/GEORG MÜLLER/FELIX UHLMANN, Allgemeines Verwaltungsrecht, 6. Auflage, Zürich 2010, N. 1102; Imboden, a.a.O., S. 90a Ziff. 97 lit. a; Fritz Gygi, Bern 1986, Verwaltungsrecht, S. 209; offen gelassen in <ref-ruling> E. S. 120 f.). Schriftlichkeit bedeutet in Analogie von Art. 13 OR, dass der Vertrag von beiden Seiten unterschrieben sein muss.
4.2 Das Schriftstück, auf welches sich die Gemeinde bei ihrer Klage gestützt hat, hält fest, dass sich die unterzeichneten Grundeigentümer der Liegenschaften im Gebiet Neuberg/Margenmühle bereit erklären, die Sanierungsleitungen gemäss Situationsplan und Kostenzusammenstellung zu übernehmen. Die Leistungen der Gemeinde, nämlich die Übernahme der Projekt- und Bauleitungskosten und eines Anteils von Fr. 5'000.-- pro beteiligten Grundeigentümer sowie die spätere Übernahme der Leitungen ins gemeindeeigene Netz mit entsprechender Unterhaltspflicht der Gemeinde, sind mit keinem Wort erwähnt. Insoweit fehlt es an der Zweiseitigkeit des Rechtsgeschäfts. Der Gemeindeammann hat das Papier zwar als Vertreter der Gemeinde ebenfalls unterzeichnet, aber nur in deren Rolle als anschlusspflichtige Eigentümerin des Schützenhauses, nicht als Vertragspartnerin. An der Formungültigkeit ändert nichts, dass sich die Gegenleistungen der Gemeinde aus den Protokollen der vorgängigen Besprechungen ergeben mögen, wie das Verwaltungsgericht argumentiert, zumal im fraglichen Papier auch nicht auf diese verwiesen wird. Welche Bedeutung dem Dokument im Rahmen eines Verwaltungsbeschwerdeverfahrens zukommt, ist hier nicht weiter zu erörtern.
4.3 Das Verwaltungsgericht hätte demnach die Klage mangels Vorliegens eines rechtsgültigen Vertrags abweisen müssen. Die Gemeinde wird den ausstehenden Betrag aufgrund der Abwasserbeseitigungspflicht des Beschwerdeführers und der in Anspruch genommenen Leistungen hoheitlich auf dem Verfügungswege einfordern müssen. Dem Beschwerdeführer steht alsdann der verwaltungsinterne Beschwerdeweg offen.
5. Die Beschwerde ist demnach gutzuheissen, das angefochtene Urteil des Verwaltungsgerichts aufzuheben und die Klage abzuweisen. Die Angelegenheit ist an das Verwaltungsgericht zum Entscheid im Kostenpunkt zurückzuweisen. Gerichtskosten sind in Anwendung von Art. 66 Abs. 3 BGG keine zu erheben. Indes hat die Gemeinde als Beschwerdegegnerin den Beschwerdeführer angemessen für das bundesgerichtliche Verfahren zu entschädigen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, das angefochtene Urteil des Verwaltungsgerichts des Kantons Thurgau vom 11. November 2009 aufgehoben und die Klage abgewiesen. Die Angelegenheit wird an das Verwaltungsgericht des Kantons Thurgau zu neuem Entscheid im Kostenpunkt zurückgewiesen.
2. Gerichtskosten werden keine erhoben.
3. Die Politische Gemeinde Bussnang hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 3'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 2. November 2010
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Féraud Scherrer Reber