Sachverhalt:
A. Y._ und X._ sind die unverheirateten Eltern der im Mai 2001 geborenen Tochter A._. Am 13. März 2002 vereinbarten die beiden, die elterliche Sorge gemeinsam ausüben zu wollen. Im Sinne von <ref-law> gab die Vormundschaftsbehörde B._ einem entsprechenden Antrag statt.
Am 4. September 2004 lösten Y._ und X._ den gemeinsamen Haushalt auf, wobei A._ mit der Mutter wegzog. Die Vormundschaftsbehörde C._ genehmigte am 18. April 2005 eine Vereinbarung, worin die beiden Eltern sich über die Modalitäten des Besuchsrechts geeinigt hatten, und ordnete gleichzeitig eine Beistandschaft nach Art. 308 Abs. 2 und 3 ZGB an.
B. Mit Eingaben vom 5. und 24. April 2008 stellte Y._ bei der Vormundschaftsbehörde C._ bzw. beim Departement für Justiz und Sicherheit des Kantons Thurgau das Begehren, die gemeinsame elterliche Sorge bezüglich der Tochter A._ aufzuheben und ihr das alleinige Sorgerecht zuzuweisen.
Nachdem Verhandlungen zwischen Y._ und X._ zu keiner Einigung geführt hatten, entschied das Departement für Justiz und Sicherheit am 13. Mai 2009, dass die elterliche Sorge über A._ allein Y._ zugeteilt werde.
Eine von X._ hiergegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau am 4. November 2009 ab.
C. Mit Eingabe vom 18. Dezember 2009 führt X._ Beschwerde in Zivilsachen und verlangt, den Entscheid des Verwaltungsgerichts aufzuheben und die Sache an das Departement für Justiz und Sicherheit zurückzuweisen, damit dieses ihm das rechtliche Gehör gewähre und die notwendigen fachlichen Abklärungen treffe; allenfalls sei ihm die alleinige elterliche Sorge einzuräumen bzw. Y._ und ihm die gemeinsame elterliche Sorge zu übertragen. Als Beilage zu einem Schreiben vom 25. Januar 2010 hat der Beschwerdeführer zusätzlich ein der Beschwerdegegnerin ausgestelltes ärztliches Zeugnis eingereicht.
Vernehmlassungen zur Beschwerde sind nicht eingeholt worden.

Erwägungen:
1. Der angefochtene Endentscheid (<ref-law>) ist kantonal letztinstanzlich (<ref-law>) und betrifft die Abänderung der Regelung der elterlichen Sorge (<ref-law>). Es geht mithin um Kindesschutz, so dass die Beschwerde in Zivilsachen ohne Weiteres offen steht (<ref-law>).
Der Beschwerdeführer hat eine ergänzende Zuschrift vom 25. Januar 2010 erst nach Ablauf der Frist von 30 Tagen (<ref-law>) zur Post gebracht. Auf die Eingabe ist deshalb nicht einzutreten. Das ihr beigelegte, die Beschwerdegegnerin betreffende ärztliche Zeugnis wurde im Übrigen am 16. Januar 2010, d.h. ohnehin erst nach Fällung des angefochtenen Entscheids ausgestellt.
2. 2.1 Mit der Beschwerde in Zivilsachen kann unter anderem die Verletzung von Bundesrecht gerügt werden (<ref-law>), worunter ebenfalls verfassungsmässige Rechte des Bundes fallen (<ref-ruling> E. 1.2 S. 382 mit Hinweisen). In der Begründung der Beschwerde ist darzulegen, inwiefern der angefochtene Entscheid Recht verletze (<ref-law>). Die Verletzung von Grundrechten prüft das Bundesgericht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet wird (<ref-law>). Das bedeutet, dass klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen. Bei der Willkürrüge (<ref-law>) ist in der erwähnten Form aufzuzeigen, inwiefern der kantonale Entscheid offensichtlich unhaltbar sein, mit der tatsächlichen Situation in klarem Widerspruch stehen bzw. eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzen oder sonst wie in stossender Weise dem Gerechtigkeitsgedanken zuwiderlaufen soll (<ref-ruling>, E. 1.4.1 S. 53, und 65, E. 1.3.1 S. 68; <ref-ruling> E. 2.2 S. 246; <ref-ruling> E. 3.1 S. 153; je mit Hinweisen). Auf rein appellatorische Kritik, wie sie allenfalls in einem Berufungsverfahren zulässig ist, wird nicht eingetreten (<ref-ruling> E. 1.3 S. 261 f. mit Hinweisen).
2.2 Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig, d.h. willkürlich ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>) und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; <ref-ruling> E. 1.2.2 S. 252). Wird eine willkürliche Feststellung von Tatsachen geltend gemacht, ist neben der Erheblichkeit der gerügten Tatsachenfeststellung für den Ausgang des Verfahrens klar und detailliert darzutun, inwiefern diese offensichtlich unhaltbar sein soll, d.h. mit der tatsächlichen Situation in klarem Widerspruch stehe, auf einem offenkundigen Versehen beruhe oder sich sachlich in keiner Weise rechtfertigen lasse (<ref-ruling> E. 7.1 S. 398 mit Hinweisen).
2.3 Gemäss <ref-law> dürfen neue Tatsachen und Beweismittel nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt. In der Beschwerde ist darzutun, inwiefern die Voraussetzung für eine nachträgliche Einreichung von Beweismitteln erfüllt sein soll (<ref-ruling> E. 3 S. 395).
3. Ist nicht verheirateten Eltern die elterliche Sorge beiden gemeinsam übertragen, ist ihre Zuteilung neu zu regeln, wenn dies wegen wesentlicher Veränderung der Verhältnisse zum Wohl des Kindes geboten ist (<ref-law>). Diese Voraussetzung hält das Verwaltungsgericht für gegeben: Während die beiden Eltern im Zeitpunkt der Geburt von A._ ein Paar gewesen seien, sei es nach etwas mehr als drei Jahren zur Trennung gekommen. Wegen der in der Folge eingetretenen Schwierigkeiten habe dann am 18. April 2005 eine Beistandschaft nach Art. 308 Abs. 2 und 3 ZGB angeordnet werden müssen. Die Vorinstanz weist darauf hin, dass die gemeinsame elterliche Sorge grundsätzlich nur dann erteilt werde, wenn bei den Eltern von übereinstimmender Haltung in Bezug auf die Kinderbelange ausgegangen werden könne, eine Kommunikation gut möglich sei und die Betreuungspflichten grundsätzlich, wenn auch in unterschiedlicher Intensität, von beiden wahrgenommen würden. Keines dieser Elemente sei hier mehr vorhanden. Die Kommunikation und das Verhältnis zwischen den Eltern seien derart gestört, dass nicht einmal eine Mediation möglich gewesen sei. Unter den gegebenen Umständen könne ohne weitere Abklärung festgestellt werden, dass eine wesentliche Veränderung der Verhältnisse vorliege und die Voraussetzungen für die gemeinsame elterliche Sorge nicht mehr gegeben seien. Diese sei deshalb zu Recht aufgehoben worden und die elterliche Sorge müsse nun neu einem Elternteil allein übertragen werden.
Zu diesem Punkt verweist das Verwaltungsgericht auf den vom Departement für Justiz und Sicherheit eingeholten Abklärungsbericht der diplomierten Sozialpädagogin D._ vom 7. November 2008 (Fachstelle für Kinderschutzfragen), dem zu entnehmen sei, dass die alleinige elterliche Sorge der Kindsmutter (Beschwerdegegnerin) zu übertragen sei. Die Bindung von A._ zur Mutter könne als eng und tragend bezeichnet werden. Die Beschwerdegegnerin habe sich seit der Geburt des Kindes mehrheitlich und seit der Trennung vom Beschwerdeführer im Jahre 2004 fast ausschliesslich allein um die Tochter gekümmert. Da sie nach den Angaben verschiedener Fachpersonen über genügend Erziehungsfähigkeit verfüge und für A._ die nächste Bezugsperson darstelle, sei die Zuteilung der elterlichen Sorge auf sie vertretbar, zumal A._ mit ihr in häuslicher Gemeinschaft lebe und ihren Lebensmittelpunkt (Schule, Nachbarschaft, Spielkameraden und Grossmutter) unterdessen in C._ habe. Nach dem genannten Bericht empfehle es sich nicht, A._ aus der gewohnten und vertrauten Umgebung herauszunehmen, wenn es sich vermeiden lasse. Die Vorinstanz räumt ein, dass die Beschwerdegegnerin psychische Schwierigkeiten habe, doch könne ihr die Erziehungsfähigkeit offenbar nicht abgesprochen werden. Abgesehen davon, bestehe gemäss Abklärungsbericht bei der Beschwerdegegnerin die Bereitschaft, sich mit ihren Ängsten auseinanderzusetzen und die Psychotherapie weiterzuführen. Das Verwaltungsgericht hält abschliessend fest, dass der umfassende Abklärungsbericht vom 7. November 2008 auf den verschiedensten Gesprächen und telefonischen Auskünften beruhe und der Berichterstatterin ausserdem die Akten aus dem vormundschaftsbehördlichen Verfahren, insbesondere auch die Protokolle der Familienbegleitung "annea", zur Verfügung gestanden hätten. Es bestehe kein Anlass, an den Schlussfolgerungen von D._ zu zweifeln. Die inzwischen 8-jährige A._ sei mithin nicht aus ihrem gewohnten Umfeld zu reissen. Da ein Auseinanderklaffen von Obhut und elterlicher Sorge nicht in Frage komme, habe das Departement für Justiz und Sicherheit zu Recht die elterliche Sorge neu allein der Beschwerdegegnerin zugewiesen.
Dem Antrag des Beschwerdeführers, die Sache sei zur Gewährung des rechtlichen Gehörs an das Departement für Justiz und Sicherheit zurückzuweisen, hat das Verwaltungsgericht entgegengehalten, der Beschwerdeführer habe sich mit Schreiben vom 13. Mai 2008 ausführlich vernehmen lassen. Aus dem Abklärungsbericht vom 7. November 2008 gehe zudem hervor, dass unter anderem auch mit dem Beschwerdeführer gesprochen worden sei. D._ habe mit ihm Kontakt aufgenommen und er habe erklärt, dass ein alleiniges Sorgerecht der Beschwerdegegnerin Sinn mache. Der Beschwerdeführer sei somit im Rahmen der Abklärungen durch D._ konkret involviert und beteiligt gewesen und habe sich einschlägig äussern können. Ferner sei dem Beschwerdeführer auch das Attest vom 4. Juni 2008 zur Kenntnis gebracht worden, das der Psychologe F._ zu Handen der Vormundschaftsbehörde verfasst habe, nachdem er sich vom 5. bis 8. Mai 2008 mit der Beschwerdegegnerin und A._ befasst gehabt habe. Von einer Verletzung des Gehörsanspruchs könne unter den dargelegten Umständen nicht die Rede sein. Ausserdem habe das Verwaltungsgericht als erste Rechtsmittelinstanz volle Überprüfungsbefugnis, so dass eine solche ohnehin geheilt würde.
4. 4.1 Der Beschwerdeführer rügt auch vor Bundesgericht eine Missachtung seines Anspruchs auf rechtliches Gehör (<ref-law>).
4.1.1 Zum Vorwurf, er sei bei den Abklärungen durch die konsultierten Fachpersonen nicht einbezogen worden, ist zu bemerken, dass er sich mit den gegenteiligen Feststellungen der Vorinstanz nicht auseinandersetzt und demnach auch nicht dartut, dass jene gegen Bundesrecht verstiessen. Soweit der Beschwerdeführer telefonische Äusserungen für unzureichend hält, ist festzuhalten, dass <ref-law> nicht bestimmt, in welcher Form das rechtliche Gehör zu gewähren ist (vgl. Gerold Steinmann, in: Ehrenzeller/Mastronardi/Schweizer/Vallender [Hrsg.], Die Schweizerische Bundesverfassung, Kommentar, 2. Auflage, St. Gallen/Zürich 2008, N. 22 zu Art. 29). So besteht insbesondere nicht etwa ein Anspruch darauf, von der entscheidenden Behörde selbst angehört zu werden (dazu <ref-ruling> E. 2.1 S. 428 f.). Aus der Sicht der angerufenen Verfassungsbestimmung ist hier einzig entscheidend, dass der Beschwerdeführer nach den vorinstanzlichen Feststellungen in die im Hinblick auf die Zuweisung des Sorgerechts getroffenen Abklärungen einbezogen wurde.
4.1.2 Die Kritik des Beschwerdeführers am Umstand, dass die Verfasserin des Abklärungsberichts A._ nie gesehen und sich mit dem Psychologen F._, der sich mit der Tochter und der Beschwerdegegnerin befasst habe, lediglich telefonisch unterhalten habe, betrifft nicht die Frage des rechtlichen Gehörs. Es geht hierbei vielmehr darum, ob die Feststellungen zu den tatsächlichen Gegebenheiten ausreichen, um die rechtliche Frage der Zuweisung des Sorgerechts zu beurteilen.
4.2 Sodann beanstandet der Beschwerdeführer, dass bei der Einsetzung von Sachverständigen durch das Departement für Justiz und Sicherheit zu seinem Nachteil Verfahrensgarantien verletzt worden seien, was das Verwaltungsgericht übergangen habe. Nach Art. 29 Abs. 1 (recte: Abs. 2) BV habe er einen Anspruch auf Mitwirkung und Orientierung wie auch auf Teilnahme am Beweisverfahren sowie auch auf Stellungnahme zu den Beweisergebnissen gehabt.
Der vorinstanzlichen Feststellung, es habe ein telefonisches Gespräch zwischen D._ von der Fachstelle für Kinderschutzfragen und ihm stattgefunden, widerspricht der Beschwerdeführer nicht. Er hatte somit Kenntnis von dem vom Departement für Justiz und Sicherheit erteilten Auftrag und von der mit dem Gutachten betrauten Person. Soweit er mit dem Vorgehen der genannten Behörde nicht einverstanden war, hätte er seine Einwände im kantonalen Verfahren vortragen sollen. Er legt nicht dar, dass er dies getan hätte. Seine Rüge der Verletzung von Verfahrensgarantien erscheint insofern als verspätet. Das Vorbringen des Beschwerdeführers, er habe keine Gelegenheit gehabt, sich zu den Empfehlungen der Fachstelle für Kinderschutzfragen zu äussern, widerspricht den tatsächlichen Feststellungen der Vorinstanz. Dass diese willkürlich sein sollen, macht der Beschwerdeführer nicht geltend.
4.3 Eine Verletzung von <ref-law> erblickt der Beschwerdeführer ebenfalls darin, dass das Verwaltungsgericht seinem wiederholt gestellten Begehren, beim kantonalen Kinder- und Jugendpsychiatrischen Dienst ein Gutachten über die Erziehungsfähigkeit und zum psychischen Zustand der Beschwerdegegnerin einzuholen, übergangen habe.
4.3.1 Die scheidungsrechtliche Bestimmung von <ref-law> sieht vor, dass das Gericht bei Anordnungen über Kinder den Sachverhalt von Amtes wegen erforscht und die Beweise nach freier Überzeugung würdigt (Abs. 1) und dass es nötigenfalls Sachverständige beizieht (Abs. 2). Bei der Regelung von Belangen unmündiger Kinder gelten Untersuchungs- und Offizialmaxime jedoch ganz allgemein; sie sind insbesondere auch im Abänderungsverfahren nach <ref-law> zu beachten (THOMAS SUTTER/DIETER FREIBURGHAUS, Kommentar zum neuen Scheidungsrecht, Zürich 1999, N. 7 und 9 zu <ref-law>; PETER BREITSCHMID, in: Basler Kommentar, 3. Auflage, Basel 2006, N. 1 zu 145 ZGB; dazu auch <ref-ruling> E. 3.2 S. 183). Den genannten Verfahrensgrundsätzen kommt indessen nicht etwa die Bedeutung zu, dass der Richter jedem Beweisantrag stattzugeben und von Amtes wegen sämtliche einschlägige Tatsachen festzustellen hätte. Die Untersuchungsmaxime schliesst eine vorweggenommene Beweiswürdigung nicht aus: Verfügt das Gericht über genügend Grundlagen für eine sachgerechte Entscheidung, kann es auf weitere Beweiserhebungen verzichten (<ref-ruling> E. 2.2.3 S. 735 mit Hinweisen). Wenn der massgebliche Sachverhalt sich auf andere Weise abklären lässt, verstösst auch der Verzicht auf ein bestimmtes Gutachten nicht gegen Bundesrecht (dazu Urteil 5C.22/2005 vom 13. Mai 2005, E. 2.2, veröffentlicht in: FamPra.ch 2005, S. 951 f. mit Hinweisen). Der Entscheid darüber, ob allenfalls ein Gutachten der vom Beschwerdeführer angesprochenen Art einzuholen war, lag somit im pflichtgemässen Ermessen der Vorinstanz.
4.3.2 Das Verwaltungsgericht hat dem Abklärungsbericht der Fachstelle für Kinderschutzfragen vom 7. November 2008 (D._) entnommen, dass die Beschwerdegegnerin trotz gewisser psychischer Schwierigkeiten über die erforderliche Erziehungsfähigkeit verfüge und zur Tochter eine enge und tragende Beziehung habe, und hält dafür, diese Feststellungen, die unter anderem auch auf Informationen weiterer Fachpersonen beruhen, seien schlüssig. Was der Beschwerdeführer einwendet, erschöpft sich in einer appellatorischen Kritik, mit der den Feststellungen der Berichterstatterin bzw. der Vorinstanz die eigene Sicht der Dinge entgegengehalten wird. Die Vorbringen sind nicht geeignet, die dargelegte Würdigung der tatsächlichen Verhältnisse durch das Verwaltungsgericht als willkürlich erscheinen zu lassen. Aus gewissen psychischen Problemen lässt sich noch nicht auf eine Erziehungsunfähigkeit schliessen. Unter den angeführten Umständen verstösst der vorinstanzliche Verzicht auf ein weiteres Gutachten nicht gegen Bundesrecht. Der Hinweis des Beschwerdeführers auf eine Gesetzesvorlage zur Änderung der Regeln über die elterliche Gewalt vermag daran von vornherein nichts zu ändern, zumal jene nur die materiellen Voraussetzungen für die gemeinsame elterliche Sorge betrifft, nicht aber auch das Verfahren.
4.4 Das Verwaltungsgericht hält fest, der Beschwerdeführer, der grundsätzlich einer vollen Erwerbstätigkeit nachgehe, lege nicht dar, in welcher Weise er für A._ konkret sorgen könnte; er habe im Übrigen nicht beantragt, dass ihm die Obhut über die Tochter zugewiesen werde.
Der Beschwerdeführer setzt sich mit der vorinstanzlichen Feststellung, er habe nicht ausgeführt, wie er konkret für die Tochter sorgen könnte, nicht auseinander und legt somit auch nicht dar, inwiefern sie Bundesrecht verletzen soll. Dass er für den Fall der Aufhebung der gemeinsamen elterlichen Gewalt verlangt habe, die elterliche Sorge ihm zu übertragen, und diese die Obhut mitumfasst (dazu Heinz Hausheer/ THOMAS GEISER/REGINA A. AEBI-MÜLLER, Das Familienrecht des Schweizerischen Zivilgesetzbuches, 4. Auflage, Bern 2010, Rz. 17.102), ist unter diesen Umständen von vornherein ohne Belang.
4.5 Der Beschwerdeführer beanstandet ferner, dass die Tochter nicht angehört worden sei, und sieht in dieser Unterlassung einen Verstoss gegen <ref-law> und Art. 12 des UNO-Übereinkommens über die Rechte der Kinder (SR 0.107; KRK).
4.5.1 Vor dem Erlass von Kindesschutzmassnahmen ist nach <ref-law> das Kind in geeigneter Weise durch die vormundschaftliche Behörde oder durch eine beauftragte Drittperson anzuhören, soweit nicht sein Alter oder andere wichtige Gründe dagegen sprechen. Diese Bestimmung gilt für alle gerichtlichen Verfahren, in denen Kinderbelange zu regeln sind (vgl. <ref-ruling> E. 4.4.3 S. 413). Gemäss dem - unmittelbar anwendbaren (<ref-ruling> E. 3c S. 368 mit Hinweis) - Art. 12 KRK sichern die Vertragsstaaten dem Kind, das fähig ist, sich eine eigene Meinung zu bilden, das Recht zu, diese in allen das Kind berührenden Angelegenheiten bzw. Gerichts- oder Verwaltungsverfahren unmittelbar oder durch einen Vertreter oder eine geeignete Stelle frei zu äussern und angehört zu werden. Das Kind muss nicht notwendigerweise in jedem Fall mündlich angehört werden; es kann unter gewissen Umständen genügen, dass der Standpunkt des Kindes sonstwie in tauglicher Weise, zum Beispiel durch eine Eingabe seines Vertreters, Eingang in das Verfahren gefunden hat; auf eine Anhörung des Kindes im Verfahren darf verzichtet werden, wenn dessen Wohl beeinträchtigt würde, etwa dann, wenn es im Rahmen einer Begutachtung bereits mehrmals befragt worden ist und eine neuerliche Befragung das Kind nur belasten, aber nicht Neues hervorbringen würde (<ref-ruling> E. 3c S. 368 mit Hinweisen; <ref-ruling> E. 4.4.2 S. 413; Urteil 5A_61/2008 vom 16. Juni 2008, E. 2.2, veröffentlicht in: FamPra.ch 2008, S. 885).
4.5.2 Im Zeitpunkt der kantonalen Verfahren war die Tochter A._ rund achtjährig und damit alt genug, um zur Sachverhaltsabklärung befragt zu werden. Sie wurde jedoch weder durch das Departement für Justiz und Sicherheit noch durch das Verwaltungsgericht direkt angehört. Auch wurde nicht im Sinne eines eigentlichen Verfahrensschrittes eine Anhörung durch eine Drittperson angeordnet. Dem angefochtenen Entscheid ist indessen zu entnehmen, dass A._ ihre Haltung gegenüber dem von der Fachstelle für Kinderschutzfragen beigezogenen Psychologen F._ wie auch im Rahmen der sozialpädagogischen Familienbegleitungen durch "annea" hat äussern können. Wenn die Vorinstanz bei diesen Gegebenheiten dafür hält, eine weitere Anhörung des Kindes sei nicht erforderlich gewesen, hat sie nicht gegen Bundesrecht verstossen. Entgegen der Auffassung des Beschwerdeführers bestehen für die Anhörung durch Drittpersonen keine Vorschriften formeller Natur. So ist nicht etwa vorgeschrieben, dass über die Anhörung ein eigentliches Protokoll zu Handen der Verfahrensbeteiligten erstellt werde. Es ist auch nicht zu beanstanden, dass die Anhörung nicht durch einen Facharzt, sondern durch einen Psychologen vorgenommen wurde.
4.6 Die verfahrensrechtlichen Rügen des Beschwerdeführers sind nach dem Dargelegten in jeder Hinsicht unbegründet, und die verwaltungsgerichtlichen Feststellungen zu den tatsächlichen Gegebenheiten sind für das Bundesgericht verbindlich.
5. 5.1 Die Rechtsanwendung überprüft das Bundesgericht im Rahmen begründeter Rügen (<ref-law>) von Amtes wegen und mit voller Kognition (<ref-law>). Die die Neugestaltung der elterlichen Sorge zufolge veränderter Verhältnisse regelnde Bestimmung von <ref-law> enthält unbestimmte Rechtsbegriffe, für deren Ausfüllung das Sachgericht auf sein Ermessen verwiesen ist (<ref-law>). Bei der Überprüfung solcher Ermessensentscheide übt das Bundesgericht Zurückhaltung. Es greift nur ein, wenn die kantonale Instanz grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgegangen ist, wenn sie Gesichtspunkte berücksichtigt hat, die für den Entscheid im Einzelfall keine Rolle hätten spielen dürfen, oder wenn sie umgekehrt Umstände nicht in Betracht gezogen hat, die hätten beachtet werden müssen. Aufzuheben und zu korrigieren sind ausserdem Ermessensentscheide, die sich als im Ergebnis offensichtlich unbillig, als in stossender Weise ungerecht erweisen (<ref-ruling> E. 2.1 S. 51; <ref-ruling> E. 4.3 S. 576; je mit Hinweisen).
5.2 Im Falle gemeinsamer elterlicher Sorge ist eine Änderung gerechtfertigt, wenn die Grundbedingungen für eine gemeinsame Verantwortung der Eltern nicht mehr gegeben sind, so dass das Kindeswohl die Übertragung der elterlichen Sorge an einen Elternteil gebietet. Dies trifft unter anderem zu, wenn Kooperationswille und Kooperationsfähigkeit der Eltern nicht mehr bestehen (Urteil 5A_616/2007 vom 23. April 2008, E. 7.1; zur analogen Regelung in aArt. 157 ZGB: <ref-ruling> E. 1 S. 77 f.; <ref-ruling> E. 4c S. 380; <ref-ruling> E. 4 S. 316). Hier steht aufgrund der Ausführungen der Vorinstanz fest, dass die Parteien nicht mehr zusammenleben und massiv zerstritten sind, was auch der vorliegende Rechtsstreit mit aller Deutlichkeit zeigt. Sie sind mit anderen Worten nicht mehr in der Lage, für die Belange der Tochter konstruktiv zusammenzuwirken. Die Aufhebung der gemeinsamen elterlichen Sorge ist aus der Sicht vom Wohl von A._ deshalb nicht zu beanstanden. Der Beschwerdeführer vermag sodann auch nichts vorzubringen, was die Zuweisung der elterlichen Sorge an die Beschwerdegegnerin, die das Kind unbestrittenermassen bis anhin mehrheitlich betreut hat, als bundesrechtswidrig erscheinen liesse.
6. Die Beschwerde ist nach dem Ausgeführten abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Da keine Vernehmlassungen zur Beschwerde eingeholt worden und der Beschwerdegegnerin somit keine Kosten erwachsen sind, entfällt die Zusprechung einer Parteientschädigung.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 25. Mai 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Gysel