Sachverhalt: A. Y._ und X._ sind die unverheirateten Eltern der im Mai 2001 geborenen Tochter A._. Am 13. März 2002 vereinbarten die beiden, die elterliche Sorge gemeinsam ausüben zu wollen. Im Sinne von Art. 298a Abs. 1 ZGB gab die Vormundschaftsbehörde B._ einem entsprechenden Antrag statt. Am 4. September 2004 lösten Y._ und X._ den gemeinsamen Haushalt auf, wobei A._ mit der Mutter wegzog. Die Vormundschaftsbehörde C._ genehmigte am 18. April 2005 eine Vereinbarung, worin die beiden Eltern sich über die Modalitäten des Besuchsrechts geeinigt hatten, und ordnete gleichzeitig eine Beistandschaft nach Art. 308 Abs. 2 und 3 ZGB an. B. Mit Eingaben vom 5. und 24. April 2008 stellte Y._ bei der Vormundschaftsbehörde C._ bzw. beim Departement für Justiz und Sicherheit des Kantons Thurgau das Begehren, die gemeinsame elterliche Sorge bezüglich der Tochter A._ aufzuheben und ihr das alleinige Sorgerecht zuzuweisen. Nachdem Verhandlungen zwischen Y._ und X._ zu keiner Einigung geführt hatten, entschied das Departement für Justiz und Sicherheit am 13. Mai 2009, dass die elterliche Sorge über A._ allein Y._ zugeteilt werde. Eine von X._ hiergegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau am 4. November 2009 ab. C. Mit Eingabe vom 18. Dezember 2009 führt X._ Beschwerde in Zivilsachen und verlangt, den Entscheid des Verwaltungsgerichts aufzuheben und die Sache an das Departement für Justiz und Sicherheit zurückzuweisen, damit dieses ihm das rechtliche Gehör gewähre und die notwendigen fachlichen Abklärungen treffe; allenfalls sei ihm die alleinige elterliche Sorge einzuräumen bzw. Y._ und ihm die gemeinsame elterliche Sorge zu übertragen. Als Beilage zu einem Schreiben vom 25. Januar 2010 hat der Beschwerdeführer zusätzlich ein der Beschwerdegegnerin ausgestelltes ärztliches Zeugnis eingereicht. Vernehmlassungen zur Beschwerde sind nicht eingeholt worden.