Sachverhalt:
A. Die Eheleute Z._ und Y._ sind die Eltern von M._ (1985), N._ (1987), O._ (1988), P._ (1994), Q._ (1996) und R._ (1998).
Im Jahr 2005 zog die Mutter mit den drei jüngeren Kindern zunächst ins Frauenhaus und danach in den Kanton Thurgau, wo sie seither unter Verwendung eines Pseudonyms leben. Der Wohnort wird vor dem Vater geheim gehalten.
B. Im Rahmen des Eheschutzverfahrens teilte das Gerichtspräsidium A._ der Mutter am 2. August 2005 die Obhut über die drei jüngeren Kinder zu. Dem Vater wurde kein Besuchsrecht eingeräumt mit der Begründung, dies gefährde das Kindeswohl.
In dahingehender Gutheissung der Beschwerde des Vaters erteilte das Obergericht des Kantons Aargau diesem mit Entscheid vom 26. Februar 2007 ein begleitetes Besuchsrecht von einem halben Tag pro Monat, unter Errichtung einer Erziehungs- und Besuchsrechtsbeistandschaft. Die Vormundschaftsbehörde am Wohnsitz der Kinder wurde mit der Ernennung und Überwachung des Beistandes beauftragt.
C. Im Rahmen der Umsetzung des obergerichtlichen Entscheides liess die örtliche Vormundschaftsbehörde bei der behandelnden Maltherapeutin sowie der behandelnden Familienberaterin eine Beurteilung vornehmen und gab beim Psychotherapeuten S._ eine Begutachtung in Auftrag. Aufgrund der Abklärungsberichte, in welchen massive Störungen der Kinder aufgrund des früheren Verhaltens des Vaters festgestellt wurden, beschloss die Vormundschaftsbehörde mit Verfügung vom 3. Oktober 2007, dass das gerichtlich angeordnete Besuchsrecht aufgehoben werde.
Die gegen diesen Beschluss erhobene Beschwerde des Vaters wies das Departement für Justiz und Sicherheit des Kantons Thurgau (DJS) am 4. Dezember 2008 ab mit der Begründung, die Aufhebung des Besuchsrechts sei im Hinblick auf das Kindeswohl und den Kindeswillen zu Recht erfolgt.
Die hiergegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Thurgau mit Entscheid vom 23. September 2009 ab, nachdem es den Vater angehört und aktuelle Berichte eingeholt hatte.
D. Am 27. November 2009 hat Y._ eine Beschwerde in Zivilsachen erhoben mit den Begehren um Aufhebung des Beschlusses der Vormundschaftsbehörde und der Entscheide des DJS und des Verwaltungsgerichts sowie um Feststellung, dass das vom Obergericht des Kantons Aargau am 26. Februar 2007 angeordnete Besuchsrecht zu vollstrecken sei, sowie um Anweisung der Vorinstanzen, die Vollstreckung umgehend vorzunehmen. Das Verwaltungsgericht und die Vormundschaftsbehörde verlangen in ihren Vernehmlassungen vom 27. Januar 2010 die Abweisung der Beschwerde. Die Mutter hat keine Vernehmlassung eingereicht.

Erwägungen:
1. Die Vormundschaftsbehörde hat in ihrem Beschluss vom 3. Oktober 2007 nicht etwa den Vollzug des obergerichtlich angeordneten Besuchsrechts vorübergehend sistiert, sondern dieses explizit aufgehoben. Alle drei kantonalen Instanzen haben denn auch eigene materielle Entscheidbefugnisse für sich in Anspruch genommen. Das Verwaltungsgericht spricht zwar vordergründig vom "Vollzug eines rechtskräftigen Zivilurteils" (E. 3.1), lässt aber in den Erwägungen keinen Zweifel offen, dass es in der Sache um dessen materielle Abänderung geht (E. 3.2.1 sowie E. 3.2.3).
Angefochten ist mithin ein materieller Entscheid über das Besuchsrecht, der eine Zivilsache im Sinn von <ref-law> dargestellt und gegen den alle Rügen im Sinn von Art. 95 f. BGG zulässig sind, und nicht ein blosser Vollstreckungsentscheid, welcher der Anfechtung nach <ref-law> unterliegen würde und vorliegend nur mit Verfassungsrügen angreifbar wäre, weil er auf kantonalem Recht basieren und im Übrigen eine im Eheschutzverfahren erlassene Besuchsrechtsordnung betreffen würde (vgl. Urteil 5A_547/2007, E. 2 und 5.1).
Mit Beschwerde in Zivilsachen anfechtbar ist einzig der kantonal letztinstanzliche Endentscheid (Art. 75 Abs. 1 und Art. 90 BGG), weshalb auf die Beschwerde nicht einzutreten ist, soweit sie sich gegen den Beschluss der Vormundschaftsbehörde und den Entscheid des DJS richtet; mit Bezug auf den verwaltungsgerichtlichen Entscheid erweist sie sich hingegen als zulässig.
2. Der Beschwerdeführer rügt eine Verletzung des rechtlichen Gehörs und bestreitet sodann in grundsätzlicher Weise die Kompetenz der vormundschaftlichen Behörden zu eigener Entscheidung.
Wegen der formellen Natur des rechtlichen Gehörs, wonach dessen Verletzung in der Regel ungeachtet der Erfolgsaussichten der Beschwerde in der Sache selbst zur Aufhebung des angefochtenen Entscheides führt (<ref-ruling> E. 3d/aa S. 437; <ref-ruling> E. 5.1 S. 390), werden Gehörsrügen regelmässig vorweg behandelt.
3. Das Verwaltungsgericht hat eine Verletzung des rechtlichen Gehörs des Beschwerdeführers festgestellt, ist aber von einer Heilungsmöglichkeit aufgrund mündlicher Anhörung ausgegangen.
3.1 Im Einzelnen hat das Verwaltungsgericht befunden, es wiege zweifellos schwer, dass dem Beschwerdeführer vor Fällung des erstinstanzlichen Entscheides die Einsicht in die Akten verweigert worden sei. Immerhin habe er aber im Verfahren vor dem DJS vollumfänglich Akteneinsicht erhalten. Der Beschwerdeführer sei zwar auch vom DJS nicht persönlich angehört worden, aber dies sei nunmehr durch das Verwaltungsgericht in der Verhandlung vom 22. April 2009 nachgeholt worden. Die Aufhebung der vorinstanzlichen Entscheide sei deshalb nicht angezeigt, zumal das Verwaltungsgericht infolge Gehörsverletzung die Angelegenheit entgegen § 56 Abs. 1 und 2 VRG/TG uneingeschränkt prüfe. Die vom Verwaltungsgericht zusätzlich eingeholten Berichte würden zudem ergeben, dass eine Rückweisung zu keiner Änderung des Ergebnisses führen könnte.
3.2 Der Beschwerdeführer macht geltend, angesichts der völligen Einseitigkeit des Verfahrens sei keine Heilung des rechtlichen Gehörs möglich gewesen. Er sei nicht nur bei der Auswahl bzw. dem Beizug der Fachleute ausgeschlossen gewesen, sondern von diesen auch nie einbezogen oder angehört worden; dennoch hätten alle Instanzen auf deren Berichte abgestellt. Die Berichterstatter hätten zwangsläufig auf den Aussagen der Mutter und Kinder bauen müssen, wobei diese gemäss Dr. T._ massgeblich von der mütterlichen Haltung beeinflusst seien. Wenn die entscheidenden Instanzen schon auf die Berichte der involvierten Fachleute abstelle, hätten diese wenigstens korrekt beauftragt und richtig instruiert werden müssen. Bei einer so einseitigen Ausgangslage könnten die Berichte nicht als massgebliche Entscheidungsgrundlage dienen.
3.3 Das von <ref-law> garantierte rechtliche Gehör dient einerseits der Sachaufklärung, andererseits stellt es ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheides dar, welcher in die Rechtsstellung des Einzelnen eingreift. Dazu gehört insbesondere das Recht des Betroffenen, sich vor Erlass eines in seine Rechtsstellung eingreifenden Entscheides zur Sache zu äussern, erhebliche Beweise beizubringen, Einsicht in die Akten zu nehmen, mit erheblichen Beweisanträgen gehört zu werden und an der Erhebung wesentlicher Beweise entweder mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet war, den Entscheid zu beeinflussen (<ref-ruling> E. 3.1 S. 370; <ref-ruling> E. 3.1 S. 277).
Das Recht, angehört zu werden, ist formeller Natur. Die Verletzung des rechtlichen Gehörs führt ungeachtet der Erfolgsaussichten der Beschwerde in der Sache selbst zur Aufhebung des angefochtenen Entscheides. Es kommt mit anderen Worten nicht darauf an, ob die Anhörung im konkreten Fall für den Ausgang der materiellen Streitentscheidung von Bedeutung ist, d.h. die Behörde zu einer Änderung ihres Entscheides veranlasst wird oder nicht (<ref-ruling> E. 3d/aa S. 437; <ref-ruling> E. 5.1 S. 390). Nach der Rechtsprechung kann aber jedenfalls eine nicht besonders schwerwiegende Verletzung des rechtlichen Gehörs als geheilt gelten, wenn die betroffene Person die Möglichkeit erhält, sich vor einer Beschwerdeinstanz zu äussern, die sowohl den Sachverhalt wie die Rechtslage frei überprüfen kann (<ref-ruling> E. 3d/aa S. 438). Von einer Rückweisung der Sache ist selbst bei einer schwerwiegenden Verletzung des rechtlichen Gehörs dann abzusehen, wenn und soweit die Rückweisung zu einem formalistischen Leerlauf und damit zu unnötigen Verzögerungen führen würde, die mit dem (der Anhörung gleichgestellten) Interesse der betroffenen Partei an einer beförderlichen Beurteilung der Sache nicht zu vereinbaren wären (BGE <ref-ruling> E. 5.1 S. 390).
3.4 Dass im kantonalen Verfahren das rechtliche Gehör des Vaters in schwerwiegender Weise verletzt worden ist, anerkennt auch das Verwaltungsgericht. Es ist allerdings der Auffassung, mit der nachträglichen Gewährung der Akteneinsicht, der persönlichen Anhörung und dem Einholen aktueller Berichte bei den betreuenden Fachpersonen seien alle Mängel geheilt.
Dieser Auffassung kann insoweit nicht gefolgt werden, als auch das Verwaltungsgericht entscheidend auf die Berichte der beteiligten Therapeuten abgestellt hat. Alle diese Fachpersonen haben den Vater jedoch weder gesehen noch angehört, sondern ihre Stellungnahmen einseitig auf der Basis der Erklärungen der Mutter und der (offenbar stark von ihr beeinflussten) Kinder erstellt. Zudem handelt es sich ausschliesslich um Berichte von Betreuungspersonen (was insbesondere auch für S._ zutrifft, bei welchem die Kinder in Therapie waren; Dr. T._ kennt sogar einzig die Mutter, welche bei ihm Patientin ist), die naturgemäss nur bedingt als unabhängige, neutrale Gutachter gelten können.
Damit fehlen vor dem Hintergrund, dass es sich beim Besuchsrecht um ein Pflichtrecht handelt, bei welchem beide Seiten gleichermassen betroffen sind, zwangsläufig die notwendigen Grundlagen für eine objektive, neutrale und unabhängige Expertisierung der Besuchsrechtsfrage. Selbstverständlich können bei dringender Gefahr bereits auf einseitige Gefährdungsmeldung hin superprovisorische Massnahmen getroffen werden. Vorliegend dauert aber die Unterbindung des rechtskräftig angeordneten Besuchsrechts nunmehr zwei Jahre, was zwingend die umfassende Gewährung des rechtlichen Gehörs erfordert. Durch das vollständige Fernhalten des Vaters von der Erstellung der Entscheidungsgrundlagen ist jedoch nicht nur die Sachaufklärung in Frage gestellt, sondern insbesondere dessen rechtliches Gehör in einer Weise verletzt, die eine Heilung durch formelle Anhörung in dritter Instanz ausschliesst, zumal auch das Verwaltungsgericht als Entscheidungsgrundlage ganz wesentlich auf die Berichte abgestellt hat, von deren Ausarbeitung der Vater systematisch ausgeschlossen war.
4. Im Übrigen bestreitet der Vater die vom Verwaltungsgericht bejahte Zuständigkeit bzw. Befugnis der Vormundschaftsbehörde für die Abänderung des rechtskräftigen Eheschutzentscheides.
4.1 Im Einzelnen hat das Verwaltungsgericht befunden, die Kinder stünden bereits aufgrund der blossen Androhung des Besuchsrechts unter enormem psychischen Druck. Gemäss dem Bericht der Maltherapeutin vom 12. Juni 2007 zeigten sie Symptome wie Asthma, Schlafstörung, Haarausfall, Hautausschläge sowie Konzentrationsstörung. Das Gutachten des Psychotherapeuten S._ vom 25. September 2007 gelange zum Ergebnis, dass die Durchsetzung des Besuchsrechts unzulässig sei. Das Obergericht habe im Summarverfahren und ohne fundierte psychologische Abklärungen entschieden. Die Vormundschaftsbehörde habe deshalb nach den umfassenden Abklärungen als Kindesschutzmassnahme eine Abänderung der Besuchsrechtsregelung beschliessen dürfen. Inzwischen sei die Psychotherapie zwar abgeschlossen und könnten sich die Kinder vermehrt auf die Schule konzentrieren und freier bewegen; dies halte aber nur so lange an, als sie im Glauben gelassen würden, das Besuchsrecht sei für immer aufgehoben. Gemäss den Aussagen der Beiständin und dem Bericht von Dr. T._ sei ein Besuchsrecht nach wie vor unzumutbar, namentlich auch deshalb, weil ein Kontakt zum Vater zu einem weiteren psychischen Schaden der Mutter führen könne, was sich wiederum negativ auf das Wohlbefinden der Kinder auswirke. Diese sei Referenz- und Orientierungsperson für die Kinder und ihr Angstniveau übertrage sich unweigerlich auf diese und beeinträchtige deren Lebensgefühl. Darauf und auf die Tatsache der vehementen Ablehnung des Vaters durch alle drei Kinder weise auch S._ hin.
4.2 Der Vater bestreitet die Zuständigkeit der Vormundschaftsbehörde. Er macht geltend, die Mutter habe den Entscheid des Obergerichtes in Rechtskraft erwachsen lassen und es gehe nicht an, wenn die Vormundschaftsbehörde bereits wenige Tage nach Erlass dieses Entscheides die Neuüberprüfung des Besuchsrechts veranlasst und gestützt hierauf am 3. Oktober 2007 die Aufhebung des gerichtlich angeordneten Besuchsrechts verfügt habe.
4.3 Die Vormundschaftsbehörde am Wohnsitz des Kindes ist grundsätzlich für Anordnungen über den persönlichen Verkehr und für Kindesschutzmassnahmen zuständig (Art. 275 Abs. 1 bzw. <ref-law>). Soweit jedoch ein Gericht im Rahmen eines Eheschutz- oder Scheidungsverfahrens mit der Sache befasst ist, obliegt diesem die Regelung des persönlichen Verkehrs, aber auch der Erlass allfälliger Kindesschutzmassnahmen (Art. 133 Abs. 1 bzw. <ref-law> i.V.m. Art. 275 Abs. 2 resp. <ref-law>; (Botschaft, BBl 1996 I S. 124 und 131). Das bedeutet, dass die Zuständigkeit der Vormundschaftsbehörden auf die nichtstreitigen Fälle beschränkt bleibt (BREITSCHMID, Basler Kommentar, N. 15 zu Art. 315/315a/315b ZGB).
Die Vollzugsbehörde ist an das Gerichtsurteil grundsätzlich gebunden, d.h. sie darf die rechtskräftige Besuchsrechtsordnung weder abändern noch aufheben. Indessen kann sie - aufgrund ihrer sog. Dringlichkeitszuständigkeit gemäss <ref-law>, auf welche sich das Verwaltungsgericht denn auch beruft - den Vollzug vorübergehend (ganz oder teilweise) sistieren, wenn das Kindeswohl ernstlich gefährdet würde. Es geht jedoch nicht an, den Vollzug über längere Zeit zu verweigern, weil über eine dauerhafte Änderung der Besuchsrechtsordnung wiederum das Sachgericht zu entscheiden hat. Diese Grundsätze gelten für das im Scheidungsurteil festgesetzte Besuchsrecht (<ref-ruling> E. 7 S. 305; <ref-ruling> E. 4c S. 393 f.), aber auch für den Vollzug einer Besuchsrechtsordnung, die sich auf Eheschutzmassnahmen stützt (Urteile 5A_547/2007, E. 5.1; 5A_627/2007, E. 3.1).
4.4 Vorliegend hat das zuständige Sachgericht in einem Eheschutzverfahren ein begleitetes Besuchsrecht von einem halben Tag pro Monat angeordnet und die Vormundschaftsbehörde mit dem Vollzug betraut. Der oberinstanzliche Entscheid ist in Rechtskraft erwachsen, nachdem dagegen kein Rechtsmittel eingelegt worden war.
Aus den Ausführungen im angefochtenen Entscheid geht sodann hervor, dass inzwischen das erstinstanzliche Scheidungsurteil ergangen ist, in welchem dem Vater wiederum ein begleitetes Besuchsrecht von einem halben Tag pro Monat zugestanden wurde. Eine gestützt auf <ref-law> vorgenommene Rückfrage beim Obergericht des Kantons Aargau hat ergeben, dass gegen das erstinstanzliche Ehescheidungsurteil die Appellation eingereicht worden ist, insbesondere auch mit Bezug auf die Frage des Besuchsrechts, und diese zur Zeit vor dem Obergericht hängig ist.
4.5 Vor dem Hintergrund, dass ein rechtskräftiger Eheschutzentscheid vorliegt und nunmehr das Scheidungsverfahren hängig ist, haben die vormundschaftlichen Organe gemäss den Ausführungen in E. 4.3 ihre Zuständigkeit überschritten, wenn sie das angeordnete Besuchsrecht durch einen neuen Entscheid in der Sache ersetzt haben. Hingegen dürfte der Vollzug des Besuchsrechts vorübergehend sistiert werden, soweit zwingende Gründe dies erheischen. Weil über eine dauerhafte Änderung der Besuchsrechtsordnung das Sachgericht zu entscheiden hat, kommt eine "vorübergehende Sistierung" primär für die Zeitspanne in Frage, bis der zuständige Richter die sich gegebenenfalls aufdrängende Neuregelung vornehmen kann.
Im vorliegenden Fall ist nicht zu übersehen, dass aufgrund der vorhandenen Rechtsmittelmöglichkeiten und der allenfalls notwendigen Begutachtung im Rahmen des Scheidungsverfahrens bis zur Rechtskraft des Scheidungsurteils (nochmals) sehr viel Zeit verstreichen kann. Weil aber die Sistierung aufgrund der blossen Dringlichkeitszuständigkeit nicht quasi ad infinitum aufrecht erhalten werden darf, wären beim Scheidungsrichter für die Dauer des Scheidungsverfahrens vorsorgliche Massnahmen gemäss <ref-law> zu verlangen, soweit ein Vollzug des mit dem obergerichtlichen Eheschutzentscheid angeordneten Besuchsrechts für alle oder einzelne der altersmässig doch recht unterschiedlichen Kinder nach wie vor ausgeschlossen erscheinen sollte.
Was sodann das Scheidungsverfahren selbst anbelangt, ist zu beachten, dass Scheidungsurteile im ordentlichen Verfahren ergehen, in welchem ein umfassendes Beweisverfahren offen steht. Die Mutter kann mit anderen Worten Anträge betreffend den persönlichen Verkehr stellen und dabei namentlich auch eine kinderpsychiatrische Begutachtung durch eine unabhängige und geeignete Fachstelle beantragen, was sie aufgrund der in Kinderbelangen geltenden uneingeschränkten Offizialmaxime auch noch vor oberer Instanz tun könnte (vgl. <ref-ruling> E. 1 S. 203; <ref-ruling> E. 3d S. 408). Sodann hat der Scheidungsrichter im Fall von Anordnungen über Kinder nicht nur die Eltern (<ref-law>), sondern in geeigneter Weise auch diese selbst anzuhören (<ref-law>). Überdies hat die Vormundschaftsbehörde das Recht, eine Vertretung der Kinder im Scheidungsprozess zu beantragen (<ref-law>), die ebenfalls Anträge stellen kann (<ref-law>). Aus all diesen Gründen würde es nicht angehen, ein im ordentlichen Scheidungsverfahren gegebenenfalls festgesetztes Besuchsrecht einzig aufgrund einer anderen Sichtweise des (gleichen) Sachverhalts weiterhin zu verweigern.
5. Zusammenfassend ergibt sich, dass das Urteil des Verwaltungsgerichts aufzuheben und die Sache zur neuen Entscheidung im Sinn der Erwägungen an dieses zurückzuweisen ist. "Im Sinn der Erwägungen" bedeutet vorliegend, dass das Besuchsrecht auf der Basis des oberinstanzlichen Eheschutzentscheides in geeigneter Weise - das begleitete Besuchsrecht kann ohne weiteres auch an einem neutralen Ort, insbesondere ausserhalb der Wohnsitzgemeinde stattfinden - zu vollziehen ist, soweit dies zumutbar erscheint, oder aber das Besuchsrecht gestützt auf die Dringlichkeitszuständigkeit bis längstens zum Vorliegen eines neuen richterlichen Massnahmeentscheides suspendiert wird, wenn sich aufgrund gehörswahrender Sachverhaltsfeststellung ergeben sollte, dass der Vollzug momentan immer noch unzumutbar ist. Angesichts der vorliegenden speziellen Situation dürfte diesfalls im Übrigen eine Koordination des Vorgehens mit den zuständigen aargauischen Instanzen zweckmässig sein.
6. Infolge Rückweisung werden die Rügen des Vaters im Zusammenhang mit der kantonalen Kostenauferlegung gegenstandslos, weil hierüber ohnehin neu zu befinden sein wird.
7. Für das bundesgerichtliche Verfahren werden keine Gerichtskosten erhoben (<ref-law>). Das Gesuch des von einer IV-Rente lebenden Vaters um unentgeltliche Rechtspflege ist gutzuheissen und er ist durch den ihn vertretenden Rechtsanwalt zu verbeiständen (Art. 64 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. In dahingehender Gutheissung der Beschwerde in Zivilsachen wird der Entscheid des Verwaltungsgerichts des Kantons Thurgau vom 23. September 2009 aufgehoben und die Sache zur neuen Entscheidung im Sinn der Erwägungen an das Verwaltungsgericht zurückgewiesen.
2. In Gutheissung des betreffenden Gesuches wird dem Beschwerdeführer die unentgeltliche Rechtspflege erteilt, unter Verbeiständung durch Rechtsanwalt Dr. Andreas Edelmann. Dieser wird aus der Bundesgerichtskasse mit Fr. 2'000.-- entschädigt.
3. Es werden keine Gerichtskosten erhoben.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau, dem Obergericht des Kantons Aargau und der betroffenen Vormundschaftsbehörde schriftlich mitgeteilt.
Lausanne, 26. Februar 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Möckli