Sachverhalt:
A. X._ und Z._ haben die beiden gemeinsamen Kinder S._, geb. xxxx 2000, und T._, geb. am xxxx 2002. Mit Scheidungsurteil vom 26. Mai 2006 wurden diese unter die elterliche Sorge der Mutter gestellt und dem Vater wurde ein Besuchsrecht an jedem zweiten Wochenende jeweils Samstag- und Sonntagvormittag und ein Ferienrecht von zwei Wochen pro Jahr eingeräumt.
B. Mit Beschluss vom 23. April 2007 errichtete die Vormundschaftsbehörde A._ auf Ersuchen der Mutter eine Beistandschaft gemäss Art. 308 Abs. 1 und 2 ZGB. Die Beiständin erhielt im Wesentlichen den Auftrag, bei Besuchsrechtskonflikten zu vermitteln und Modalitäten festzulegen.
Mit Schreiben vom 6. April 2009 beantragte die Beiständin bei der Vormundschaftsbehörde die Anordnung eines begleiteten Besuchsrechts. Nach Anhörung des Vaters und Befragung der Kinder durch eine Fachperson des Institutes V._ beschränkte die Vormundschaftsbehörde mit Beschluss vom 8. Juli 2009 das Besuchsrecht für die Zeit von sechs Monaten auf einen begleiteten Besuchstag pro Monat und sistierte für diese Zeit das Ferienrecht.
Die hiergegen erhobene Beschwerde des Vaters wiesen der Bezirksrat Pfäffikon mit Beschluss vom 15. Dezember 2009 und das Obergericht des Kantons Zürich mit Beschluss vom 7. April 2010 ab.
C. Gegen den Beschluss des Obergerichts hat der Vater am 13. Mai 2010 Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde erhoben mit den Begehren um Verzicht auf ein begleitetes Besuchsrecht und um sofortige Einräumung des Besuchs- und Ferienrechts gemäss Scheidungsurteil, eventualiter um begleiteten Verkehr im zeitlichen Rahmen des mit dem Scheidungsurteil festgesetzten Besuchs- und Ferienrechts, subeventualiter um Rückweisung der Sache an die Vorinstanz, ferner um unentgeltliche Rechtspflege. Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid in einer nicht vermögensrechtlichen Zivilsache, wogegen die Beschwerde in Zivilsachen offen steht (Art. 72 Abs. 1, Art. 75 Abs. 1 und Art. 90 BGG) und folglich die subsidiäre Verfassungsbeschwerde nicht gegeben ist (<ref-law>).
Bei der Beschwerde in Zivilsachen sind in rechtlicher Hinsicht alle Rügen gemäss Art. 95 f. BGG zulässig und das Bundesgericht wendet in diesem Bereich das Recht von Amtes wegen an (<ref-law>), was heisst, dass es behauptete Rechtsverletzungen (<ref-law>) mit freier Kognition prüft.
Dagegen ist das Bundesgericht an den festgestellten Sachverhalt grundsätzlich gebunden (<ref-law>). Diesbezüglich kann einzig vorgebracht werden, er sei offensichtlich unrichtig festgestellt worden (<ref-law>), wobei "offensichtlich unrichtig" mit "willkürlich" gleichzusetzen ist (Botschaft, BBl 2001 IV 4338; <ref-ruling> E. 1.2.2 S. 252; <ref-ruling> E. 7.1 S. 398), oder er beruhe auf einer anderen Rechtsverletzung im Sinn von <ref-law> (z.B. <ref-law> oder <ref-law>). Ausserdem muss in der Beschwerde aufgezeigt werden, inwiefern die Behebung der vorerwähnten Mängel für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; <ref-ruling> E. 2.2.2 S. 22). Für all diese Elemente gilt das strenge Rügeprinzip (<ref-law>; BGE <ref-ruling> E. 1.4.2 S. 255). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft, während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt. Wird die Verletzung des Willkürverbots gerügt, reicht es sodann nicht aus, die Rechtslage aus Sicht des Beschwerdeführers darzulegen und den davon abweichenden angefochtenen Entscheid als willkürlich zu bezeichnen; vielmehr ist im Einzelnen darzulegen, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der angefochtene Entscheid deshalb an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246).
2. Das Obergericht hat, im Wesentlichen unter Verweisung auf den bezirksrätlichen Beschluss, folgenden Sachverhalt festgestellt:
Bereits im Abklärungsbericht des Jugendsekretariates vom 9. Februar 2005 sei darauf hingewiesen worden, dass die Kinder die damaligen Konflikte zwischen den Eltern und die permanenten Demütigungen des Vaters gegenüber U._, dem Sohn der Kindsmutter aus erster Ehe, mitbekommen hätten. U._ sei vom (Stief)Vater systematisch schikaniert und drastisch bestraft worden: So habe er beispielsweise U._ und dessen Gegenstände desinfiziert, wenn jener angeblich das Zimmer nicht aufgeräumt habe; oft habe er nur für die eigenen Kinder gekocht und U._ nichts zu essen gegeben; einmal habe er das Türschloss ausgewechselt und U._ keinen Schlüssel gegeben; als Strafe habe U._ eine Stunde lang die Zähne putzen müssen, weil jener es am Morgen vergessen habe. Er habe U._ als faulen, unfähigen, verantwortungslosen Jungen bezeichnet. Nach eigenen Angaben habe er das Zimmer von U._ desinfizieren müssen, weil jener dreckig sei und die jüngeren Kinder wie auch er (der Vater) einen Hautausschlag bekommen hätten. Am 7. Dezember 2004 habe U._ mit Zustimmung der Mutter in einer SOS-Familie fremdplatziert werden müssen. Die systematische Aufwiegelung von T._ und S._ gegen U._ durch den Vater habe deren positive Entwicklung behindert. Am 11. März 2005 habe die Mutter mit Hilfe der Kantonspolizei die Wohnung verlassen.
Nach der Trennung hätten sich die Kinder beruhigen und stabilisieren können. Sie hätten sich privat wie auch in der Schule sehr gut entwickelt. Seit sie ab September 2008 wieder regelmässig Kontakt zum Vater hätten, zeigten sie diverse Verhaltensauffälligkeiten. Beide Kinder verwendeten häufig inadäquate Kraftausdrücke und S._ rufe Fremden Anstössiges zu. Er sei aggressiv geworden, habe zu stottern begonnen und vor einem Besuch eingenässt, was vorher nie vorgekommen sei. Zudem seien seine Leistungen in der Schule massiv abgefallen. T._ sei nach den Wochenenden zunehmend bedrückt, es sei ihr oft schlecht und sie habe Kopfweh.
Gemäss Bericht des Instituts V._ betonten die Kinder laut, trotzig bis provokativ und wiederkehrend, dass sie ihren Vater besuchen und möglichst lange (auch mehrere Wochen) bei ihm sein wollten. Im gleichen Ton würden sie darauf bestehen, dass es beim Vater gut sei. Relativiert werde dies von den Kindern selbst insofern, als S._ erkläre, wegen den Fussballturnieren nur wenig Zeit für Besuche zu haben, was ihn aber nicht traurig mache; ebenso betone T._ in Widerspruch zu ihren vorangehenden Aussagen, dass fehlende Besuche sie nicht traurig machen würden, höchstens wütend. Beide Kinder lehnten das Vorhandensein irgendwelcher Schwierigkeiten kategorisch ab, obwohl S._ immer wieder die oft im Zusammenhang mit den väterlichen Besuchen auftretenden Übelkeitsgefühle erwähne. Er erkläre sich dies mit dem frühen Aufstehen, mit stickiger Luft, Rauch, schneller Autofahrt nach den Besuchen oder Süssigkeiten. Die Beziehung zum Vater sei ambivalent. Gerne nähmen die Kinder die Aufmerksamkeit des Vaters und das Kontaktangebot entgegen. Dem Idealbild und dem Wunsch nach möglichst vielen und langen Kontakten stünden in der Realität verschiedene Einwände, Einschränkungen, Unwohlsein und Probleme gegenüber, welche die Kinder zwar teilweise schilderten, aber nicht zu ihrem Wunsch in Bezug setzen könnten.
Im Anschluss an diese Feststellungen hat das Obergericht erwogen, ab August 2009 (d.h. nach Ablauf der sechsmonatigen Befristung) hätte das Besuchsrecht wieder normal aufgenommen werden können. Der Beschwerdeführer habe sich aber bis anhin geweigert, den Kontakt wahrzunehmen. Die Kinder hätten sich nicht erklären können, weshalb sich der Vater zu den Geburtstagen nicht gemeldet habe. Auch Weihnachtswünsche seien ausgeblieben. Von den Kindern gebastelte Geschenke habe der Vater ungeöffnet zurückgegeben. Nach den durchgeführten Abklärungen seien die Voraussetzungen für die Einschränkung des Besuchsrechts und die Sistierung des Ferienrechts erfüllt. Der Wunsch der Kinder nach Kontakt sei zu respektieren, aber die Kontakte sollten vorerst unter sorgfältiger und begleitender Beratung durchgeführt und gefördert werden. Eine schnelle Ausweitung der Besuche und Übernachtungen beim Vater seien als kontraproduktiv anzusehen. Die Kinder müssten vorerst wieder Vertrauen entwickeln können in die Verlässlichkeit des persönlichen Verkehrs mit dem Vater. Die Behauptung des Vaters, ihm sei nichts vorzuwerfen und es bestünden keine Gründe für eine Einschränkung des Besuchsrechts, sei unzutreffend; vielmehr sei das begleitete Besuchsrecht von sechs Monaten ein notwendiges und zweckmässiges Mittel, auch angesichts des jetzt schon wieder länger andauernden vollständigen Kontaktunterbruchs.
3. Keinen Zusammenhang mit der Anfechtung des obergerichtlichen Entscheides hat die an der Beiständin bzw. deren angeblichem Verhalten geübte Kritik. Diese wäre wenn schon zum Gegenstand einer Aufsichtsbeschwerde zu machen, welche denn der Vater nach seinen Ausführungen offenbar auch bereits ergriffen hat. Sachgerichtet im vorliegenden Kontext sind einzig Ausführungen, welche darauf zielen, eine willkürliche Sachverhaltsfeststellung durch das Obergericht oder eine unrichtige Anwendung des Bundesrechts aufzuzeigen.
Kein solches sachgerichtetes Vorbringen ist die Behauptung, die familiäre Situation bei der Mutter sei ungenügend abgeklärt worden, und insbesondere sei zu beachten, dass sie mehrmals umgezogen sei und einen Mann geheiratet habe, der Kinder in die Ehe gebracht habe; bei solchen Patchwork-Verhältnissen würden Spannungen auftreten. Der Vater tut nicht im Ansatz dar, inwiefern diese Elemente für die Verhaltensauffälligkeiten der Kinder ursächlich sein sollen und das Obergericht deshalb in Willkür verfallen wäre, wenn es diese aufgrund der in E. 2 genannten Berichte der Wiederaufnahme des persönlichen Verkehrs mit dem Vater zugeschrieben hat.
Haltlos und insbesondere nicht weiter ausgeführt, mithin unsubstanziiert, ist sodann der Vorwurf, für die Anordnung eines begleiteten Besuchsrechts könne nicht einfach auf eine psychologische Kinderbefragung abgestellt werden, wie sie durch das Institut V._ durchgeführt worden sei.
Ungenügend zur Substanziierung einer willkürlichen Sachverhaltsfeststellung ist sodann der allgemeine Vorwurf, die beiden Berichte, auf welche die kantonalen Instanzen abgestellt haben, seien stark zu relativieren, weil die Beiständin massgeblich daran beteiligt gewesen sei und viele der darin wiedergegebenen Beobachtungen von der Mutter stammten. Der Vater erklärt keine einzige Beobachtung als falsch und setzt sich mit dem Inhalt der Berichte nicht im Ansatz auseinander.
Quer liegt das Vorbringen, das begleitete Besuchsrecht sei bislang nicht durchgeführt worden: Nach den insoweit unbestrittenen Sachverhaltsfeststellungen ist es der Vater selbst, welcher sich bislang einer Kontaktaufnahme verweigert hat.
Aufgrund der vorstehenden Ausführungen geht die finale Behauptung mit Bezug auf den Sachverhalt, es beständen keine konkreten Anhaltspunkte für die Anordnung eines begleiteten Besuchsrechts, an der Sache vorbei.
4. Keine eigenständige Bedeutung in rechtlicher Hinsicht haben die - ohnehin nur pauschal und unsubstanziiert erhobenen - Rügen der Verletzung von Art. 8 Abs. 1, Art. 9, Art. 10 Abs. 1 und Art. 14 BV sowie von Art. 11 KV/ZH. Diese Verfassungsnormen, insbesondere das Recht auf Familienleben, werden durch die Bundesgesetzgebung konkretisiert und ausgeführt. Die Normen des ZGB, an welche das Bundesgericht gebunden ist (<ref-law>), regeln im Einzelnen die Folgen von Trennung und Scheidung mit Bezug auf die Kinder, insbesondere auch hinsichtlich des persönlichen Verkehrs. Der Vater hat im Rahmen seiner Begründungspflicht gemäss <ref-law> darzulegen, inwiefern der angefochtene Beschluss vor den einschlägigen Normen des ZGB nicht standhalten soll.
In dieser Hinsicht verweist der Vater im Wesentlichen auf <ref-ruling>, wo festgehalten wurde, dass Konfliktsituationen zwischen den Elternteilen bei gutem Eltern-Kind-Verhältnis nicht zu einer einschneidenden Beschränkung des Besuchsrechts auf unbestimmte Zeit führen dürften. Vorliegend geht es aber gerade weder um eine Aufhebung des Besuchsrechts noch um eine Beschränkung auf unbestimmte Zeit. Vielmehr ist die Begleitung des Besuchsrechts auf sechs Monate befristet und sie soll der schrittweisen Wiederaufnahme eines geordneten persönlichen Verkehrs nach dem mehrjährigen Kontaktunterbruch dienen. Damit haben die kantonalen Instanzen genau das verfügt, was in <ref-ruling> E. 2.2.2 S. 590 für Übergangsverhältnisse als angezeigt erklärt worden ist. Aufgrund des willkürfrei festgestellten Sachverhaltes ist das begleitete Besuchsrecht die vorliegend erforderliche und geeignete Massnahme, damit die Kinder in einem geschützten Rahmen wieder Vertrauen fassen, Ängste und Verhaltensauffälligkeiten abbauen und im Idealfall uninstrumentalisiert eine normale Beziehung zu ihrem Vater aufbauen können, so dass wieder ein normaler persönlicher Verkehr möglich wird. Es bleibt zu hoffen, dass der Vater auch bereit ist, die entsprechenden Schritte tun.
5. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Wie die vorstehenden Erwägungen zeigen, muss sie als von Anfang an aussichtslos betrachtet werden, weshalb es an den Voraussetzungen für die unentgeltliche Rechtspflege fehlt (<ref-law>). Die Gerichtskosten sind somit dem Vater aufzuerlegen (<ref-law>). Der Gegenseite ist kein entschädigungspflichtiger Aufwand entstanden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Zürich, II. Zivilkammer, und der Beiständin der Kinder schriftlich mitgeteilt.
Lausanne, 9. Juli 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Möckli