Sachverhalt: A. X._ und Z._ haben die beiden gemeinsamen Kinder S._, geb. xxxx 2000, und T._, geb. am xxxx 2002. Mit Scheidungsurteil vom 26. Mai 2006 wurden diese unter die elterliche Sorge der Mutter gestellt und dem Vater wurde ein Besuchsrecht an jedem zweiten Wochenende jeweils Samstag- und Sonntagvormittag und ein Ferienrecht von zwei Wochen pro Jahr eingeräumt. B. Mit Beschluss vom 23. April 2007 errichtete die Vormundschaftsbehörde A._ auf Ersuchen der Mutter eine Beistandschaft gemäss Art. 308 Abs. 1 und 2 ZGB. Die Beiständin erhielt im Wesentlichen den Auftrag, bei Besuchsrechtskonflikten zu vermitteln und Modalitäten festzulegen. Mit Schreiben vom 6. April 2009 beantragte die Beiständin bei der Vormundschaftsbehörde die Anordnung eines begleiteten Besuchsrechts. Nach Anhörung des Vaters und Befragung der Kinder durch eine Fachperson des Institutes V._ beschränkte die Vormundschaftsbehörde mit Beschluss vom 8. Juli 2009 das Besuchsrecht für die Zeit von sechs Monaten auf einen begleiteten Besuchstag pro Monat und sistierte für diese Zeit das Ferienrecht. Die hiergegen erhobene Beschwerde des Vaters wiesen der Bezirksrat Pfäffikon mit Beschluss vom 15. Dezember 2009 und das Obergericht des Kantons Zürich mit Beschluss vom 7. April 2010 ab. C. Gegen den Beschluss des Obergerichts hat der Vater am 13. Mai 2010 Beschwerde in Zivilsachen und subsidiäre Verfassungsbeschwerde erhoben mit den Begehren um Verzicht auf ein begleitetes Besuchsrecht und um sofortige Einräumung des Besuchs- und Ferienrechts gemäss Scheidungsurteil, eventualiter um begleiteten Verkehr im zeitlichen Rahmen des mit dem Scheidungsurteil festgesetzten Besuchs- und Ferienrechts, subeventualiter um Rückweisung der Sache an die Vorinstanz, ferner um unentgeltliche Rechtspflege. Es wurden keine Vernehmlassungen eingeholt.