Sachverhalt: A. X._ und Y._ sind die nicht miteinander verheirateten Eltern der Zwillinge A._ und B._, geboren 2000, und von C._, geboren 2001. Die Kinder stehen unter der elterlichen Sorge der Mutter. Im Sommer 2008 trennten sich die Parteien. Nachdem die Eltern die Kinder abwechslungsweise betreut hatten, hob die Präsidentin der Sozialbehörde D._ am 15. Oktober 2008 auf Grund einer Gefährdungsmeldung des Vaters die elterliche Obhut der Mutter über die Kinder auf, ordnete deren Fremdbetreuung an und errichtete eine Beistandschaft im Sinne von Art. 308 Abs. 1 und 2 ZGB. Am 16. Dezember 2008 bestätigte die Sozialbehörde D._ diesen Entscheid, stellte jedoch mit Beschluss vom 15. September 2009 die drei Kinder wieder unter die Obhut der Mutter, unter Beibehaltung der Beistandschaft. Mit Beschluss vom 11. Januar 2011 genehmigte die Sozialbehörde den Rechenschaftsbericht der Beiständin und ordnete ein Gutachten an, welches geeignete Massnahmen zur Beruhigung und Stabilisierung des familiären Beziehungssystems aufzeigen sollte. Gleichzeitig wurde die Beiständin in ihrem Amt bestätigt. B. Mit Beschluss vom 1. Februar 2011 sistierte die Sozialbehörde D._ auf Antrag der Beiständin das Besuchsrecht des Vaters gegenüber allen drei Kindern für die Dauer der Begutachtung. Eine gegen diesen Beschluss erhobene Beschwerde des Vaters hiess der Bezirksrat E._ am 23. März 2011 gut; er hob die Sistierung des Besuchsrechts auf und wies die Sozialbehörde D._ an, nach Anhörung der Eltern sowie der drei Kinder den Umfang und die Modalitäten des Besuchsrechts zu regeln, unter Festsetzung eines vorläufigen Besuchsrechts bis zu diesem Entscheid. Eine dagegen erhobene Berufung der Mutter wies das Obergericht des Kantons Zürich mit Urteil vom 24. Juni 2011 ab. C. Nachdem der Kinder- und Jugendpsychiatrische Dienst des Kantons Zürich am 25. November 2011 das von der Sozialbehörde in Auftrag gegebene Gutachten und der Beistand am 19. April 2012 einen Zwischenbericht erstattet hatten, beschloss die Sozialbehörde D._ am 24. April 2012, dass die Beistandschaft aufrecht erhalten bleibe, unter Bestätigung des bisherigen Beistandes in seinem Amt; sodann beliess sie die Kinder in der Obhut der Mutter, unter Bestätigung des Besuchsrechts des Vaters. Gegen diesen Entscheid erhob der Vater Beschwerde beim Bezirksrat E._, weil er im Wesentlichen das Besuchsrecht genauer umschrieben haben wollte. Sodann beschwerte er sich beim Bezirksrat auch gegen den Beschluss der Sozialbehörde vom 21. August 2012, mit welchem diese seinen Antrag abgewiesen hatte, den Beistand durch eine andere Person zu ersetzen. Am 24. Oktober 2012 hiess der Bezirksrat E._ die Beschwerde teilweise gut und legte insbesondere ein Besuchsrecht an jedem zweiten Wochenende fest, wobei es die Modalitäten der Ausübung detailliert regelte. Auf Beschwerde von Y._ hin verweigerte das Obergericht des Kantons Zürich mit Urteil vom 26. August 2013 X._ jegliches Besuchsrecht. Ferner hob es die Beistandschaft auf und entliess den Beistand aus seinem Amt. D. Dagegen hat X._ am 27. September 2013 eine Beschwerde in Zivilsachen eingereicht mit dem Begehren, es sei ihm an jedem zweiten Wochenende pro Monat ein Besuchsrecht mit seinen drei Söhnen von Freitag, Schulschluss, bis Sonntag, 18 Uhr, sowie ein Ferienrecht von zwei Wochen pro Jahr einzuräumen. Mit Stempel vom 22. Mai 2014 verzichtete das Obergericht auf eine Vernehmlassung. Die Beschwerdegegnerin schloss in ihrer Vernehmlassung vom 26. Mai 2014 auf Abweisung der Beschwerde.