Sachverhalt: A. X._ und Y._ sind die nicht miteinander verheirateten Eltern der Zwillinge A._ und B._, geboren 2000, und von C._, geboren 2001. Im Sommer 2008 trennten sich die Parteien. B. Nachdem die Eltern die Kinder abwechslungsweise betreut hatten, hob die Präsidentin der Sozialbehörde D._ am 15. Oktober 2008 auf Grund einer Gefährdungsmeldung des Vaters die elterliche Obhut der Mutter über die Kinder auf, ordnete deren Fremdbetreuung an und errichtete eine Beistandschaft im Sinne von Art. 308 Abs. 1 und 2 ZGB. Mit Beschluss vom 15. September 2009 stellte die Sozialbehörde die drei Kinder wieder unter die Obhut der Mutter, unter Beibehaltung der Beistandschaft. Mit Beschluss vom 11. Januar 2011 ordnete sie ein Gutachten an, welches geeignete Massnahmen zur Beruhigung und Stabilisierung des familiären Beziehungssystems aufzeigen sollte. Mit Beschluss vom 1. Februar 2011 sistierte sie auf Antrag der Beiständin das Besuchsrecht des Vaters gegenüber allen drei Kindern für die Dauer der Begutachtung. Eine gegen diesen Beschluss erhobene Beschwerde des Vaters hiess der Bezirksrat E._ am 23. März 2011 gut; er hob die Sistierung des Besuchsrechts auf und wies die Sozialbehörde D._ an, nach Anhörung der Eltern sowie der drei Kinder den Umfang und die Modalitäten des Besuchsrechts zu regeln, unter Festsetzung eines vorläufigen Besuchsrechts bis zu diesem Entscheid. Eine dagegen erhobene Berufung der Mutter wies das Obergericht des Kantons Zürich mit Urteil vom 24. Juni 2011 ab. Nachdem der KJPD Zürich am 25. November 2011 das Gutachten und der Beistand am 19. April 2012 einen Zwischenbericht erstattet hatten, beschloss die Sozialbehörde am 24. April 2012, dass die Beistandschaft aufrecht erhalten bleibe; sodann beliess sie die Kinder in der Obhut der Mutter, unter Bestätigung des Besuchsrechts des Vaters. Gegen diesen Entscheid erhob der Vater Beschwerde beim Bezirksrat E._, weil er im Wesentlichen das Besuchsrecht genauer umschrieben haben wollte. Am 24. Oktober 2012 hiess der Bezirksrat E._ die Beschwerde teilweise gut und legte insbesondere ein Besuchsrecht an jedem zweiten Wochenende fest, wobei es die Modalitäten der Ausübung detailliert regelte. C. Auf die von Y._ gegen den Entscheid des Bezirksrats hin erhobene Beschwerde verweigerte das Obergericht des Kantons Zürich mit Urteil vom 26. August 2013 X._ ein Besuchsrecht. Die hiergegen von X._ erhobene Beschwerde hiess das Bundesgericht am 17. Oktober 2014 dahingehend gut, dass es die Sache zur neuen Beurteilung an das Obergericht zurückwies (Verfahren 5A_719/2013). Das Obergericht hörte die drei Söhne in der Folge erneut an und bestellte ihnen eine Vertretung. Mit Urteil vom 29. Mai 2015 ging es von einer geänderten Sachlage aus und verweigerte dem Vater deshalb erneut das Besuchsrecht. D. Gegen diesen Entscheid hat X._ am 2. Juli 2015 wiederum eine Beschwerde in Zivilsachen eingereicht mit den Begehren um dessen Aufhebung und Gewährung eines Besuchsrechts von Freitag Schulschluss bis Sonntag, 18 Uhr, an jedem zweiten Wochenende sowie eines Ferienrechts von zwei Wochen pro Jahr; eventualiter verlangt er die Rückweisung der Sache zur Neubeurteilung. Es wurden keine Vernehmlassungen, aber die kantonalen Akten eingeholt.