Sachverhalt: A. Der Verein A._ bezweckt die Bereitstellung und Verwaltung preiswerten Wohnraumes für Sehbehinderte. Zur Erfüllung dieses Zwecks führt er an der G._strasse xx eine in seinem Eigentum stehende Liegenschaft mit 13 Zimmern. Mitglieder des Vereins können natürliche und juristische Personen sein. Die Aufnahme und der Ausschluss von Mitgliedern erfolgt durch den Vorstand. Die Vorstandsmitglieder werden durch die Vereinsversammlung (in den Statuten bezeichnet als Generalversammlung) für eine Amtsdauer von drei Jahren gewählt. Die Beschwerdegegner sind Mitglieder des Vereins. In einem früheren Verfahren hatten sie - ihnen wurde im Zusammenhang mit kritischen Berichten im Beobachter zum finanziellen Gebaren des Vereinspräsidenten und des Geschäftsführers seitens des Vereins bzw. der betroffenen Personen ein rufschädigendes Verhalten vorgeworfen - die Aufhebung ihres Ausschlusses aus dem Verein gemäss Beschluss der Generalversammlung vom 28. März 2008 erwirkt. Anlässlich der Vorstandssitzung vom 15. Januar 2010 wurden sie mit Mehrheitsentscheid erneut aus dem Verein ausgeschlossen. An der darauf folgenden Generalversammlung vom 26. März 2010 sollten sie nochmals angehört werden und die Versammlung sollte über die angefochtenen Ausschlüsse befinden. Die betreffende Versammlung wurde abgebrochen und es wurde zu deren Weiterführung auf den 29. Mai 2010 eingeladen. Die Einladung zur Generalversammlung vom 26. März 2010 erfolgte am 27. Februar 2010. Sie war nicht unterzeichnet, sondern lediglich mit dem Vermerk "Mit freundlichen Grüssen, Verein A._" versehen. Die Einladung ging vom Präsidenten des Vereins aus. Die Versammlung wurde wie erwähnt nicht vollständig durchgeführt, sondern unter dem Traktandum "Anhörung der Rekurrenten" (d.h. der ausgeschlossenen Mitglieder) durch den Präsidenten abgebrochen. Dabei erwähnte er als mögliche Daten für die Fortsetzung den 23. oder 24. April bzw. den 7. oder 8. Mai 2010. Schliesslich lud er am 5. Mai 2010 zur Weiterführung der Generalversammlung auf den 29. Mai 2010 ein, dies erneut mit dem Vermerk "Mit freundlichen Grüssen: Verein A._". B. Am 16. Mai 2010 gelangten die heutigen Beschwerdegegner an das Friedensrichteramt der Stadt H._. Nach Durchführung der Sühneverhandlung am 17. August 2010 reichten sie am 9. November 2010 beim Bezirksgericht H._ eine Klage ein mit den Feststellungsbegehren, dass die Generalversammlung vom 29. Mai 2010 nicht statutengemäss einberufen worden und sämtliche Beschlüsse nichtig seien, sowie mit dem Anfechtungsbegehren, dass die Vereinsausschlüsse ungültig seien. Mit Urteilen vom 23. März 2012 bzw. 20. Februar 2013 stellten das Bezirksgericht H._ und sodann das Obergericht des Kantons Zürich fest, dass die Beschlüsse der Generalversammlung des Vereins A._ vom 29. Mai 2010 nichtig seien. C. Gegen das obergerichtliche Urteil hat der Verein A._ am 18. März 2013 eine Beschwerde eingereicht mit den Begehren um dessen Aufhebung und Abweisung der Klage. Mit Präsidialverfügung vom 22. April 2013 wurde festgestellt, dass der Beschwerde die aufschiebende Wirkung nicht von Gesetzes wegen zukommt, weil es sich nicht um eine Gestaltungs-, sondern um eine negative Feststellungsklage handelt. Mit Vernehmlassung vom 22. Mai 2013 schlossen die Beschwerdegegner auf Abweisung der Beschwerde. Das Obergericht verzichtete auf eine Vernehmlassung.