Sachverhalt: A. X._ erstellte in den Jahren 1978/1979 ein Mehrfamilienhaus an der Strasse Y._ in A._. Am 19. März 1979 begründete er für das Haus Stockwerkeigentum mit sechs Einheiten. Gleichzeitig erliess er ein Benutzungs- und Verwaltungsreglement. Auf die Fertigstellung des Hauses im Frühjahr 1979 hin verkaufte er die Stockwerkeinheiten Nrn. 1, 4 und 5 an die Herren W._, V._ und U._. In den Jahren 1988 und 1992 verkaufte er die Einheiten Nrn. 2 und 3 an T._ und S._. T._ übernahm ferner die Einheit Nr. 1 von ihrem Vater W._, und S._ kaufte später auch die Einheit Nr. 5 von U._. Zu den Einheiten Nrn. 1-5 gehört jeweils ein Waschküchenabteil im Hochparterre und ein Kellerabteil. Die Stockwerkeinheit Nr. 6 bestand gemäss Begründungsakt vom 19. März 1979 und dem Reglement aus 130/1000 Miteigentum am Grundstück mit Sonderrecht an der 2-Zimmer-Wohnung Nr. 6 im 3. Stock, an einem Waschküchenabteil und dem Estrich (Abstellraum) im 3. Stock sowie an einem Kellerabteil. X._ benutzte diese Stockwerkeinheit zunächst als Büro. Im Jahr 1986 gestaltete er den Estrich zu einem Wohnraum um und baute eine Nasszelle mit Dusche und WC ein; die Waschküche funktionierte er zu einer Küche um. Dabei durchbrach er die Mauern zwischen der 2-Zimmer-Wohnung und der Waschküche sowie zwischen der Waschküche und dem Estrich. Ferner brachte er im Treppenhausbereich eine zusätzliche Türe an und verschob die Ausziehleiter, die von einer Nische in bzw. neben der Waschküche unter das Dach führt, in Richtung Gangmitte. Schliesslich baute er zusätzlich zwei Dachflächenfenster im Estrich ein. Die Baukommission der Gemeinde A._ ordnete mit Beschluss vom 12. September/ 20. Dezember 1998, was die Nutzungsänderung und die Einrichtungen in der Waschküche betraf, die Rückführung in den ursprünglichen Zustand an und forderte X._ auf, für die übrigen Änderungen (Mauerdurchbrüche, Dachflächenfenster) ein Bewilligungsgesuch einzureichen. Nach einer Änderung der Ausnützungsziffern im Rahmen einer Revision des zürcherischen Planungs- und Baugesetzes (PBG/ZH) wurden die vom Kläger vorgenommenen Eingriffe durch die Baukommission mit Beschluss vom 17. November 1992 vollumfänglich bewilligt. An der ausserordentlichen Stockwerkeigentümerversammlung vom 14. April 1999 fassten die heutigen Eigentümer (T._, S._, V._ und X._) mit drei gegen die eine Stimme von X._ folgende Beschlüsse: - Ablehnung der Beanspruchung der durch die PBG-Revision entstandenen erhöhten Ausnutzungsmöglichkeiten im Dachgeschoss durch den Eigentümer des Sonderrechtsanteils Nr. 6 (Ziff. 3.1); - Ablehnung der Nutzungsänderung der Nebenräume Waschküche und Estrich im Sonderrechtsanteil Nr. 6 in Wohnräume (Ziff. 3.2); - Verpflichtung des Eigentümers des Sonderrechtsanteils Nr. 6, den ursprünglichen Zustand gemäss Begründungsakt und Reglement wiederherzustellen bezüglich der baulichen Eingriffe ins Gemeinschaftseigentum (Mauerdurchbrüche, Verschiebung Begrenzungsmauern, Einbau Dachflächenfenster) (Ziff. 3.3); - Verpflichtung des Eigentümers des Sonderrechtsanteils Nr. 6, im Dachstock den ursprünglichen Zustand gemäss Begründungsakt und Reglement wiederherzustellen bezüglich Abtrennung eines Teils des Treppenhauskorridors (Entfernung Holztüre) (Ziff. 3.4). B. Mit Klage vom 12. Mai 1999 verlangte X._ die Aufhebung der Beschlüsse vom 14. April 1999. Mit Widerklage vom 30. September 1999 verlangte die Stockwerkeigentümergemeinschaft, X._ sei zu befehlen, den ursprünglichen Zustand gemäss Begründungsakt und Reglement wiederherzustellen. Mit Urteil vom 27. Februar 2002 hiess das Bezirksgericht Horgen die Klage insoweit gut, als mit dem Beschluss die Nutzungsänderung der Nebenräume abgelehnt worden war, und es verpflichtete X._ zur Wiederherstellung des ursprünglichen Zustandes betreffend Mauerdurchbrüche, Verschiebung der Begrenzungsmauern, Dachflächenfenster und Holztüre. Das Obergericht des Kantons Zürich, II. Zivilkammer, wies die Klage in seinem Urteil vom 13. Januar 2004 vollständig ab und befahl X._ in Gutheissung der Widerklage, innert 90 Tagen ab Rechtskraft des Urteils folgende baulichen Massnahmen rückgängig zu machen: - Mauerdurchbrüche zwischen der 2-Zimmer-Wohnung und der Waschküche sowie zwischen der Waschküche und dem Estrich; - Verschieben der Begrenzungsmauer im Bereich Waschküche/Treppenhaus/Korridor; - Einbau der Nasszelle im Estrich; - Einbau der Dachfenster im Estrich; - Einbau der Holztüre im Treppenhauskorridor. C. Gegen den Entscheid des Obergerichts hat X._ Berufung erhoben mit den Begehren um Aufhebung des angefochtenen Urteils, um Gutheissung der Klage und um Abweisung der Widerklage, eventualiter um Anweisung der kantonalen Instanzen, ein Beweisverfahren durchzuführen und ein neues Urteil zu fällen. In ihrer Berufungsantwort vom 16. April 2004 hat die Stockwerkeigentümergemeinschaft auf Abweisung der Berufung geschlossen, soweit darauf einzutreten sei.