Sachverhalt: A. D._ und E._ (Beklagte) wohnen seit dem Juni 2002 als Mieter in dem ihnen von A.C._ und B.C._ (Kläger) vermieteten 8-Zimmer-Einfamilienhaus in X._. Der Mietzins beträgt Fr. 2'500.-- pro Monat. Die Kläger kündigten das Mietverhältnis mit amtlichem Formular vom 28. August 2002 ausserordentlich auf den 30. November 2002 unter Berufung auf wichtige Gründe im Sinne von Art. 266g Abs. 1 OR. Mit Eingabe vom 11. September 2002 beantragten die Beklagten hierauf der Schlichtungsbehörde die Feststellung der Unwirksamkeit der Kündigung, eventuell deren Ungültigerklärung. Mit amtlichem Formular vom 5. November 2002 kündigten die Kläger das Mietverhältnis ordentlich auf den 31. März 2003. Auch diese Kündigung fochten die Beklagten bei der Schlichtungsbehörde an. Diese stellte mit Beschluss vom 16. Dezember 2002 die Ungültigkeit der beiden Kündigungen fest, weil die Voraussetzungen von Art. 266g Abs. 1 OR nicht erfüllt seien. Das hierauf von den Klägern angerufene Mietgericht des Bezirks Meilen schrieb in seinem Urteil vom 21. November 2003 das Verfahren betreffend die beantragte Feststellung der Gültigkeit der ausserordentlichen Kündigung vom 28. August 2002 und betreffend Feststellung der einseitigen Unverbindlichkeit des Mietvertrages als durch Rückzug erledigt ab. Sodann stellte es die Gültigkeit der ordentlichen Kündigung vom 5. November 2002 fest und erstreckte das Mietverhältnis bis 30. September 2004. Das Mietgericht kam zum Schluss, dass das von den Beklagten eingeleitete Schlichtungsverfahren an sich geeignet sei, eine Sperrfrist im Sinne von Art. 271a Abs. 1 lit. d OR auszulösen. Es hielt die Kündigung vom 5. November 2002 aber dennoch für gültig, weil es die Berufung der Beklagten auf die Sperrfrist als rechtsmissbräuchlich betrachtete. B. Die Beklagten zogen das Urteil des Bezirksgerichts an das Obergericht des Kantons Zürich weiter, das mit Beschluss vom 10. Mai 2004 in Gutheissung der Berufung die Ungültigkeit der ordentlichen Kündigung vom 5. November 2002 auf den 31. März 2003 feststellte. Das Obergericht teilte die Ansicht des Bezirksgerichts, wonach das Schlichtungsverfahren eine Sperrfrist ausgelöst habe, hielt jedoch im Gegensatz zum Bezirksgericht die Berufung der Beklagten auf diese Sperrfrist nicht für rechtsmissbräuchlich im Sinne von Art. 2 Abs. 2 ZGB. C. Die Kläger führen eidgenössische Berufung mit dem Antrag, die ordentliche Kündigung der Kläger vom 5. November 2002 auf den 31. März 2003 als gültig zu erklären und das Mietverhältnis endgültig bis zum 30. September 2004 zu erstrecken. Die Beklagten schliessen auf Abweisung der Berufung, soweit darauf einzutreten sei.