Sachverhalt:
A. D._ und E._ (Beklagte) wohnen seit dem Juni 2002 als Mieter in dem ihnen von A.C._ und B.C._ (Kläger) vermieteten 8-Zimmer-Einfamilienhaus in X._. Der Mietzins beträgt Fr. 2'500.-- pro Monat. Die Kläger kündigten das Mietverhältnis mit amtlichem Formular vom 28. August 2002 ausserordentlich auf den 30. November 2002 unter Berufung auf wichtige Gründe im Sinne von <ref-law>. Mit Eingabe vom 11. September 2002 beantragten die Beklagten hierauf der Schlichtungsbehörde die Feststellung der Unwirksamkeit der Kündigung, eventuell deren Ungültigerklärung.
Mit amtlichem Formular vom 5. November 2002 kündigten die Kläger das Mietverhältnis ordentlich auf den 31. März 2003. Auch diese Kündigung fochten die Beklagten bei der Schlichtungsbehörde an. Diese stellte mit Beschluss vom 16. Dezember 2002 die Ungültigkeit der beiden Kündigungen fest, weil die Voraussetzungen von <ref-law> nicht erfüllt seien. Das hierauf von den Klägern angerufene Mietgericht des Bezirks Meilen schrieb in seinem Urteil vom 21. November 2003 das Verfahren betreffend die beantragte Feststellung der Gültigkeit der ausserordentlichen Kündigung vom 28. August 2002 und betreffend Feststellung der einseitigen Unverbindlichkeit des Mietvertrages als durch Rückzug erledigt ab. Sodann stellte es die Gültigkeit der ordentlichen Kündigung vom 5. November 2002 fest und erstreckte das Mietverhältnis bis 30. September 2004. Das Mietgericht kam zum Schluss, dass das von den Beklagten eingeleitete Schlichtungsverfahren an sich geeignet sei, eine Sperrfrist im Sinne von <ref-law> auszulösen. Es hielt die Kündigung vom 5. November 2002 aber dennoch für gültig, weil es die Berufung der Beklagten auf die Sperrfrist als rechtsmissbräuchlich betrachtete.
B. Die Beklagten zogen das Urteil des Bezirksgerichts an das Obergericht des Kantons Zürich weiter, das mit Beschluss vom 10. Mai 2004 in Gutheissung der Berufung die Ungültigkeit der ordentlichen Kündigung vom 5. November 2002 auf den 31. März 2003 feststellte. Das Obergericht teilte die Ansicht des Bezirksgerichts, wonach das Schlichtungsverfahren eine Sperrfrist ausgelöst habe, hielt jedoch im Gegensatz zum Bezirksgericht die Berufung der Beklagten auf diese Sperrfrist nicht für rechtsmissbräuchlich im Sinne von <ref-law>.
C. Die Kläger führen eidgenössische Berufung mit dem Antrag, die ordentliche Kündigung der Kläger vom 5. November 2002 auf den 31. März 2003 als gültig zu erklären und das Mietverhältnis endgültig bis zum 30. September 2004 zu erstrecken.
Die Beklagten schliessen auf Abweisung der Berufung, soweit darauf einzutreten sei.

Das Bundesgericht zieht in Erwägung:
1. Die Kläger kritisieren mit der Berufung die Auslegung von <ref-law> durch die Vorinstanz. Sie bringen vor, die Vorinstanz habe sich ausschliesslich auf den Gesetzeswortlaut abgestützt und sei auf diese Weise zu einem sinn- und zweckwidrigen, vom Gesetzgeber offensichtlich nicht gewollten Ergebnis gelangt. Sie schildern die Entstehungsgeschichte der Norm und legen dar, dass diese ursprünglich als "Flankenschutz des Mieters vor einer unfairen und zweckfremden Kündigung in einem Verfahren betreffend Mietzinsanfechtung" gedacht gewesen sei, weshalb Art. 24 BMM (BB vom 30. Juni 1972 über Massnahmen gegen Missbräuche im Mietwesen; AS 1972 II 1502), die Vorläuferbestimmung des <ref-law>, die Nichtigkeit der Vermieterkündigung während der Dauer des Schlichtungs- und des gerichtlichen Verfahrens vorgesehen habe. Auch wenn in <ref-law> nur noch davon die Rede sei, unter bestimmten Voraussetzungen sei eine Kündigung anfechtbar, sei damit lediglich die missbräuchliche Kündigung gemeint und keine Ausdehnung der Vermieterkündigung auf nicht missbräuchliche Vermieterkündigungen beabsichtigt gewesen, wie denn auch sämtliche anfechtbaren Vermieterkündigungen nach Art. 271 und 271a OR vom Gesetzgeber als missbräuchlich identifiziert seien. Der Wortlaut von <ref-law> ("mit dem Mietverhältnis zusammenhängend") sei somit nicht derart eindeutig, dass er nicht historischer, geltungszeitlicher und teleologischer Auslegung bedürfte, was die Vorinstanz verkannt habe.
2. Das Gesetz muss in erster Linie aus sich selbst heraus, das heisst nach dem Wortlaut, Sinn und Zweck und den ihm zugrunde liegenden Wertungen auf der Basis einer teleologischen Verständnismethode ausgelegt werden. Die Gesetzesauslegung hat sich vom Gedanken leiten zu lassen, dass nicht schon der Wortlaut die Norm darstellt, sondern erst das an Sachverhalten verstandene und konkretisierte Gesetz. Gefordert ist die sachlich richtige Entscheidung im normativen Gefüge, ausgerichtet auf ein befriedigendes Ergebnis der ratio legis. Dabei befolgt das Bundesgericht einen pragmatischen Methodenpluralismus und lehnt es namentlich ab, die einzelnen Auslegungselemente einer hierarchischen Prioritätsordnung zu unterstellen (<ref-ruling> E. 3b S. 40 f.). Es können auch die Gesetzesmaterialien beigezogen werden, wenn sie auf die streitige Frage eine klare Antwort geben und dem Richter damit weiterhelfen (<ref-ruling> E. 3a S. 405).
3. 3.1 Nach <ref-law> ist eine durch den Vermieter ausgesprochene Kündigung anfechtbar, wenn sie während eines mit dem Mietverhältnis zusammenhängenden Schlichtungs- oder Gerichtsverfahrens ausgesprochen wird. Nach der Rechtsprechung des Bundesgerichts und der Lehre gilt dieser Anfechtungsgrund für alle Schlichtungs- und Gerichtsverfahren, selbst Schiedsgerichtsverfahren, sofern sie mit der Mietsache zusammenhängen (Urteil 4C.39/1995 vom 28. Dezember 1995, E. 4b mit Hinweisen; SVIT-Kommentar Mietrecht, 2. Aufl., Zürich 1998, N. 29 zu <ref-law>; Higi, Zürcher Kommentar, N. 236-245 zu <ref-law>). Ausgenommen sind bloss die in <ref-law> ausdrücklich genannten Streitigkeiten. Dass die wegen des zeitlichen Kündigungsschutzes als missbräuchlich vermutete Kündigung auch tatsächlich missbräuchlich zu sein hat, lässt sich dem Wortlaut nicht entnehmen. Wenn die Vorinstanz diesen insoweit als klar erachtete, ist ihr ohne Weiteres beizupflichten.
3.2 Sinn und Zweck von <ref-law> liegen darin, zu verhindern, dass die Vermieterschaft ein ihr missliebiges Gerichtsverfahren durch Kündigung des Mietverhältnisses beendigen kann (SVIT-Kommentar, N. 27 f. zu <ref-law>; Higi, a.a.O., N. 232 zu <ref-law>; Peter Zihlmann, Das Mietrecht, 2. Aufl., Zürich 1995, S. 215). Der Kündigungsschutz reicht über jenen vor offensichtlichem Rechtsmissbrauch, selbst über die umfassende Wahrung des Prinzips von Treu und Glauben, hinaus. Das Gesetz ist weit eher von positiven Loyalitätskriterien und vom Sozialschutzgedanken getragen denn vom negativ geprägten Missbrauchsbegriff, was sich nicht nur bei den Sperrfristen gemäss Art. 271a Abs. 1 lit. d und e sowie <ref-law>, sondern auch beim Familienschutz gemäss <ref-law> manifestiert (Roger Weber, Basler Kommentar, 3. Auflage, N. 1 zu Art. 271/271a OR). Diesem Schutzgedanken liefe die von den Klägern befürwortete Einschränkung der gesetzlichen Kündigungssperre zuwider.
3.3 Wie sich aus den Materialien ergibt, übernimmt die in <ref-law> verankerte Bestimmung die Funktion des Art. 24 BMM, dehnt aber den Kündigungsschutz auf alle Verfahren aus, die mit dem Mietverhältnis zusammenhängen. Sie erfasst nicht mehr nur solche, die den Mietzins zum Gegenstand haben (Botschaft des Bundesrats zur Revision des Miet- und Pachtrechts vom 27. März 1985, BBl 1985 I 1389 ff., 1460). Es ist denn auch bei vielfältigen Auseinandersetzungen, nicht nur bei solchen um den Mietzins, denkbar, dass wegen eines missliebigen Gerichtsverfahrens gekündigt wird. Damit <ref-law> seine Zweckbestimmung erfüllen kann, darf sein Anwendungsbereich nicht eng gefasst werden. Den Interessen des Vermieters trägt dabei <ref-law> Rechnung. <ref-law> schliesst zudem die Berufung auf diese Bestimmung aus, wenn der Mieter in missbräuchlicher Absicht handelt. Eine darüber hinaus reichende Einschränkung des Anwendungsbereichs ergibt sich aus der Entstehungsgeschichte nicht.
3.4 Dieses Ergebnis wird durch die Systematik des Gesetzes untermauert. Der Gesetzgeber listet in Art. 271a Abs. 1 und 2 OR jene Fälle auf, in denen die Missbräuchlichkeit der Kündigung zu vermuten ist. Alsdann zählt er in <ref-law> jene Fälle abschliessend auf, bei deren Vorliegen die gesetzlichen Vermutungen des zeitlichen Kündigungsschutzes widerlegt werden (Lachat, Commentaire Romand, N. 1 zu <ref-law>; Higi, a.a.O., N. 184 zu <ref-law>). Ob dabei statt von Gründen für eine Widerlegung der gesetzlichen Vermutung gestützt auf den Gesetzeswortlaut ("nicht anwendbar") von Ausnahmen gesprochen wird, die den zeitlichen Kündigungsschutz einschränken, ist in diesem Zusammenhang nicht von Belang (vgl. die diesbezügliche Kritik bei Higi, a.a.O., N. 183 zu <ref-law>). Wesentlich ist, dass das Gesetz abschliessend aufzählt, unter welchen Bedingungen die Folgen der nach Art. 271a Abs. 1 lit. d oder e OR vermutungsweise missbräuchlichen Vermieterkündigung nicht einzutreten haben. Es sind dies dringender Eigenbedarf des Vermieters (lit. a), Zahlungsrückstand des Mieters (lit. b), schwere Verletzung der Pflicht des Mieters zu Sorgfalt und Rücksichtnahme (lit. c), Veräusserung der Sache (lit. d), wichtige Gründe (lit. e) oder Konkurs des Mieters (lit. f). Damit ist den berechtigten Interessen der Vermieterschaft hinreichend Rechnung getragen. Für eine weitere Beschränkung des zeitlichen Kündigungsschutzes entgegen dem Gesetzeswortlaut bleibt kein Raum. Dass eine wortgetreue Auslegung des Gesetzes zu einem stossenden Ergebnis führen würde und deshalb eine unechte Gesetzeslücke vorliegt, wie sie die Kläger festgestellt haben wollen, trifft nicht zu (vgl. dazu Dürr, Zürcher Kommentar, N. 95 zu <ref-law>).
3.5 Aus den dargelegten Gründen legt weder eine historische noch eine teleologische oder systematische Auslegung der anwendbaren Norm nahe, dass zu prüfen wäre, ob sich eine bei hängigem Verfahren betreffend das Mietverhältnis vermieterseitig ausgesprochene Kündigung im Einzelfall tatsächlich als missbräuchlich erweist.
3.6 An diesem Ergebnis vermag der Hinweis der Kläger, die zweite Kündigung stelle einen Teilrückzug der ersten dar, nichts zu ändern. Die ursprüngliche Kündigung als Gestaltungsrecht hat entweder unmittelbar zur Auflösung des Mietvertrages geführt oder sie blieb wirkungslos. Die zweite Kündigung strebt eine neue, anders geartete Gestaltung der Rechtslage an, nämlich die Beendigung des Mietvertrages auf ein späteres Datum. Ihre Zulässigkeit ist nach den im Zeitpunkt ihrer Vornahme herrschenden Umständen zu prüfen. Stehen ihr rechtliche Hindernisse - etwa ein Verbot wegen eines hängigen Verfahrens über die Gültigkeit der ersten Kündigung - entgegen, ist dem nicht durch Umdeutung in einen "Teilrückzug" beizukommen. Damit würde genau das erreicht, wovor der Gesetzgeber die Mieterschaft mit dem zeitlichen Kündigungsverbot bewahren wollte, nämlich die Beendigung des Vertragsverhältnisses bzw. des Verfahrens betreffend die Anfechtung der (ersten) Kündigung (SVIT-Kommentar, N. 27 zu <ref-law>). Schon aus diesem Grunde kann dem klägerischen Konzept eines Teilrückzuges der Kündigung kein Erfolg beschieden sein, abgesehen davon, dass es sich mit der Rechtsnatur der Kündigung als Gestaltungsrecht wie dargelegt nicht vereinbaren liesse. Die Vorinstanz ist daher zu Recht der in der Lehre vertretenen Gegenmeinung nicht gefolgt (vgl. dazu SVIT-Kommentar, N. 31 zu <ref-law> mit Hinweis; Zihlmann, a.a.O., S. 220 N. 5.7).
3.7 Die Kläger betonen auch im Berufungsverfahren vor Bundesgericht, dass sie die ordentliche Kündigung, deren Gültigkeit sie beanspruchen, aus den gleichen Gründen wie die erste (ausserordentliche) ausgesprochen haben. Sie berufen sich somit auf keinen der in <ref-law> aufgeführten Gründe, mit denen sie die Missbrauchsvermutung zu Fall bringen könnten. Damit hat es insoweit bei der Ungültigkeit der (ordentlichen) Kündigung sein Bewenden.
4. Für den Fall der Annahme einer Kündigungssperre rügen die Kläger als Verletzung von <ref-law>, dass die Vorinstanz einen Rechtsmissbrauch der Beklagten bei der Anrufung von <ref-law> verneint hat. Was sie zur Begründung vortragen, beschränkt sich indessen auf die Darlegung ihrer Auffassung, wonach dem Vermieter ungeachtet des zeitlichen Kündigungsschutzes gestattet sein muss, während laufendem Verfahren eine neue ordentliche Kündigung auszusprechen. Weshalb die Anrufung von <ref-law> treuwidrig sein soll, zeigen die Kläger nicht auf und ist nicht ersichtlich. Der Berufung ist auch insoweit kein Erfolg beschieden.
5. Aus den dargelegten Gründen erweist sich die Berufung als unbegründet. Dem Verfahrensausgang entsprechend ist die Gerichtsgebühr den Klägern aufzuerlegen (Art. 156 Abs. 1 OG), die zudem die Beklagten für das bundesgerichtliche Verfahren zu entschädigen haben (Art. 159 Abs. 1 und 2 OG).

Demnach erkennt das Bundesgericht:
1. Die Berufung wird abgewiesen.
2. Die Gerichtsgebühr von Fr. 3'000.-- wird den Klägern unter solidarischer Haftbarkeit auferlegt.
3. Die Kläger haben die Beklagten unter solidarischer Haftbarkeit für das bundesgerichtliche Verfahren mit insgesamt Fr. 3'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 14. September 2004
Im Namen der I. Zivilabteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: