Sachverhalt: A. Mit schriftlichem Vertrag vom 4./7. März 1997 vermietete A._ (Beschwerdeführer) B. und C. X._ (Beschwerdegegner) per 1. April 1997 eine 4-Zimmerwohnung mit Keller- und Estrichabteil in der Liegenschaft Y._strasse in Z._. Mit amtlichen Formularen vom 5. Juni 2007 kündigte der Beschwerdeführer den Mietvertrag fristgerecht auf den 30. September 2007 mit der Begründung "umfassende Renovation der Wohnung". B. Die von den Beschwerdegegnern am 3. Juli 2007 angerufene zuständige paritätische Schlichtungsbehörde in Mietsachen erklärte die Kündigung am 23. Oktober 2007 für ungültig. Das hierauf mit der Sache befasste Mietgericht des Bezirks Zürich erachtete jedoch die Kündigung vom 5. Juni 2007 mit Urteil vom 18. Februar 2009 für gültig und erstreckte das Mietverhältnis definitiv um drei Jahre bis zum 30. September 2010. Auf Berufung der Beschwerdegegner stellte indessen die II. Zivilkammer des Obergerichts des Kantons Zürich am 13. August 2009 fest, dass die Kündigung des Mietverhältnisses per 30. September 2007 ungültig sei. Gegen diesen Beschluss hat der Beschwerdeführer kantonale Nichtigkeitsbeschwerde erhoben, welche das Kassationsgericht des Kantons Zürich mit Zirkulationsbeschluss vom 13. August 2010 abwies, soweit es darauf eintrat. C. Der Beschwerdeführer beantragt dem Bundesgericht mit Beschwerde in Zivilsachen, es sei der Beschluss des Obergerichts des Kantons Zürich, II. Zivilkammer, vom 13. August 2009 vollumfänglich aufzuheben, und es sei die Gültigkeit der Kündigung vom 5. Juni 2007 auf den 30. September 2007 zu erkennen. Dementsprechend sei der Entscheid des Mietgerichts Zürich vom 18. Februar 2009 zu bestätigen. Die Beschwerdegegner schliessen auf vollumfängliche Abweisung der Beschwerde, eventuell auf Rückweisung der Sache zur Neubeurteilung an die Vorinstanz. Subeventuell sei den Beschwerdegegnern eine Auszugsfrist von einem Jahr ab Zustellung des bundesgerichtlichen Entscheids einzuräumen. Die Vorinstanz hat auf Vernehmlassung verzichtet.