Sachverhalt: A. A. und B. X._ (Beschwerdeführer) sind Eigentümer des Bauernhofes Y._ in Z._. Im Jahr 2007 schrieben sie ihren Hof zur Pacht aus. Auf das Inserat meldeten sich C._ und D._ (Beschwerdegegner). Die Beschwerdeführer sahen mit den Beschwerdegegnern die Nachfolge auf ihrem Bauerngut gesichert und schlossen mit ihnen am 27. März 2008 einen Pachtvertrag mit Pachtantritt am 1. Mai 2008 und Pachtende am 1. Mai 2023 ab. Bezüglich der Übernahme des Wohnhauses des Bauernguts vereinbarten die Parteien mündlich, dass der Anspruch der Beschwerdegegner auf dessen Nutzung aufgeschoben sein soll, bis die Beschwerdeführer, welche nach wie vor darin wohnen, das noch zu errichtende Stöckli beziehen können und das Wohnhaus renoviert ist. Bereits kurz nach Pachtantritt kam es zwischen den Parteien zu Unstimmigkeiten. Nach erfolglosen Vermittlungsbemühungen durch Vertreter des Zürcher Bauernverbandes kündigten die Beschwerdeführer den Pachtvertrag am 30. Oktober 2008 unter Einhaltung der gesetzlichen Frist von sechs Monaten gestützt auf Art. 17 des Bundesgesetzes über die landwirtschaftliche Pacht (LPG; SR 221.213.2) vorzeitig auf den 1. Mai 2009. Am 8. Dezember 2008 wurde den Beschwerdeführern die Bewilligung für den Bau des Stöcklis erteilt. Ende des Jahres 2008 bzw. zu Beginn des Jahres 2009 orientierten die Beschwerdegegner die Verantwortlichen der kantonalen Bewilligungsbehörde wahrheitsgetreu über die am 30. Oktober 2008 erfolgte Kündigung des Pachtvertrags. In der Folge sistierte die Bewilligungsbehörde die erteilte Baubewilligung für das Stöckli. B. B.a Im August 2009 reichten die Beschwerdeführer beim Mietgericht des Bezirkes Horgen Klage ein, mit der sie unter anderem beantragten, es seien die Beschwerdegegner zu verurteilen, den Hof zu verlassen. Mit Schreiben vom 27. Januar 2010 kündigten die Beschwerdeführer das Pachtverhältnis wegen Vorfällen, die angeblich nach der Kündigung vom 30. Oktober 2008 passiert seien, noch einmal per 30. November 2010 und stellten beim Mietgericht den Eventualantrag, es sei festzustellen, dass der Pachtvertrag per 30. November 2010 gekündigt worden sei. Die Beschwerdegegner beantragten die Abweisung der Klage und verlangten widerklageweise, es seien die Beschwerdeführer zu verurteilen, innert einer gerichtlich festzusetzenden Frist das Wohnhaus des gepachteten Bauernhofes zu verlassen. Mit Urteil vom 23. September 2010 wies das Mietgericht die Klage ab, erklärte die ausgesprochenen Kündigungen für ungültig bzw. nichtig und verurteilte die Beschwerdeführer in Gutheissung der Widerklage dazu, das den Beschwerdegegnern verpachtete Wohnhaus bis spätestens 31. Mai 2011 unter Mitnahme von Hausrat und Mobiliar ordentlich zu räumen und zu verlassen. B.b Mitte Oktober 2010 errichteten die Beschwerdegegner auf dem Pachtgelände einen Wohncontainer. Gestützt auf diese Begebenheit sprachen die Beschwerdeführer eine weitere Kündigung per 30. Oktober 2011 aus. B.c Gegen die Gutheissung der Widerklage durch das Mietgericht legten die Beschwerdeführer am 26. November 2010 beim Obergericht des Kantons Zürich Berufung ein. Mit Beschluss vom 3. März 2011 stellte das Obergericht fest, dass das angefochtene Urteil bezüglich der Ungültig- bzw. Nichtigerklärung der seitens der Beschwerdeführer ausgesprochenen Kündigungen in Rechtskraft erwachsen ist, wies die Berufung ab und bestätigte das Urteil des Mietgerichts vom 23. September 2010. Die Vorinstanz schützte die Auffassung des Mietgerichts, wonach zwischen den Parteien ein gültiger Pachtvertrag besteht, welcher den Beschwerdegegnern einen Anspruch auf Nutzung des Bauernhauses gibt. Dieser sei gemäss einer mündlichen Abmachung zwar aufgeschoben, bis die Beschwerdeführer, welche nach wie vor im Bauernhaus wohnen, das noch zu errichtende Stöckli beziehen können und das Wohnhaus renoviert ist. Vorliegend hätten sich die Beschwerdeführer jedoch selbst zuzuschreiben, dass der Bau des Stöcklis nicht stattfinden könne. Denn gemäss Art. 34 Abs. 4 lit. c der Raumplanungsverordnung (RPV; SR 700.1) dürfe in der Landwirtschaftszone die Baubewilligung für den Wohnbedarf der abtretenden Generation nur erteilt werden, wenn die Betriebsnachfolge sichergestellt sei. Mit der grundlosen Kündigung des Pachtvertrags hätten die Beschwerdeführer die Betriebsnachfolge in Frage gestellt und damit die Sistierung der Baubewilligung verursacht. Auf das Fehlen des Stöcklis könnten sich die Beschwerdeführer daher nicht mehr berufen und die Beschwerdegegner hätten nunmehr Anspruch auf ordnungsgemässe Erfüllung des Pachtvertrags. Den Antritt der Nutzung des Wohnhauses hätten die Parteien zwar nicht explizit geregelt, den eigenen Angaben beider Parteien zufolge seien diese beim Vertragsabschluss im März 2008 jedoch von einem zügigen Bau des Stöcklis und damit auch von einem mittelfristigen Bezug des Wohnhauses durch die Beschwerdegegner ausgegangen. Diese Auffassung lasse sich gemäss der Vorinstanz auch mühelos mit den Interessen der Parteien und dem Vertragszweck in Einklang bringen. Den Auszug der Beschwerdeführer aus dem Wohnhaus auf spätestens Ende Mai 2011 und damit drei Jahre nach Pachtbeginn anzusetzen, sei nicht zu beanstanden. C. Mit Beschwerde in Zivilsachen vom 5. April 2011 fechten die Beschwerdeführer den Beschluss des Obergerichts beim Bundesgericht an und beantragen, es sei die Widerklage der Beschwerdegegner abzuweisen. Zudem sei der Beschwerde die aufschiebende Wirkung zu erteilen. Die Beschwerdegegner schliessen auf Abweisung der Beschwerde und stellen für das bundesgerichtliche Verfahren ein Gesuch um unentgeltliche Prozessführung sowie -verbeiständung. Die Vorinstanz hat auf eine Vernehmlassung verzichtet. Mit Verfügung vom 16. Mai 2011 wurde der Beschwerde die aufschiebende Wirkung erteilt.