Sachverhalt:
A. A. und B. X._ (Beschwerdeführer) sind Eigentümer des Bauernhofes Y._ in Z._. Im Jahr 2007 schrieben sie ihren Hof zur Pacht aus. Auf das Inserat meldeten sich C._ und D._ (Beschwerdegegner). Die Beschwerdeführer sahen mit den Beschwerdegegnern die Nachfolge auf ihrem Bauerngut gesichert und schlossen mit ihnen am 27. März 2008 einen Pachtvertrag mit Pachtantritt am 1. Mai 2008 und Pachtende am 1. Mai 2023 ab. Bezüglich der Übernahme des Wohnhauses des Bauernguts vereinbarten die Parteien mündlich, dass der Anspruch der Beschwerdegegner auf dessen Nutzung aufgeschoben sein soll, bis die Beschwerdeführer, welche nach wie vor darin wohnen, das noch zu errichtende Stöckli beziehen können und das Wohnhaus renoviert ist.
Bereits kurz nach Pachtantritt kam es zwischen den Parteien zu Unstimmigkeiten. Nach erfolglosen Vermittlungsbemühungen durch Vertreter des Zürcher Bauernverbandes kündigten die Beschwerdeführer den Pachtvertrag am 30. Oktober 2008 unter Einhaltung der gesetzlichen Frist von sechs Monaten gestützt auf Art. 17 des Bundesgesetzes über die landwirtschaftliche Pacht (LPG; SR 221.213.2) vorzeitig auf den 1. Mai 2009.
Am 8. Dezember 2008 wurde den Beschwerdeführern die Bewilligung für den Bau des Stöcklis erteilt. Ende des Jahres 2008 bzw. zu Beginn des Jahres 2009 orientierten die Beschwerdegegner die Verantwortlichen der kantonalen Bewilligungsbehörde wahrheitsgetreu über die am 30. Oktober 2008 erfolgte Kündigung des Pachtvertrags. In der Folge sistierte die Bewilligungsbehörde die erteilte Baubewilligung für das Stöckli.
B. B.a Im August 2009 reichten die Beschwerdeführer beim Mietgericht des Bezirkes Horgen Klage ein, mit der sie unter anderem beantragten, es seien die Beschwerdegegner zu verurteilen, den Hof zu verlassen.
Mit Schreiben vom 27. Januar 2010 kündigten die Beschwerdeführer das Pachtverhältnis wegen Vorfällen, die angeblich nach der Kündigung vom 30. Oktober 2008 passiert seien, noch einmal per 30. November 2010 und stellten beim Mietgericht den Eventualantrag, es sei festzustellen, dass der Pachtvertrag per 30. November 2010 gekündigt worden sei.
Die Beschwerdegegner beantragten die Abweisung der Klage und verlangten widerklageweise, es seien die Beschwerdeführer zu verurteilen, innert einer gerichtlich festzusetzenden Frist das Wohnhaus des gepachteten Bauernhofes zu verlassen.
Mit Urteil vom 23. September 2010 wies das Mietgericht die Klage ab, erklärte die ausgesprochenen Kündigungen für ungültig bzw. nichtig und verurteilte die Beschwerdeführer in Gutheissung der Widerklage dazu, das den Beschwerdegegnern verpachtete Wohnhaus bis spätestens 31. Mai 2011 unter Mitnahme von Hausrat und Mobiliar ordentlich zu räumen und zu verlassen.
B.b Mitte Oktober 2010 errichteten die Beschwerdegegner auf dem Pachtgelände einen Wohncontainer. Gestützt auf diese Begebenheit sprachen die Beschwerdeführer eine weitere Kündigung per 30. Oktober 2011 aus.
B.c Gegen die Gutheissung der Widerklage durch das Mietgericht legten die Beschwerdeführer am 26. November 2010 beim Obergericht des Kantons Zürich Berufung ein.
Mit Beschluss vom 3. März 2011 stellte das Obergericht fest, dass das angefochtene Urteil bezüglich der Ungültig- bzw. Nichtigerklärung der seitens der Beschwerdeführer ausgesprochenen Kündigungen in Rechtskraft erwachsen ist, wies die Berufung ab und bestätigte das Urteil des Mietgerichts vom 23. September 2010.
Die Vorinstanz schützte die Auffassung des Mietgerichts, wonach zwischen den Parteien ein gültiger Pachtvertrag besteht, welcher den Beschwerdegegnern einen Anspruch auf Nutzung des Bauernhauses gibt. Dieser sei gemäss einer mündlichen Abmachung zwar aufgeschoben, bis die Beschwerdeführer, welche nach wie vor im Bauernhaus wohnen, das noch zu errichtende Stöckli beziehen können und das Wohnhaus renoviert ist. Vorliegend hätten sich die Beschwerdeführer jedoch selbst zuzuschreiben, dass der Bau des Stöcklis nicht stattfinden könne. Denn gemäss Art. 34 Abs. 4 lit. c der Raumplanungsverordnung (RPV; SR 700.1) dürfe in der Landwirtschaftszone die Baubewilligung für den Wohnbedarf der abtretenden Generation nur erteilt werden, wenn die Betriebsnachfolge sichergestellt sei. Mit der grundlosen Kündigung des Pachtvertrags hätten die Beschwerdeführer die Betriebsnachfolge in Frage gestellt und damit die Sistierung der Baubewilligung verursacht. Auf das Fehlen des Stöcklis könnten sich die Beschwerdeführer daher nicht mehr berufen und die Beschwerdegegner hätten nunmehr Anspruch auf ordnungsgemässe Erfüllung des Pachtvertrags. Den Antritt der Nutzung des Wohnhauses hätten die Parteien zwar nicht explizit geregelt, den eigenen Angaben beider Parteien zufolge seien diese beim Vertragsabschluss im März 2008 jedoch von einem zügigen Bau des Stöcklis und damit auch von einem mittelfristigen Bezug des Wohnhauses durch die Beschwerdegegner ausgegangen. Diese Auffassung lasse sich gemäss der Vorinstanz auch mühelos mit den Interessen der Parteien und dem Vertragszweck in Einklang bringen. Den Auszug der Beschwerdeführer aus dem Wohnhaus auf spätestens Ende Mai 2011 und damit drei Jahre nach Pachtbeginn anzusetzen, sei nicht zu beanstanden.
C. Mit Beschwerde in Zivilsachen vom 5. April 2011 fechten die Beschwerdeführer den Beschluss des Obergerichts beim Bundesgericht an und beantragen, es sei die Widerklage der Beschwerdegegner abzuweisen. Zudem sei der Beschwerde die aufschiebende Wirkung zu erteilen.
Die Beschwerdegegner schliessen auf Abweisung der Beschwerde und stellen für das bundesgerichtliche Verfahren ein Gesuch um unentgeltliche Prozessführung sowie -verbeiständung. Die Vorinstanz hat auf eine Vernehmlassung verzichtet.
Mit Verfügung vom 16. Mai 2011 wurde der Beschwerde die aufschiebende Wirkung erteilt.

Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1).
1.1 Die Beschwerde richtet sich gegen ein Endurteil (<ref-law>) einer oberen kantonalen Instanz, die auf ein Rechtsmittel hin kantonal letztinstanzlich in einer Zivilsache entschieden hat (Art. 75 i.V.m. <ref-law>). Die Rechtsbegehren der Beschwerdeführer sind im vorinstanzlichen Verfahren nicht geschützt worden (<ref-law>), der massgebende Streitwert beträgt mehr als Fr. 30'000.-- (Art. 51 i.V.m. <ref-law>) und die Beschwerdefrist ist eingehalten (<ref-law>). Unter Vorbehalt einer rechtsgenüglichen Begründung (E. 1.2 hienach) ist auf die Beschwerde grundsätzlich einzutreten.
1.1 Die Beschwerde richtet sich gegen ein Endurteil (<ref-law>) einer oberen kantonalen Instanz, die auf ein Rechtsmittel hin kantonal letztinstanzlich in einer Zivilsache entschieden hat (Art. 75 i.V.m. <ref-law>). Die Rechtsbegehren der Beschwerdeführer sind im vorinstanzlichen Verfahren nicht geschützt worden (<ref-law>), der massgebende Streitwert beträgt mehr als Fr. 30'000.-- (Art. 51 i.V.m. <ref-law>) und die Beschwerdefrist ist eingehalten (<ref-law>). Unter Vorbehalt einer rechtsgenüglichen Begründung (E. 1.2 hienach) ist auf die Beschwerde grundsätzlich einzutreten.
1.2 1.2.1 Mit Beschwerde in Zivilsachen können Rechtsverletzungen gemäss Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft solche Rügen nur insofern, als sie in der Beschwerde präzise vorgebracht und begründet worden sind (<ref-law>; <ref-ruling> E. 1.4.2. S. 254; <ref-ruling> E. 6, 439 E. 3.2).
Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. <ref-ruling> E. 2.1 S. 245 f.; <ref-ruling> E. 2a S. 400; <ref-ruling> E. 3 S. 749). Dabei hat die Begründung in der Beschwerdeschrift selbst zu erfolgen; Verweise auf andere Rechtsschriften, insbesondere im kantonalen Verfahren eingereichte, sind unbeachtlich (vgl. <ref-ruling> E. 3.1 S. 399 f.; <ref-ruling> E. 2.3 S. 387 f., je mit Verweisen).
1.2.2 Diese Grundsätze verkennen die Beschwerdeführer zu einem grossen Teil.
So stellen sie in den Ziffern 8c und 8d ihrer Beschwerdeschrift die Behauptung auf, dass sich das Stöckli heute im Bau befinden würde, wenn die Beschwerdegegner die ungültige Kündigung nicht den Baubewilligungsbehörden gemeldet hätten. Gleichzeitig anerkennen sie, dass sie sich "wegen der ungültigen Kündigung das Stoppen der Baubewilligung selbst zuzuschreiben" hätten. Inwiefern und in welcher Hinsicht die Beschwerdeführer der Vorinstanz mit diesen Vorbringen eine Bundesrechtsverletzung vorwerfen wollen, wird in der Beschwerdeschrift nicht im Ansatz dargelegt und ist auch nicht ersichtlich. Die entsprechenden Ausführungen genügen den Begründungsanforderungen an eine Rüge gemäss <ref-law> nicht und sind daher unbeachtlich.
Mangels hinreichender Begründung ist auf die Beschwerde sodann ebenfalls nicht einzutreten, soweit die Beschwerdeführer die Verletzung von kantonalem Zivilprozessrecht rügen, dabei aber mit keinem Wort dartun, inwiefern gleichzeitig ein Verstoss gegen Bundesrecht, namentlich gegen das Willkürverbot (<ref-law>) vorliegen soll.
2. Die Beschwerdeführer rügen eine Verletzung von <ref-law>. Entgegen der Auffassung der Vorinstanz sei die Tatsache, dass die Beschwerdegegner auf dem Pachtgelände Wohnraum geschaffen haben, für das Ergebnis des Entscheids durchaus relevant. Denn es sei geradezu rechtsmissbräuchlich ohne Zustimmung der Verpächter auf dem Pachtgrundstück Wohnraum zu erstellen, damit erneut einen Kündigungsgrund im Sinne von Art. 22b Abs. 1 lit. c LPG zu setzen und dann während dem laufenden Kündigungsverfahren trotzdem auf der Räumung des Wohnhauses zu beharren.
Die Vorinstanz hat zutreffend erwogen, dass sich die Frage nach dem Rechtsmissbrauch allenfalls stellen könnte, wenn in der Zwischenzeit feststünde, dass aufgrund des erstellten Wohncontainers nunmehr eine gültige Kündigung auf einen Termin kurz nach dem vom Mietgericht angesetzten Räumungstermin vorliegt. Die Pächter würden diesfalls an der Übergabe einer Pachtsache festhalten, die sie aufgrund der erfolgten Kündigung sogleich wieder zurückgeben müssten. Eine solche Konstellation könnte in der Tat einen Rechtsmissbrauch implizieren, denn wer etwas verlangt, das er umgehend wieder herausgeben muss, handelt grundsätzlich missbräuchlich ("dolo agit qui petit quod (statim) redditurus est" [PAULUS, Dig. 50, 17, 173 § 3]; HONSELL, in: Basler Kommentar, 4. Aufl. 2010, N. 40 zu <ref-law>). Gemäss den (von den Beschwerdeführern nicht bestrittenen) Ausführungen der Vorinstanz ist das Vorliegen einer gültigen Kündigung jedoch gerade nicht erstellt, womit nicht ersichtlich ist, inwiefern das Beharren auf der Räumung rechtsmissbräuchlich sein sollte. Die Rüge geht fehl.
3. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist.
Bei diesem Verfahrensausgang werden die Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 sowie Art. 68 Abs. 2 BGG).
Das Gesuch der Beschwerdegegner um unentgeltliche Rechtspflege wird damit in Bezug auf die Gerichtskosten gegenstandslos. Dies gilt indessen nicht in Bezug auf die unentgeltliche Verbeiständung, da dem Rechtsvertreter der Beschwerdegegner im Fall seiner Bestellung als amtlicher Vertreter bei Uneinbringlichkeit der Parteientschädigung aus der Bundesgerichtskasse ein Honorar bezahlt werden müsste (<ref-law>; <ref-ruling> E. 3). Da die gesetzlichen Voraussetzungen erfüllt sind (Art. 64 Abs. 1 und 2 BGG), ist das Gesuch daher insoweit gutzuheissen.

Demnach erkennt das Bundesgericht:
1. Das Gesuch der Beschwerdegegner um unentgeltliche Rechtspflege wird gutgeheissen, soweit es nicht gegenstandslos geworden ist, und es wird ihnen Rechtsanwalt Detlev Hebeisen als amtlicher Vertreter bestellt.
2. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
3. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern (unter solidarischer Haftbarkeit und intern zu gleichen Teilen) auferlegt.
4. Die Beschwerdeführer haben die Beschwerdegegner für das bundesgerichtliche Verfahren (unter solidarischer Haftbarkeit und intern zu gleichen Teilen) mit Fr. 3'500.-- zu entschädigen. Im Fall der Uneinbringlichkeit der Parteientschädigung wird Rechtsanwalt Detlev Hebeisen als amtlichem Vertreter der Beschwerdegegner aus der Bundesgerichtskasse ein Honorar von Fr. 3'500.-- ausgerichtet.
5. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 27. Juli 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Hurni