Faits: A. A.a V._ SA, dont l'administrateur unique est N.X._, était propriétaire d'un immeuble situé chemin ..., à ... (Genève), soit d'une parcelle de 2'906 m2 sur laquelle est érigée notamment une habitation de 165 m2. Une cédule hypothécaire au porteur d'un montant de 1'700'000 fr. grevait l'immeuble. N.X._ et ses parents, F.X._ et H.X._, vivent dans cette propriété. A l'issue d'une poursuite en réalisation du gage immobilier intentée contre V._ SA, une vente aux enchères devait avoir lieu le 12 février 2004. L'immeuble a été estimé à 3'100'000 fr. Par acte notarié du 9 février 2004, V._ SA, représentée par son administrateur, a toutefois vendu le bien immobilier à A._ et B._ et C._ pour le prix de 2'000'000 fr. L'accord prévoyait un droit de réméré en faveur de V._ SA, pour un prix de 2'350'000 fr., qui devait être inscrit au registre foncier pour une durée de deux ans. Les acquéreurs déclaraient savoir que l'immeuble était occupé par F.X._, H.X._ et N.X._ et soulignaient que cette occupation, à bien plaire, devait prendre fin irrévocablement à l'expiration du droit de réméré. Les parties au contrat avait convenu d'une indemnité d'occupation de 9'000 fr. par mois. Par acte notarié du 6 juillet 2005, le droit de réméré a été prolongé une première fois, le prix pour l'exercer augmenté à 2'950'000 fr. et l'indemnité d'occupation portée à 10'000 fr. par mois. En décembre 2006, F.X._ et H.X._ ont bénéficié d'un prêt de 500'000 fr. consenti par F.Y._ et H.Y._ à N.X._. A.b Le droit de réméré a été prolongé une deuxième fois, par acte notarié du 21 décembre 2006, et cédé, à titre gratuit, par V._ SA à H.Y._, également partie au contrat. L'acquéreur s'est engagé à conférer, lorsqu'il exercerait son droit de réméré (soit le jour de la signature de l'acte d'achat), un droit d'emption en faveur de V._ SA ou de N.X._. Il était prévu que le droit d'emption, accordé pour une durée de deux ans, serait octroyé pour le prix de 4'540'000 fr.; H.Y._ déclarait savoir que l'immeuble était occupé, que cette occupation était à bien plaire et qu'elle devait prendre fin irrévocablement à l'expiration du droit d'emption. L'indemnité d'occupation serait fixée à 13'000 fr. par mois et le non-respect de cette condition entraînait l'extinction du droit d'emption. Le 29 janvier 2007, B._ et A._ et C._ ont vendu l'immeuble à F.Y._ et H.Y._ pour le prix de 2'950'000 fr.; N.X._ et V._ SA étant dans l'incapacité de financer le coût de la constitution du droit d'emption en leur faveur, il a été convenu de la reporter à une date ultérieure. Le contrat rappelait que l'immeuble était occupé, que l'occupation était à bien plaire et qu'elle avait été consentie moyennant le versement d'une indemnité fixée à 10'000 fr. par mois. A.c Par acte signé sous seing privé le 20 février 2007, les époux Y._ ont concédé un droit d'emption en faveur de V._ SA et/ou N.X._ pouvant être exercé jusqu'au 31 janvier 2009. Le prix a été fixé à 4'540'000 fr. et il a été prévu que, par le paiement de ce montant, le prêt de 500'000 fr. consenti par les époux Y._ en décembre 2006 serait entièrement remboursé. La convention mentionnait que, dans le cadre de l'occupation à bien plaire de l'immeuble, l'indemnité d'occupation était fixée à 13'000 fr. par mois, que celle-ci prendrait fin irrévocablement à l'expiration du droit d'emption ou s'éteindrait de plein droit en cas de non-respect des modalités de paiement des indemnités d'occupation. Ce document a été contresigné, pour accord, par F.X._ et H.X._. Le 5 mars 2007, F.Y._ et H.Y._ et N.X._ ont comparu devant un notaire dans le but de constituer le droit d'emption aux conditions déjà évoquées. N.X._ n'a pas exercé le droit d'emption jusqu'à la date butoir du 31 janvier 2009. A.d La famille X._ a versé l'indemnité de 13'000 fr. par mois jusqu'au mois de décembre 2008. Le 17 mars 2009, H.Y._, agissant en son nom et pour le compte de F.Y._, et N.X._ ont convenu que ce dernier et sa famille étaient autorisés à demeurer dans la propriété de ..., gratuitement et à bien plaire, jusqu'au début des travaux de rénovation prévus, mais au plus tard jusqu'au 30 avril 2009, date pour laquelle N.X._ s'engageait, pour lui et sa famille, à la libérer de tous biens et personnes. En contre-partie et "sous réserve de l'exécution de l'engagement pris par N.X._", les époux Y._ déclarait 1) compenser le prêt de 500'000 fr. accordé en décembre 2006, qui serait ainsi soldé par la simple libération de la propriété, 2) s'engager à verser à N.X._ une indemnité de départ de 300'000 fr. (dont à imputer le montant de 250'000 fr. déjà remis), 3) s'engager à mettre à disposition de N.X._ et de sa famille, un ou deux logements d'une valeur locative de 4'170 fr. par mois pendant 20 ans au maximum. F.X._ et H.X._ soutiennent n'avoir jamais eu connaissance de cette convention. N.X._ a indiqué qu'il n'avait reçu aucun pouvoir formel de ses parents lorsqu'il l'avait signée. D'après lui, "ils étaient toutefois au courant avant qu['il] ne la signe". A.e Par courriers du 20 mai 2009, les époux Y._ ont mis en demeure F.X._ et H.X._ et N.X._ d'évacuer la villa au plus tard à la fin du mois de mai 2009. La mise en demeure est restée sans effet. B. B.a Le 8 juillet 2009, les époux Y._ ont ouvert action devant le Tribunal de première instance de Genève, concluant à ce que F.X._, H.X._ et N.X._ soient condamnés à évacuer la villa sise au chemin .... Concluant au rejet de la demande, F.X._ et H.X._ ont déclaré que tous les transferts de propriété avaient été entrepris dans le seul but de permettre à leur famille de conserver la jouissance de la propriété en cause, que la convention du 17 mars 2009 n'avait été signée que pour permettre à N.X._ d'obtenir de l'argent pour ses besoins personnels, qu'eux-mêmes n'avaient jamais avalisé l'idée d'un départ en avril 2009 et qu'en tout état de cause, leur départ était conditionné à la mise à disposition d'un logement pour une valeur locative de 4'170 fr. par mois pendant vingt ans, engagement que les époux Y._ n'avaient toutefois pas respecté. N.X._ n'a produit aucune écriture et n'était ni présent ni représenté à l'audience de plaidoiries. Par jugement du 29 avril 2010, le Tribunal de première instance a condamné F.X._ et H.X._, ainsi que leur fils N.X._, à évacuer la villa en cause. B.b La Cour de justice du canton de Genève a, par arrêt du 19 novembre 2010, confirmé le jugement de première instance. Il a rejeté la demande de production de certains documents, considérant que les faits visés par la mesure probatoire n'étaient pas pertinents. Sur le fond, recherchant la commune et réelle intention des parties, il a retenu qu'aucun élément au dossier ne permettait de supposer l'existence d'un accord autorisant F.X._ et H.X._ à vivre dans la villa jusqu'à leur décès; il a confirmé que l'intention réelle des cocontractants était bien l'évacuation des lieux par la famille X._ à l'échéance du droit d'emption (date butoir, le 31 janvier 2009), si ce dernier n'était pas exercé. L'autorité précédente a également jugé que le contenu de la convention passée le 17 mars 2009 n'était pas pertinent, les occupants de l'immeuble ayant, en tout état de cause, l'obligation d'évacuer l'immeuble au 31 janvier 2009. A titre subsidiaire, elle a rappelé que le texte de la convention du 17 mars 2009 subordonnait l'obligation des époux Y._ de mettre à disposition un ou deux logement(s) à l'exécution de l'engagement pris par N.X._ (soit la libération préalable de l'immeuble au 30 avril 2009); F.X._ et H.X._ n'ayant pas évacué l'immeuble à cette date, ils ne pouvaient reprocher aux époux Y._ de ne pas avoir mis un logement à leur disposition. C. F.X._ et H.X._ exercent un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 19 novembre 2010. Ils concluent à son annulation et à ce que les époux Y._ soient déboutés de leurs conclusions, sous suite de frais et dépens, subsidiairement, à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'autorité cantonale, sous suite de frais et dépens. En substance, les recourants reprochent à l'autorité précédente d'avoir fait preuve d'arbitraire en établissant les faits et en appréciant les preuves (art. 9 Cst.) et d'avoir violé leur droit d'être entendus (art. 29 al. 2 Cst.). Ils lui font également grief d'avoir transgressé les art. 8 et 27 al. 2 CC, ainsi que les art. 18, 20 et 21 CO. Les intimés concluent au rejet du recours, sous suite de frais et dépens.