Faits:
A. A.a V._ SA, dont l'administrateur unique est N.X._, était propriétaire d'un immeuble situé chemin ..., à ... (Genève), soit d'une parcelle de 2'906 m2 sur laquelle est érigée notamment une habitation de 165 m2. Une cédule hypothécaire au porteur d'un montant de 1'700'000 fr. grevait l'immeuble.
N.X._ et ses parents, F.X._ et H.X._, vivent dans cette propriété.
A l'issue d'une poursuite en réalisation du gage immobilier intentée contre V._ SA, une vente aux enchères devait avoir lieu le 12 février 2004. L'immeuble a été estimé à 3'100'000 fr.
Par acte notarié du 9 février 2004, V._ SA, représentée par son administrateur, a toutefois vendu le bien immobilier à A._ et B._ et C._ pour le prix de 2'000'000 fr. L'accord prévoyait un droit de réméré en faveur de V._ SA, pour un prix de 2'350'000 fr., qui devait être inscrit au registre foncier pour une durée de deux ans. Les acquéreurs déclaraient savoir que l'immeuble était occupé par F.X._, H.X._ et N.X._ et soulignaient que cette occupation, à bien plaire, devait prendre fin irrévocablement à l'expiration du droit de réméré. Les parties au contrat avait convenu d'une indemnité d'occupation de 9'000 fr. par mois.
Par acte notarié du 6 juillet 2005, le droit de réméré a été prolongé une première fois, le prix pour l'exercer augmenté à 2'950'000 fr. et l'indemnité d'occupation portée à 10'000 fr. par mois.
En décembre 2006, F.X._ et H.X._ ont bénéficié d'un prêt de 500'000 fr. consenti par F.Y._ et H.Y._ à N.X._.
A.b Le droit de réméré a été prolongé une deuxième fois, par acte notarié du 21 décembre 2006, et cédé, à titre gratuit, par V._ SA à H.Y._, également partie au contrat. L'acquéreur s'est engagé à conférer, lorsqu'il exercerait son droit de réméré (soit le jour de la signature de l'acte d'achat), un droit d'emption en faveur de V._ SA ou de N.X._. Il était prévu que le droit d'emption, accordé pour une durée de deux ans, serait octroyé pour le prix de 4'540'000 fr.; H.Y._ déclarait savoir que l'immeuble était occupé, que cette occupation était à bien plaire et qu'elle devait prendre fin irrévocablement à l'expiration du droit d'emption. L'indemnité d'occupation serait fixée à 13'000 fr. par mois et le non-respect de cette condition entraînait l'extinction du droit d'emption.
Le 29 janvier 2007, B._ et A._ et C._ ont vendu l'immeuble à F.Y._ et H.Y._ pour le prix de 2'950'000 fr.; N.X._ et V._ SA étant dans l'incapacité de financer le coût de la constitution du droit d'emption en leur faveur, il a été convenu de la reporter à une date ultérieure. Le contrat rappelait que l'immeuble était occupé, que l'occupation était à bien plaire et qu'elle avait été consentie moyennant le versement d'une indemnité fixée à 10'000 fr. par mois.
A.c Par acte signé sous seing privé le 20 février 2007, les époux Y._ ont concédé un droit d'emption en faveur de V._ SA et/ou N.X._ pouvant être exercé jusqu'au 31 janvier 2009. Le prix a été fixé à 4'540'000 fr. et il a été prévu que, par le paiement de ce montant, le prêt de 500'000 fr. consenti par les époux Y._ en décembre 2006 serait entièrement remboursé.
La convention mentionnait que, dans le cadre de l'occupation à bien plaire de l'immeuble, l'indemnité d'occupation était fixée à 13'000 fr. par mois, que celle-ci prendrait fin irrévocablement à l'expiration du droit d'emption ou s'éteindrait de plein droit en cas de non-respect des modalités de paiement des indemnités d'occupation. Ce document a été contresigné, pour accord, par F.X._ et H.X._.
Le 5 mars 2007, F.Y._ et H.Y._ et N.X._ ont comparu devant un notaire dans le but de constituer le droit d'emption aux conditions déjà évoquées.
N.X._ n'a pas exercé le droit d'emption jusqu'à la date butoir du 31 janvier 2009.
A.d La famille X._ a versé l'indemnité de 13'000 fr. par mois jusqu'au mois de décembre 2008.
Le 17 mars 2009, H.Y._, agissant en son nom et pour le compte de F.Y._, et N.X._ ont convenu que ce dernier et sa famille étaient autorisés à demeurer dans la propriété de ..., gratuitement et à bien plaire, jusqu'au début des travaux de rénovation prévus, mais au plus tard jusqu'au 30 avril 2009, date pour laquelle N.X._ s'engageait, pour lui et sa famille, à la libérer de tous biens et personnes. En contre-partie et "sous réserve de l'exécution de l'engagement pris par N.X._", les époux Y._ déclarait 1) compenser le prêt de 500'000 fr. accordé en décembre 2006, qui serait ainsi soldé par la simple libération de la propriété, 2) s'engager à verser à N.X._ une indemnité de départ de 300'000 fr. (dont à imputer le montant de 250'000 fr. déjà remis), 3) s'engager à mettre à disposition de N.X._ et de sa famille, un ou deux logements d'une valeur locative de 4'170 fr. par mois pendant 20 ans au maximum.
F.X._ et H.X._ soutiennent n'avoir jamais eu connaissance de cette convention. N.X._ a indiqué qu'il n'avait reçu aucun pouvoir formel de ses parents lorsqu'il l'avait signée. D'après lui, "ils étaient toutefois au courant avant qu['il] ne la signe".
A.e Par courriers du 20 mai 2009, les époux Y._ ont mis en demeure F.X._ et H.X._ et N.X._ d'évacuer la villa au plus tard à la fin du mois de mai 2009. La mise en demeure est restée sans effet.
B. B.a Le 8 juillet 2009, les époux Y._ ont ouvert action devant le Tribunal de première instance de Genève, concluant à ce que F.X._, H.X._ et N.X._ soient condamnés à évacuer la villa sise au chemin ....
Concluant au rejet de la demande, F.X._ et H.X._ ont déclaré que tous les transferts de propriété avaient été entrepris dans le seul but de permettre à leur famille de conserver la jouissance de la propriété en cause, que la convention du 17 mars 2009 n'avait été signée que pour permettre à N.X._ d'obtenir de l'argent pour ses besoins personnels, qu'eux-mêmes n'avaient jamais avalisé l'idée d'un départ en avril 2009 et qu'en tout état de cause, leur départ était conditionné à la mise à disposition d'un logement pour une valeur locative de 4'170 fr. par mois pendant vingt ans, engagement que les époux Y._ n'avaient toutefois pas respecté.
N.X._ n'a produit aucune écriture et n'était ni présent ni représenté à l'audience de plaidoiries.
Par jugement du 29 avril 2010, le Tribunal de première instance a condamné F.X._ et H.X._, ainsi que leur fils N.X._, à évacuer la villa en cause.
B.b La Cour de justice du canton de Genève a, par arrêt du 19 novembre 2010, confirmé le jugement de première instance. Il a rejeté la demande de production de certains documents, considérant que les faits visés par la mesure probatoire n'étaient pas pertinents. Sur le fond, recherchant la commune et réelle intention des parties, il a retenu qu'aucun élément au dossier ne permettait de supposer l'existence d'un accord autorisant F.X._ et H.X._ à vivre dans la villa jusqu'à leur décès; il a confirmé que l'intention réelle des cocontractants était bien l'évacuation des lieux par la famille X._ à l'échéance du droit d'emption (date butoir, le 31 janvier 2009), si ce dernier n'était pas exercé. L'autorité précédente a également jugé que le contenu de la convention passée le 17 mars 2009 n'était pas pertinent, les occupants de l'immeuble ayant, en tout état de cause, l'obligation d'évacuer l'immeuble au 31 janvier 2009. A titre subsidiaire, elle a rappelé que le texte de la convention du 17 mars 2009 subordonnait l'obligation des époux Y._ de mettre à disposition un ou deux logement(s) à l'exécution de l'engagement pris par N.X._ (soit la libération préalable de l'immeuble au 30 avril 2009); F.X._ et H.X._ n'ayant pas évacué l'immeuble à cette date, ils ne pouvaient reprocher aux époux Y._ de ne pas avoir mis un logement à leur disposition.
C. F.X._ et H.X._ exercent un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 19 novembre 2010. Ils concluent à son annulation et à ce que les époux Y._ soient déboutés de leurs conclusions, sous suite de frais et dépens, subsidiairement, à l'annulation de l'arrêt entrepris et au renvoi de la cause à l'autorité cantonale, sous suite de frais et dépens. En substance, les recourants reprochent à l'autorité précédente d'avoir fait preuve d'arbitraire en établissant les faits et en appréciant les preuves (art. 9 Cst.) et d'avoir violé leur droit d'être entendus (art. 29 al. 2 Cst.). Ils lui font également grief d'avoir transgressé les art. 8 et 27 al. 2 CC, ainsi que les art. 18, 20 et 21 CO.
Les intimés concluent au rejet du recours, sous suite de frais et dépens.

Considérant en droit:
1. 1.1 La demande adressée au Tribunal de première instance le 8 juillet 2009 est une action en revendication au sens de l'<ref-law>. Il s'agit d'une contestation de nature pécuniaire (arrêt 5C.252/2004 du 30 mai 2005 consid. 1; arrêt 5C.127/2001 du 26 octobre 2001 consid. 1) dont la valeur litigieuse correspond à la valeur de l'objet revendiqué (YVES DONZALLAZ, Loi sur le Tribunal fédéral, Commentaire, 2008, no 1407 ad <ref-law>; JEAN-FRANÇOIS POUDRET, Commentaire de la loi fédérale d'organisation judiciaire, 1990, ch. 9.5 ad art. 36 aOJ; cf. <ref-ruling> consid. 2 p. 54), déduction faite de l'hypothèque grevant celui-ci (arrêt 4A_318/2009 du 30 septembre 2009 consid. 1.1; POUDRET, op. cit., ch. 5.3 ad art. 36 aOJ; ALAIN WURZBURGER, Les conditions objectives du recours en réforme au Tribunal fédéral, thèse Lausanne 1964, p. 135 ch. 188). Ainsi, l'arrêt cantonal a été rendu dans le cadre d'une affaire pécuniaire portant sur une valeur litigieuse dépassant très largement le seuil de 30'000 fr. fixé à l'<ref-law>.
Exercé par deux parties qui ont succombé dans leurs conclusions en contestation de l'évacuation des locaux loués (<ref-law>) et dirigé contre une décision finale rendue en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 46 al. 1 let. c, 48 al. 1 et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 2.2.1 p. 389). Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401; <ref-ruling> consid. 8.1 p. 153) - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.2 p. 187; <ref-ruling> consid. 1.4 et 6.2). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (<ref-law>). Aucun fait nouveau, ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
En l'espèce, les recourants indiquent, aux pages 3 à 11 de leur mémoire, qu'ils entendent reprendre l'état de fait retenu par la cour cantonale, mais en le complétant, voire en le corrigeant, lorsque les faits ont été omis ou apprécié de façon incorrecte dans l'arrêt entrepris. Dès lors qu'ils n'invoquent pas l'arbitraire (art. 9 Cst.) et ne démontrent pas, de manière précise, avec référence à des pièces du dossier, qu'un fait aurait été constaté ou omis de manière insoutenable, il n'y a pas lieu d'en tenir compte et le raisonnement doit être mené sur la base de l'état de fait contenu dans la décision attaquée.
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
2. 2.1 Les recourants soutiennent qu'ils se sont efforcés, tout au long de la procédure cantonale, de démontrer que toutes les conventions passées au fils des ans tendaient à permettre à la famille X._ de rester dans la villa ... qu'elle occupe depuis 1983. Ils reprochent à la juridiction précédente, qui n'a pas confirmé leur thèse, de s'être "satisfaite d'une appréciation formelle et tronquée des accords passés" entre les divers protagonistes et de ne pas avoir ordonné la mise en oeuvre des mesures probatoires utiles à la détermination de la volonté réelle des parties. Ils estiment qu'elle a sombré dans l'arbitraire (art. 9 Cst.), violé leur droit d'être entendus (art. 29 al. 2 Cst.) et transgressé l'<ref-law>.
Si le droit de faire administrer des preuves est invoqué en relation avec une prétention de droit privé fédéral, les critiques de la partie recourante sont en principe examinées à l'aune de l'<ref-law>, dont les conditions sont identiques à celles de l'art. 29 al. 2 Cst. (arrêt 5A_726/2009 du 30 avril 2010 consid. 3.1, non publié à l'<ref-ruling>, et les références).
Un droit à la preuve et à la contre-preuve est déduit de l'<ref-law>. Ainsi, le juge enfreint l'<ref-law> s'il refuse d'administrer une preuve régulièrement offerte, dans les formes et les délais prévus par la loi de procédure, et portant sur un fait pertinent pour l'appréciation juridique de la cause (<ref-ruling> consid. 5.2.2 p. 195, 295 consid. 7. 1 p. 299 et les arrêts cités).
Une décision n'est arbitraire, s'agissant de l'appréciation des preuves et de l'établissement des faits, que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 2.1). Le grief tiré de l'appréciation arbitraire des preuves ne peut être pris en considération que si son admission est de nature à modifier le sort du litige, ce qui n'est pas le cas lorsqu'il vise une constatation de fait n'ayant aucune incidence sur l'application du droit (<ref-ruling> consid. 2.1 p. 9; arrêt 4P.305/2001 du 18 mars 2002, consid. 2a).
Une décision n'est arbitraire, s'agissant de l'appréciation des preuves et de l'établissement des faits, que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (<ref-ruling> consid. 2.1). Le grief tiré de l'appréciation arbitraire des preuves ne peut être pris en considération que si son admission est de nature à modifier le sort du litige, ce qui n'est pas le cas lorsqu'il vise une constatation de fait n'ayant aucune incidence sur l'application du droit (<ref-ruling> consid. 2.1 p. 9; arrêt 4P.305/2001 du 18 mars 2002, consid. 2a).
2.2 2.2.1 Les recourants soutiennent que la cour cantonale se devait d'auditionner divers témoins ayant participé à la négociation et à la conclusion des conventions qui se sont succédées, de manière à en préciser le contenu. La cour cantonale observe que les recourants ont uniquement demandé la production de documents, en particulier le contrat de prêt de décembre 2006 conclu entre les intimés et N.X._, et les relevés bancaires de ce dernier. Il n'est pas établi que des auditions aient été régulièrement offertes en procédure cantonale et les recourants ne tentent d'ailleurs pas de le démontrer. A cet égard, on ne saurait donc reprocher aux juges cantonaux d'avoir enfreint l'<ref-law>.
S'agissant des relevés bancaires, ceux-ci auraient tout au plus permis de constater que divers versements ont été opérés en faveur de N.X._, sans que l'on en connaisse précisément les motifs. La production de ces documents, à elle seule, était ainsi impropre à démontrer que, contrairement au texte clair des conventions du 20 février 2007 et du 5 mars 2007 (qui prévoient une date butoir - le 31 janvier 2009 - pour l'évacuation), la volonté réelle des parties auraient été de permettre à la famille X._ de rester dans les locaux litigieux ou de la "reloger décemment au moins pour une durée de dix ans", ainsi que le prétendent les recourants. A noter que les recourants eux-mêmes semblent admettre que le motif des versements effectués en faveur de leur fils était sans rapport avec l'occupation de la villa; devant les instances cantonales, ils ont en effet reconnu que N.X._ avait obtenu de l'argent uniquement pour des "besoins personnels". La mesure probatoire requise ne permettait dès lors pas d'établir un fait pertinent et on voit ainsi mal en quoi la juridiction précédente aurait violé l'<ref-law>.
Quant à la raison pour laquelle les recourants ont sollicité la production du contrat de prêt de décembre 2006, elle est loin d'être claire. Les recourants, dans leur mémoire, reconnaissent que "le prêt consenti en 2006 n'a, en soi, pas grande pertinence quant au bien-fondé de l'action en revendication" exercée par les intimés. Dans une argumentation non exempte de contradiction, ils se prévalent pourtant de ce document pour défendre leur thèse. Quoiqu'il en soit, il n'est pas contesté que les recourants ont pu bénéficier du prêt de 500'000 fr. qui a été consenti à N.X._ en décembre 2006 et on ne voit pas quel autre fait utile à l'issue du litige aurait pu être établi au moyen du contrat de prêt. L'apport de ce document n'aurait en tout cas pas permis d'établir les nombreux points allégués par les recourants, à savoir notamment des circonstances permettant de nier l'obligation d'évacuer l'immeuble à la date butoir, les motifs qui auraient incité les intimés à augmenter la valeur du droit d'emption le 5 mars 2007, l'existence d'un enrichissement illégitime de l'ordre de 3'500'000 fr. (la valeur réelle de la propriété, prétendument de 6'500'000 fr., reposant sur un document non repris dans la décision cantonale).
Quant aux reproches, exprimés de façon générale, selon lesquels la cour précédente "n'a pas investigué le moins du monde" pour comprendre la raison des libéralités consenties par les intimés à N.X._ ou qu'elle "aurait dû s'interroger" sur les motifs des versements qui ont pu influer la volonté de conclure, ils laissent entendre que l'autorité cantonale aurait dû entreprendre d'office une administration des preuves plus étendue que celle effectuée en l'espèce. L'argument ne peut être suivi. En l'occurrence, le juge s'est forgé une conviction sur la base des faits contenus dans le dossier, et il n'y a plus de place pour la violation de l'<ref-law> invoquée par les recourants; en effet, cette disposition ne dicte pas sur quelles bases et comment le juge peut forger sa conviction (<ref-ruling> consid. 2d p. 25 et les arrêts cités). Si les recourants estimaient que le motif des libéralités était susceptible de modifier la conviction du juge, il leur appartenait d'alléguer les faits pertinents et d'offrir les moyens de preuve adéquats (cf. <ref-ruling> consid. 2b). Ce n'est que dans cette hypothèse, non réalisée ici, que les recourants auraient pu se plaindre, si le juge avait refusé d'administrer les preuves sollicitées, d'une transgression de l'<ref-law> (cf. <ref-ruling> consid. 5.4 p. 601 s.).
Le grief de violation de l'<ref-law> est donc infondé.
2.2.2 Il n'en va pas autrement du moyen tiré de l'arbitraire (art. 9 Cst.). Au regard des considérations qui précèdent, on cherche en vain en quoi les moyens de preuve évoqués plus haut (contrat de prêt et relevé de compte) seraient de nature à modifier l'issue du litige (<ref-law>).
Quant à la critique selon laquelle la cour précédente ne s'est aucunement souciée de la valeur réelle de l'immeuble ..., elle tombe à faux, l'autorité cantonale ayant expliqué la raison pour laquelle les intimés ont acheté l'immeuble à un prix inférieur à la valeur réelle (arrêt entrepris consid. 3.2 p. 8). En ce qui concerne l'augmentation ultérieure du prix de la villa, il doit être remis dans son contexte. Il ressort des constatations cantonales - qui lient le Tribunal fédéral (<ref-law>) -, que la durée du droit de réméré, puis celle du droit d'emption prévu dans un deuxième temps (en faveur de V._ SA et/ou N.X._), ont été prolongées plusieurs fois, la famille X._ ne disposant pas des liquidités suffisantes aux échéances. On constate ainsi que les termes du contrat initial ont été renégocié et que c'est dans ce contexte que le prix de vente a été augmenté. Les recourants ne tentent pas de démontrer que la cour cantonale aurait tiré des déductions insoutenables - et donc fait preuve d'arbitraire (art. 9 Cst.) - sur la base des faits ainsi établis.
Enfin, c'est de manière purement appellatoire que les recourants allèguent que "nonobstant son libellé, la convention du 17 mars 2009 ne pouvait avoir pour objet que d'indemniser au moins partiellement la famille X._ en raison de la perte de la villa ... et de leur permettre de se reloger dans des conditions suffisantes, soit dix ans en fonction d'une valeur locative de Fr. 4'170.00 par mois". La critique est irrecevable.
3. 3.1 Les recourants, font grief à la cour cantonale d'avoir transgressé l'<ref-law>. On ne voit pas en quoi cette disposition aurait été violée et les recourants ne fournissent pas une motivation suffisante sous cet angle (cf. <ref-law>). Ils semblent plutôt vouloir contester la volonté commune et réelle des parties, telle qu'elle a été établie par l'autorité précédente. Savoir qu'elle était la commune et réelle intention des cocontractants est une question de fait (<ref-ruling> consid. 3.2 p. 412 s.) et il incombait dès lors aux recourants d'indiquer, de manière circonstanciée, en quoi la cour cantonale aurait fait preuve d'arbitraire (art. 9 Cst.) en établissant cette intention. Les recourants ne fournissent toutefois aucun motivation complémentaire, par rapport à celle déjà examinée ci-dessus (cf. supra consid. 2.2.2), sous l'angle de l'arbitraire. Le moyen est irrecevable.
3.2 Les recourants reprochent à la cour cantonale d'avoir ignoré la portée des art. 20 et 21 CO. Ils se bornent toutefois à fournir une argumentation visant à établir l'existence d'une lésion en relevant, d'ailleurs de manière essentiellement appellatoire (cf. supra consid. 1.3) qu'en augmentant artificiellement la valeur du droit d'emption, les intimés voulait s'assurer de pouvoir conserver la propriété et la jouissance de la villa ... "à des conditions sans commune mesure avec la valeur vénale objective de cette propriété". Ils concluent que l'autorité cantonale aurait dû sanctionner le déséquilibre des prestations en mettant en oeuvre "l'<ref-law> comme conséquence d'une situation de lésion au sens de l'<ref-law>".
La prétendue violation de l'<ref-law> doit être d'emblée écartée, les recourants reconnaissant eux-mêmes ne pas avoir déclaré résilier le contrat dans le délai d'un an dès la conclusion du contrat. En outre, la question d'une disproportion évidente entre les prestations est réglée de façon exclusive par l'<ref-law> et l'<ref-law> ne saurait être mis en oeuvre dans ce contexte (arrêt 4C.276/1988 du 26 septembre 1989 consid. 4c). Enfin, les recourants ne fournissent pas le début d'une motivation permettant de comprendre en quoi l'<ref-law> aurait été, quant à lui seul, transgressé par l'autorité cantonale. L'exigence de l'<ref-law> n'étant pas remplie, il n'y a pas lieu d'entrer en matière.
Les recourants sont d'avis que, dès lors que les engagements souscrits sont contraires à l'<ref-law>, la cour cantonale aurait dû refuser toute protection aux intimés sur la base de l'<ref-law>. L'argument, pour autant qu'on le comprenne, tombe à faux, les recourants n'ayant pas démontré une violation de l'<ref-law>. En outre, ils n'indiquent pas en quoi, l'<ref-law>, indépendamment du rapport qu'ils tentent de tisser avec l'<ref-law>, aurait été violé et il n'y a pas lieu de s'y attarder (cf. <ref-law>).
3.3 Enfin, les recourants tentent de suggérer que certains versements "incitent à penser" que les intimés ont tenté d'abuser de la faiblesse de N.X._ en cherchant à influer sur sa volonté de conclure, respectivement de le faire à des conditions objectivement raisonnables. Ils considèrent qu'il "pourrait y avoir dol au sens de l'article 28 CO".
La recevabilité du grief est fort douteuse. Il n'appartient en effet pas au Tribunal fédéral d'examiner un moyen qui semble être considéré comme une simple hypothèse par la partie recourante elle-même. Quoiqu'il en soit, la critique est infondée, les recourants n'ayant jamais allégué avoir communiqué aux intimés la déclaration exigée par l'<ref-law>.
4. Il résulte des considérants qui précèdent que le recours doit être rejeté dans la mesure de sa recevabilité.
Les frais judiciaires et les dépens sont mis à la charge de la partie qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 5'000 fr., sont mis solidairement à la charge des recourants.
3. Les recourants verseront solidairement aux intimés, créanciers solidaires, une indemnité de 6'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Cour de justice du canton de Genève, Chambre civile.
Lausanne, le 5 avril 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
Le Juge présidant: Le Greffier:
Corboz Piaget