Faits:
A. A.a Le 7 juin 1996, un contrat de bail à ferme agricole a été signé entre V._, A._ et W._, en qualité de preneurs, et X._ et Y._, en qualité de propriétaires.
Le bail, qui portait sur sept terrains agricoles, sur un hangar érigé sur l'un d'entre eux, ainsi que sur un terrain viticole, prenait effet le 1er mars 1997 pour se terminer le 28 février 2013. Le montant annuel du fermage des terrains et équipements agricoles s'élevait à 29'200 fr. et celui de la location de la vigne à 16'800 francs. Les échéances de paiement ont été fixées initialement aux 1er mars et 1er septembre de chaque année pour le premier montant et au 1er décembre de chaque année pour le second. La culture des arbres fruitiers, ainsi que l'encépagement de la surface viticole, étaient réglementés par des annexes (nos 1 et 2) au contrat, signées le 8 octobre 1996. Ces annexes fixaient notamment les conditions de remboursement de certains frais, en cas de résiliation du bail avant l'échéance.
Le 7 novembre 1996, l'affermage par parcelles a été autorisé par la Commission d'affermage, qui ne s'est pas prononcée sur le montant du fermage.
Par avenant du 9 juillet 2001, les échéances de paiement ont été fixées aux 1er avril, 1er juillet, 1er octobre et 31 décembre de chaque année. En juillet 2001, A._ s'est retiré de l'exploitation.
A.b A partir de 2003, les fermiers ne se sont pas acquittés régulièrement des fermages convenus, qu'ils considéraient comme trop élevés. Des retards de paiement ont été accusés, ce qui a conduit les bailleresses, par courrier du 22 juin 2005, à résilier le bail pour le 31 décembre 2005.
Le 3 janvier 2006, une requête d'expulsion a été introduite auprès du Juge de paix des districts de Nyon et de Rolle, laquelle a donné lieu à une longue procédure, jalonnée de deux recours au Tribunal cantonal et au Tribunal fédéral (arrêt 4C.425/2006 du 26 avril 2007 et décision 4A_13/2007 du même jour). Dans le cadre de l'exécution forcée de l'expulsion, le Juge de paix a, par décision du 17 août 2007, fixé aux fermiers un nouveau délai au 19 octobre 2007 à midi pour quitter les lieux. Le 12 décembre 2007, toutes les parcelles étaient libérées, à l'exception de celle sur laquelle est érigé le hangar. Le 30 janvier 2008, ce dernier était libéré et les opérations d'exécution forcée considérées comme terminées. A cette dernière date, les parties se sont mises d'accord pour que le "portakabin" sis sur la parcelle 970 soit débarrassé le lendemain, ce qui a été respecté.
En cours de procédure d'expulsion, le 15 février 2006, les fermiers ont saisi la Commission d'affermage, afin que cette autorité fixe le fermage licite pour la période de 1996 à 2003, puis à partir de 2004. La Commission d'affermage s'est prononcée le 25 septembre 2006: elle a arrêté le fermage maximum des immeubles agricoles à 24'386 fr. pour la période de 1996 à 2003 et à 24'598, pour les années 2004 et suivantes.
B. B.a Le 29 mai 2007, V._ et W._ ont ouvert action contre X._ et Y._. Les demandeurs concluaient à ce qu'il soit dit qu'ils ne sont pas les débiteurs des défenderesses à titre de fermage des parcelles 133 et 157 de la Commune de ..., 502, 970 et 1713 de la Commune de ..., 457 de la Commune de ..., 599 de la Commune de ...; ils demandaient que quittance leur soit donnée du paiement du fermage de ces parcelles au 31 janvier 2008. Les défenderesses devaient être en outre condamnées à verser aux demandeurs, solidairement entre eux, le montant de 211'300 fr., avec intérêts à 5% l'an dès le 31 décembre 2005, à titre d'indemnité pour les investissements effectués en lien avec les arbres fruitiers et la surface viticole.
Les défenderesses ont conclu au rejet de l'action. Elles ont pris des conclusions reconventionnelles tendant au paiement de 152'167 fr., avec intérêts à 5% l'an dès le 1er mars 2006, à titre d'arriérés de loyers, et de 137'965 fr.90, avec intérêts à 5% l'an dès la date du jugement à venir, à titre de réparation du dommage. Les demandeurs ont conclu au rejet de l'action reconventionnelle. Les parties ont en outre invoqué la compensation.
Par jugement du 23 juin 2009, le Président du Tribunal d'arrondissement de La Côte a condamné les défenderesses, solidairement entre elles, à payer aux demandeurs, solidairement entre eux, la somme de 144'153 fr.55, avec intérêts à 5% l'an dès le 20 juin 2007 (ch. I du dispositif), et fixé les frais (ch. II du dispositif) et dépens (ch. III du dispositif). Le magistrat a retenu que seul le fermage licite fixé par la Commission d'affermage le 25 septembre 2006 était dû, avec effet rétroactif. Les fermiers devaient ainsi le montant du fermage licite du 1er mars 2001 au 31 janvier 2008, sous déduction des montants déjà versés, et les bailleresses devaient restituer aux fermiers le montant versé en trop pour les années 1997 à 2001. Il a en outre été jugé que tant les demandeurs que les défenderesses avaient droit à une indemnité, les premiers en raison des investissements réalisés et les secondes conformément à l'équité et au vu des circonstances du cas d'espèce. Après compensation des montants réciproquement dus, les défenderesses étaient débitrices solidaires des demandeurs à concurrence de 144'153 fr.55, avec intérêts.
B.b Par arrêt du 15 décembre 2010, la Chambre des recours du Tribunal cantonal vaudois a admis partiellement le recours interjeté par les bailleresses. L'autorité cantonale a réformé les chiffres I et III du dispositif du jugement entrepris. Les demandeurs, solidairement entre eux, ont ainsi été condamnés à payer aux défenderesses, solidairement entre elles, la somme de 44'296 fr., avec intérêts à 5% l'an dès le 23 octobre 2007, et les dépens ont été compensés. Le jugement a été confirmé pour le surplus. L'instance cantonale s'est par ailleurs prononcée sur les frais et dépens de deuxième instance.
Les juges cantonaux ont considéré que les conditions pour former opposition contre le fermage d'un immeuble au sens de l'art. 43 LBFA n'étaient plus réunies, compte tenu des délais écoulés. Ils ont en outre relevé que la décision de la Commission d'affermage du 25 septembre 2006 était une décision constatatoire, qui ne permettait pas à elle seule de ramener le fermage au montant licite. Les magistrats ont ainsi conclu que, sur le plan civil, le fermage convenu, bien qu'excessif, était dû par les fermiers. La dette de fermage a été arrêtée à 193'696 francs. Quant aux montants alloués aux parties par le premier juge à titre d'indemnité, ils ont été confirmés. Après compensation, les demandeurs étaient débiteurs solidaires des défenderesses à concurrence de 44'296 fr., avec intérêts.
C. Les fermiers exercent un recours en matière civile contre l'arrêt du 15 décembre 2010. Ils concluent à l'admission du recours et à la réforme du jugement entrepris, dans le sens d'un rejet du recours cantonal, soit d'une condamnation des bailleresses à payer aux fermiers la somme de 144'153 fr.55, avec intérêts à 5% l'an dès le 20 juin 2007; ils requièrent également la condamnation des bailleresses, solidairement entre elles, au paiement des dépens de seconde instance. A l'appui de leurs conclusions, les recourants dénoncent une violation de l'art. 45 LBFA.
Les intimées concluent au rejet du recours, dans la mesure de sa recevabilité.
Considérant en droit:
1. 1.1 Interjeté par les parties condamnées à paiement (art. 76 al. 1 LTF) et dirigé contre un jugement final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse dépasse largement le seuil de 30'000 fr. (art. 74 al. 1 let. b LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 48 al. 1 et 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 135 III 397 consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 III 397 consid. 1.4 p. 400; 135 II 384 consid. 2.2.1 p. 389).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (ATF 136 II 304 consid. 2.4 p. 314; 135 III 127 consid. 1.5 p. 130, 397 consid. 1.5 p. 401; 135 II 145 consid. 8.1 p. 153) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 136 I 184 consid. 1.2 p. 187; 133 IV 286 consid. 1.4 et 6.2). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau, ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
En l'espèce, les faits ne sont pas contestés par les recourants. Dès lors, le Tribunal fédéral conduira son raisonnement juridique sur la base des faits établis par la cour cantonale (art. 105 al. 1 LTF).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. Dans l'unique grief soulevé à l'appui de leur recours, les recourants se plaignent d'une violation de l'art. 45 de la loi sur le bail à ferme agricole (LBFA; RS 221.213.2), qui prescrit que la convention relative au fermage est nulle dans la mesure où celui-ci dépasse le montant licite. Ils se livrent à une interprétation littérale, historique et téléologique de la disposition querellée.
Selon la jurisprudence, la loi s'interprète en premier lieu selon sa lettre (interprétation littérale). Si le texte n'est pas absolument clair, si plusieurs interprétations de celui-ci sont possibles, il convient de rechercher quelle est la véritable portée de la norme, en la dégageant de tous les éléments à considérer, soit notamment des travaux préparatoires (interprétation historique), du but de la règle, de son esprit, ainsi que des valeurs sur lesquelles elle repose, singulièrement de l'intérêt protégé (interprétation téléologique) ou encore de sa relation avec d'autres dispositions légales (interprétation systématique). Le sens que prend la disposition dans son contexte est également important (ATF 135 III 640 consid. 2.3.1 p. 644 et la jurisprudence citée).
3. L'autorité cantonale a nié toute nullité de la convention d'affermage au sens de l'art. 45 al. 1 LBFA, au motif que le montant licite n'a pas pu être fixé par l'autorité au terme de la procédure d'opposition des art. 43 ss LBFA.
3.1 Les recourants opposent la version française du texte de l'art. 45 al. 1 LBFA à la version allemande et affirment qu'il n'y a aucune raison de préférer cette version-ci à celle-là. Ainsi, ils soutiennent que la nullité de la convention relative au fermage n'est pas conditionnée au prononcé d'une décision. Ils ajoutent que même si telle devait être le cas, rien n'indique que cette décision devrait s'inscrire dans le cadre de la procédure d'opposition de l'art. 43 LBFA. Elle pourrait également être issue de la procédure prévue à l'art. 49 LBFA.
Dans un arrêt non publié s'agissant du considérant topique (arrêt 4P.143/2003 du 16 septembre 2003, consid. 2.3), le Tribunal fédéral a eu l'occasion de préciser que le texte allemand de l'art. 45 al. 1 LBFA est plus précis que le texte français, dès lors qu'il se réfère au montant fixé par l'autorité pour dire dans quelle mesure la convention relative au fermage est nulle ("Die Vereinbarung über den Pachtzins ist nichtig, soweit dieser das durch die Behörde festgesetzte Mass übersteigt"). Au regard du texte allemand de la disposition querellée, il appert que seule une décision de l'autorité compétente peut constater le caractère illicite du montant convenu, qui reste valable tant que l'autorité ne s'est pas prononcée. Cette interprétation est du reste partagée par la doctrine majoritaire (CLAUDE PAQUIER-BOINAY, Le contrat de bail à ferme agricole: conclusion et droit de préaffermage, Lausanne 1990, p. 210; BENNO STUDER/EDUARD HOFER, Le droit du bail à ferme agricole, 1988, p. 302; MANUEL MÜLLER, Les dispositions de droit privé de la loi fédérale sur le bail à ferme agricole, in Communications de droit agraire/Blätter für Agrarrecht 1987, note de pied no 29, p. 41). Elle est de même confirmée par les travaux préparatoires, puisque, comme précisé dans l'arrêt précité, l'alinéa 1 du projet du Conseil fédéral, qui proposait de ne rendre exigible le fermage qu'à partir de l'entrée en force de la décision d'approbation, a été biffé par le Conseil des Etats, qui a rédigé la version actuelle de l'art. 45 al. 1 LBFA (BO/CE 1983, p. 528 s.; Message du 11 novembre 1981 concernant la LBFA, in FF 1982 I 269, p. 307 et 325).
On ne saurait donc suivre les recourants lorsqu'ils sous-entendent que le fermage ne lie pas le fermier tant qu'il n'a pas reçu l'approbation définitive de l'autorité.
3.2 Le contrôle du fermage est régi par la section 3 du chapitre 4 consacré au fermage, plus précisément par les art. 42 à 46 LBFA. La procédure de contrôle est différente selon que le bail porte sur une entreprise agricole ou un immeuble agricole. Dans le premier cas, le fermage est soumis à l'approbation de l'autorité, qui doit être saisie par le bailleur dans les trois mois dès l'entrée en jouissance de la chose affermée (art. 42 al. 1 et 2 LBFA); si elle apprend qu'un fermage n'a pas été approuvé, l'autorité cantonale ouvre la procédure d'approbation (art. 42 al. 3 LBFA). Dans le second cas, c'est l'autorité qui peut former opposition contre le fermage convenu dans les trois mois à compter du jour où elle a eu connaissance de la conclusion du bail, mais au plus tard deux ans après l'entrée en jouissance de la chose affermée ou après l'adaptation du fermage (art. 43 al. 1 et 2 LBFA).
La procédure d'opposition prévue dans le cas d'un immeuble agricole ne peut être initiée que par l'autorité désignée par le canton, soit, dans le canton de Vaud, par la Commission d'affermage (art. 13 let. e de la loi d'application de la loi fédérale du 4 octobre 1985 sur le bail à ferme agricole [LVLBFA; RS/VD 221.313]), à l'exception des tiers et des parties.
Contrairement à ce que soutiennent les recourants, les auteurs sont unanimes sur la question (MANUEL MÜLLER, op. cit., n. 3.2.2, p. 41; STUDER/HOFER, op. cit., p. 300; PAQUIER-BOINAY, op. cit., p. 211). L'examen des travaux préparatoires va également dans ce sens, puisqu'à la suite des délibérations du Conseil des Etats, la possibilité pour le fermier de s'opposer au fermage d'un immeuble agricole, telle qu'envisagée par le Conseil fédéral (cf. Message, p. 306), a été biffée (BO/CE 1983, p. 528), le Conseil des Etats ayant adopté la proposition de la commission. Cette dernière voyait le droit d'opposition formel d'une partie comme superflu ("überflüssig") et considérait comme quelque peu choquant ("stossend") que l'un des cocontractants, qui vient de signer un contrat, puisse s'adresser le lendemain, ou peu de temps après, à une autorité et faire annuler une partie de ce contrat. Compte tenu du but d'intérêt public poursuivi par la LBFA, qui limite d'autant la liberté contractuelle des parties, la commission était d'avis que le droit d'opposition était du ressort des autorités et non pas des parties au contrat (BO/CE 1983, p. 528).
Rien ne s'oppose néanmoins à ce que les tiers et parties s'adressent à l'autorité compétente afin de lui communiquer des informations sur le caractère illicite du fermage et de lui demander d'agir (PAQUIER-BOINAY, op. cit., note de pied no 82, p. 211). Et l'autorité doit faire opposition, si elle a connaissance d'un fermage surfait pour un immeuble dans les délais à disposition (STUDER/HOFER, op. cit., p. 300); en cas de non-intervention, l'autorité s'expose à des mesures disciplinaires (PAQUIER-BOINAY, op. cit., p. 211 s.; STUDER/HOFER, op. cit., p. 300). Quoi qu'en disent les recourants, on n'y voit aucune volonté du législateur de limiter la protection des fermiers, garantie de manière générale par la LBFA (cf. Message, nos 112.1 et 112.2, p. 272 s.).
Au vu de ce qui précède, les recourants ne sauraient être valablement suivis lorsqu'ils prétendent que la nullité du fermage d'un immeuble agricole pour la part dépassant le montant licite peut être fixée par l'autorité compétente à la demande du fermier, qui serait habilité à requérir une décision fixant le fermage au sens de l'art. 44 LBFA. On relèvera par ailleurs qu'aucune démarche des fermiers allant dans ce sens ne ressort du dossier.
3.3 Les recourants prétendent encore que le montant licite dont fait état l'art. 45 al. 1 LBFA n'est pas du seul ressort de la procédure d'opposition des art. 43 ss LBFA, mais peut être déterminé par décision de l'autorité au sens de l'art. 49 LBFA, sans exigence de délai pour agir.
Il n'est pas contesté que la procédure fixée à l'art. 49 LBFA aboutit à une décision en constatation, ce qui ressort du reste clairement de la note marginale ("Décision en constatation rendue par l'autorité administrative"), ainsi que du texte de la disposition légale ("... l'autorité administrative compétente sur le fond constate ..."; "La partie peut demander une décision en constatation ..."). En tant que telle, la décision de la Commission d'affermage du 25 septembre 2006 ne peut pas à elle seule invalider rétroactivement la convention passée entre les parties, puisqu'elle ne permet que de dire si le montant du fermage peut, dans une procédure ultérieure - en l'occurrence celle des art. 43 ss LBFA -, être approuvé ou autorisé (cf. YVES DONZALLAZ, Traité de droit agraire suisse: droit public et droit privé, Tome 2, 2006, note de pied no 3526 et les références citées, p. 680). Par ailleurs, cette décision a été rendue sur demande des fermiers, qui étaient légitimés à requérir une telle décision, conformément à ce qui ressort de la disposition légale. Ainsi, admettre la thèse avancée par les recourants en lien avec l'art. 49 LBFA irait à l'encontre de l'intention du législateur, qui, comme on l'a vu (cf. supra, consid. 3.2), n'a pas voulu permettre à l'une des parties au contrat, s'agissant du contrôle du fermage d'un immeuble, d'initier la procédure conduisant à la fixation du montant licite au sens de l'art. 45 al. 1 LBFA.
3.4 Il a été retenu qu'en 2006, plus précisément à la suite de la décision en constatation de la Commission d'affermage, l'autorité compétente pour former opposition a eu connaissance de l'illicéité du fermage. A cette époque toutefois, cette autorité n'était plus habilitée à agir, dès lors que le délai de deux ans prévu à l'art. 43 al. 2 LBFA était largement dépassé. Les conditions relatives à l'opposition au sens de l'art. 43 LBFA n'étant plus réunies, le fermage convenu - bien qu'excessif - était valable sur le plan civil et donc dû par le fermier (cf. supra, consid. 3.1). Sur ce point, la décision de l'autorité cantonale est exempte de tout reproche.
3.5 En conclusion, on ne décèle aucune violation par l'autorité cantonale du droit fédéral, en particulier de la LBFA.
4. Il résulte des considérants qui précèdent que le recours doit être rejeté.
Les frais judiciaires et les dépens sont mis à la charge des recourants, qui succombent (art. 66 al. 1 et 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, fixés à 5'000 fr., sont mis à la charge des recourants.
3. Les recourants verseront solidairement aux intimées, créancières solidaires, une indemnité de 6'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 1er juillet 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Crittin