Faits: A. A.a Le 7 juin 1996, un contrat de bail à ferme agricole a été signé entre V._, A._ et W._, en qualité de preneurs, et X._ et Y._, en qualité de propriétaires. Le bail, qui portait sur sept terrains agricoles, sur un hangar érigé sur l'un d'entre eux, ainsi que sur un terrain viticole, prenait effet le 1er mars 1997 pour se terminer le 28 février 2013. Le montant annuel du fermage des terrains et équipements agricoles s'élevait à 29'200 fr. et celui de la location de la vigne à 16'800 francs. Les échéances de paiement ont été fixées initialement aux 1er mars et 1er septembre de chaque année pour le premier montant et au 1er décembre de chaque année pour le second. La culture des arbres fruitiers, ainsi que l'encépagement de la surface viticole, étaient réglementés par des annexes (nos 1 et 2) au contrat, signées le 8 octobre 1996. Ces annexes fixaient notamment les conditions de remboursement de certains frais, en cas de résiliation du bail avant l'échéance. Le 7 novembre 1996, l'affermage par parcelles a été autorisé par la Commission d'affermage, qui ne s'est pas prononcée sur le montant du fermage. Par avenant du 9 juillet 2001, les échéances de paiement ont été fixées aux 1er avril, 1er juillet, 1er octobre et 31 décembre de chaque année. En juillet 2001, A._ s'est retiré de l'exploitation. A.b A partir de 2003, les fermiers ne se sont pas acquittés régulièrement des fermages convenus, qu'ils considéraient comme trop élevés. Des retards de paiement ont été accusés, ce qui a conduit les bailleresses, par courrier du 22 juin 2005, à résilier le bail pour le 31 décembre 2005. Le 3 janvier 2006, une requête d'expulsion a été introduite auprès du Juge de paix des districts de Nyon et de Rolle, laquelle a donné lieu à une longue procédure, jalonnée de deux recours au Tribunal cantonal et au Tribunal fédéral (arrêt 4C.425/2006 du 26 avril 2007 et décision 4A_13/2007 du même jour). Dans le cadre de l'exécution forcée de l'expulsion, le Juge de paix a, par décision du 17 août 2007, fixé aux fermiers un nouveau délai au 19 octobre 2007 à midi pour quitter les lieux. Le 12 décembre 2007, toutes les parcelles étaient libérées, à l'exception de celle sur laquelle est érigé le hangar. Le 30 janvier 2008, ce dernier était libéré et les opérations d'exécution forcée considérées comme terminées. A cette dernière date, les parties se sont mises d'accord pour que le "portakabin" sis sur la parcelle 970 soit débarrassé le lendemain, ce qui a été respecté. En cours de procédure d'expulsion, le 15 février 2006, les fermiers ont saisi la Commission d'affermage, afin que cette autorité fixe le fermage licite pour la période de 1996 à 2003, puis à partir de 2004. La Commission d'affermage s'est prononcée le 25 septembre 2006: elle a arrêté le fermage maximum des immeubles agricoles à 24'386 fr. pour la période de 1996 à 2003 et à 24'598, pour les années 2004 et suivantes. B. B.a Le 29 mai 2007, V._ et W._ ont ouvert action contre X._ et Y._. Les demandeurs concluaient à ce qu'il soit dit qu'ils ne sont pas les débiteurs des défenderesses à titre de fermage des parcelles 133 et 157 de la Commune de ..., 502, 970 et 1713 de la Commune de ..., 457 de la Commune de ..., 599 de la Commune de ...; ils demandaient que quittance leur soit donnée du paiement du fermage de ces parcelles au 31 janvier 2008. Les défenderesses devaient être en outre condamnées à verser aux demandeurs, solidairement entre eux, le montant de 211'300 fr., avec intérêts à 5% l'an dès le 31 décembre 2005, à titre d'indemnité pour les investissements effectués en lien avec les arbres fruitiers et la surface viticole. Les défenderesses ont conclu au rejet de l'action. Elles ont pris des conclusions reconventionnelles tendant au paiement de 152'167 fr., avec intérêts à 5% l'an dès le 1er mars 2006, à titre d'arriérés de loyers, et de 137'965 fr.90, avec intérêts à 5% l'an dès la date du jugement à venir, à titre de réparation du dommage. Les demandeurs ont conclu au rejet de l'action reconventionnelle. Les parties ont en outre invoqué la compensation. Par jugement du 23 juin 2009, le Président du Tribunal d'arrondissement de La Côte a condamné les défenderesses, solidairement entre elles, à payer aux demandeurs, solidairement entre eux, la somme de 144'153 fr.55, avec intérêts à 5% l'an dès le 20 juin 2007 (ch. I du dispositif), et fixé les frais (ch. II du dispositif) et dépens (ch. III du dispositif). Le magistrat a retenu que seul le fermage licite fixé par la Commission d'affermage le 25 septembre 2006 était dû, avec effet rétroactif. Les fermiers devaient ainsi le montant du fermage licite du 1er mars 2001 au 31 janvier 2008, sous déduction des montants déjà versés, et les bailleresses devaient restituer aux fermiers le montant versé en trop pour les années 1997 à 2001. Il a en outre été jugé que tant les demandeurs que les défenderesses avaient droit à une indemnité, les premiers en raison des investissements réalisés et les secondes conformément à l'équité et au vu des circonstances du cas d'espèce. Après compensation des montants réciproquement dus, les défenderesses étaient débitrices solidaires des demandeurs à concurrence de 144'153 fr.55, avec intérêts. B.b Par arrêt du 15 décembre 2010, la Chambre des recours du Tribunal cantonal vaudois a admis partiellement le recours interjeté par les bailleresses. L'autorité cantonale a réformé les chiffres I et III du dispositif du jugement entrepris. Les demandeurs, solidairement entre eux, ont ainsi été condamnés à payer aux défenderesses, solidairement entre elles, la somme de 44'296 fr., avec intérêts à 5% l'an dès le 23 octobre 2007, et les dépens ont été compensés. Le jugement a été confirmé pour le surplus. L'instance cantonale s'est par ailleurs prononcée sur les frais et dépens de deuxième instance. Les juges cantonaux ont considéré que les conditions pour former opposition contre le fermage d'un immeuble au sens de l'art. 43 LBFA n'étaient plus réunies, compte tenu des délais écoulés. Ils ont en outre relevé que la décision de la Commission d'affermage du 25 septembre 2006 était une décision constatatoire, qui ne permettait pas à elle seule de ramener le fermage au montant licite. Les magistrats ont ainsi conclu que, sur le plan civil, le fermage convenu, bien qu'excessif, était dû par les fermiers. La dette de fermage a été arrêtée à 193'696 francs. Quant aux montants alloués aux parties par le premier juge à titre d'indemnité, ils ont été confirmés. Après compensation, les demandeurs étaient débiteurs solidaires des défenderesses à concurrence de 44'296 fr., avec intérêts. C. Les fermiers exercent un recours en matière civile contre l'arrêt du 15 décembre 2010. Ils concluent à l'admission du recours et à la réforme du jugement entrepris, dans le sens d'un rejet du recours cantonal, soit d'une condamnation des bailleresses à payer aux fermiers la somme de 144'153 fr.55, avec intérêts à 5% l'an dès le 20 juin 2007; ils requièrent également la condamnation des bailleresses, solidairement entre elles, au paiement des dépens de seconde instance. A l'appui de leurs conclusions, les recourants dénoncent une violation de l'art. 45 LBFA. Les intimées concluent au rejet du recours, dans la mesure de sa recevabilité.