Faits:
A. Le 1er janvier 1969, A.Y._ et X._, tous deux agriculteurs, ont conclu un «contrat d'association». Cette société simple avait notamment pour but l'exploitation en commun des terres appartenant aux associés ou louées par les associés, ainsi que l'acquisition de l'équipement, des animaux et des produits nécessaires à la bonne exploitation de ces terres.
Le 15 juin 1977, une convention a été passée entre X._, A.Y._ et le fils de ce dernier, F.Y._, qui prenait la place de son père dans la société simple. La convention prévoyait la remise de l'actif et du passif de A.Y._ à F.Y._ à partir du 1er janvier 1977, soit la moitié des montants suivants:
«Bétail 431'000 fr.
Chédail 275'000 fr.
Créances commerciales 208'000 fr.
Caisse + Chèques postaux 3'800 fr.
Divers + Marchandises 101'000 fr.
Banque Cantonale Vaudoise 343'884 fr.
Investissements A.Y._ 353'000 fr.
Investissements X._ 323'016 fr.
Solde pour balance 1'018'900 fr. 1'018'900 fr.»
Au fil des années, X._ et F.Y._ ont éprouvé toujours plus de difficultés à s'entendre sur la gestion de leur entreprise commune. En 1995, ils ont décidé de dissoudre la société simple. La date de la dissolution a été arrêtée au 30 novembre 1995. Ils ont confié à Prométerre, Office de conseil agricole, le mandat d'étudier les modalités de la dissolution et d'élaborer un rapport en vue de la liquidation de la société simple. Selon le projet de rapport de Prométerre du 5 août 1996, les biens gérés dans le cadre de la société simple sont les suivants:
a) des biens immobiliers (divers investissements réalisés dans les bâtiments privés des associés; une parcelle à S._ qui comporte une halle destinée à l'engraissement des bovins et moutons, deux silos à fourrage et une fosse à purin; 2/3 de deux parcelles à D._, en copropriété avec A._);
b) un capital-plantes (1285 ares de culture intensive de pommiers et 135 ares de vignes);
c) un capital fermier (machines, marchandises produites et achetées, des moutons, diverses installations fixes);
d) des actifs et passifs financiers (caisse, compte de chèques postaux, comptes courants, emprunts hypothécaires, comptes d'apport des associés);
e) des terres en location (42,87 ha de terres louées à divers propriétaires ainsi qu'à la commune de S._).
La société simple disposait également d'une main-d'oeuvre permanente, parmi laquelle figurait C._ qui occupait un logement dans un immeuble propriété de F.Y._.
Pour chaque élément, le projet de rapport Prométerre propose une solution différenciée en vue de la liquidation. Il précise toutefois que les opérations de liquidation proprement dites sont laissées au soin des parties.
Ce document n'a pas été signé par F.Y._ et X._.
B. B.a Par requête du 6 mars 2000, F.Y._ a pris les conclusions suivantes contre X._:
«I. La société simple formée entre parties selon contrats des 1er janvier 1969 et 15 juin 1977 a pris fin et est dissoute.
II. La société simple susmentionnée doit être liquidée selon les modalités que le demandeur se réserve de préciser ultérieurement en cours d'instance.
III. Un liquidateur est désigné par l'autorité judiciaire aux fins de procéder à la liquidation à l'amiable si faire se peut ou, à défaut, faire rapport à Monsieur le Président sur les points de divergence entre parties, assorti de propositions de règlement.»
B.b En cours d'instance, un mandat d'expert a été confié à B._, notaire. Dans son rapport du 15 avril 2002, l'expert a traité les objets tels qu'ils avaient été séparés dans le projet de rapport Prométerre du 5 août 1996. Il a relevé qu'il était impossible de fixer une date unique de liquidation, dès lors que, depuis la dissolution intervenue le 30 novembre 1995, certains éléments avaient été répartis, vendus ou modifiés; pour les échéances hypothécaires, il a retenu la date des derniers relevés reçus, la date du jugement étant déterminante pour le solde. Selon les conclusions de l'expert, les parties se devaient réciproquement les montants suivants:
X._ doit à F.Y._:
- hypothèques (1/3) de D._ 33'379 fr.80
- capital-plantes arboricoles 60'000 fr.
- 1/2 filets 27'000 fr.
- fermage de R._ 65'000 fr.
- fermage de T._ 5'600 fr.
- fermage de U._ 36'875 fr.
- indemnité d'arrachage d'arbres 6'000 fr.
- capital-vigne 45'000 fr.
- décompte machines et installations fixes 27'625 fr.
- main-d'oeuvre (loyer) 63'900 fr.
- part s/location V._ 5'250 fr.
Total 375'629 fr.80
F.Y._ doit à X._:
- vente betteraves 1996 28'373 fr.
- fermage D._ 21'875 fr.
- hypothèque R._ 5'250 fr.
- hypothèque D._ 1'549 fr.50
- part liquidation société simple 27'554 fr.20
- part facture E._ 1'331 fr.35
- part facture entretien machines 2'250 fr.
Total 88'183 fr.05
En définitive, X._ était débiteur envers F.Y._ d'un montant de 287'446 fr.75 (375'629 fr.80 - 88'183 fr.05).
Au surplus, l'expert a mis en évidence six points de désaccord entre les parties, à savoir la répartition de la parcelle de S._, la valeur de rachat du capital-plantes arboricoles fixée à 60'000 fr., la valeur de rachat des filets fixée à 27'000 fr., la valeur de rachat du capital-plantes viticoles fixée à 45'000 fr., le goodwill sur les moutons par 150'000 fr. et la somme de 60'000 fr. pour la mise à disposition des bâtiments de X._ à la société simple.
X._ a requis un complément d'expertise sur cinq points, à savoir la séparation de la halle de S._, les fermages, le capital-plantes, les machines et la location à C._. Dans son rapport complémentaire du 29 avril 2003, l'expert a entièrement confirmé ses conclusions du 15 avril 2002.
Par requête complémentaire du 7 novembre 2003, F.Y._ a conclu à ce que X._ soit condamné à lui payer la somme de 287'446 fr.75 plus intérêts à 5% dès le 1er janvier 1996.
B.c L'Union suisse des paysans (USP) s'est vu confier une seconde expertise, qui portait uniquement sur deux prétentions de X._ envers F.Y._, soit un goodwill sur l'élevage de moutons par 150'000 fr. et une indemnisation pour mise à disposition de bâtiments à la société simple par 60'000 fr.
Dans son rapport du 3 avril 2007, l'expert de l'USP a nié l'existence d'un goodwill sur le commerce de moutons; sur le second point, il a évalué à 2'385 fr. par an le loyer annuel pour la mise à disposition des surfaces indiquées par X._ dans ses propres bâtiments.
B.d Le 7 janvier 2008, X._ a déposé une requête de réforme selon l'art. 153 CPC/VD, puis, le 6 juin 2008, une requête de réforme complémentaire. Lors de l'audience incidente du 20 juin 2008, il a conclu reconventionnellement à ce que F.Y._ soit condamné à lui payer la somme de 988'320 fr. avec intérêts à 5% dès la date de la dissolution de la société simple; pour sa part, F.Y._ a pris une conclusion complémentaire tendant à ce que X._ soit condamné à lui payer, en sus du montant de 287'446 fr.75, la somme de 250'000 fr. plus intérêts à 5% dès le 1er janvier 1996.
Par jugement incident du 18 juillet 2008, le Président du Tribunal civil de l'arrondissement de La Côte a rejeté les deux requêtes de réforme; par ailleurs, les conclusions prises par les parties lors de l'audience du 20 juin 2008 ont été interprétées comme une précision de leurs conclusions au fond. Contre ce jugement incident, X._ a formé un recours, qui sera rejeté par la Chambre des recours du Tribunal cantonal du canton de Vaud dans un arrêt du 4 novembre 2009.
B.e Le 2 septembre 2010, X._ a déposé une requête en déclinatoire. Il faisait valoir que le Tribunal civil de l'arrondissement de La Côte n'était pas compétent pour se prononcer sur la question de la mise à disposition de C._, employé de X._, d'un appartement de F.Y._, l'existence ou non d'un bail relevant de la compétence exclusive du Tribunal des baux.
Lors de l'audience de jugement du 16 septembre 2010, X._ a invoqué la prescription.
Par arrêt du 19 octobre 2010, la Chambre des recours a déclaré sans objet le recours interjeté par X._ contre le refus du 9 septembre 2010 du Président du Tribunal de l'arrondissement de La Côte d'entrer en matière sur la requête de déclinatoire et a rayé la cause du rôle.
Par jugement du 7 décembre 2010, le Tribunal civil de l'arrondissement de La Côte a constaté que la société simple formée par X._ et F.Y._, dissoute le 30 novembre 1995, était liquidée, puis a dit que X._ devait à F.Y._ un montant de 318'343 fr.60 avec intérêt à 5% dès le 1er mars 2003, échéance moyenne; toutes autres ou plus amples conclusions ont été rejetées. A titre préalable, le tribunal a reconnu sa compétence pour statuer sur la question de la mise à disposition d'un appartement à C._. Par ailleurs, il a jugé que X._ commettait un abus de droit en se prévalant de la prescription. Sur le fond, il est parti des montants figurant dans l'expertise B._ et en a actualisé certains pour tenir compte de la période allant du dépôt du rapport du 15 avril 2002 jusqu'à la veille de l'audience de jugement.
X._ a recouru contre ce jugement auprès de la Chambre des recours. Par arrêt du 6 juillet 2011, la cour cantonale a admis partiellement le recours et, sur le fond, réformé le jugement de première instance uniquement en ce qui concerne le point de départ des intérêts, reporté au 12 novembre 2003, la décision du 7 décembre 2010 étant confirmée pour le surplus.
C. X._ interjette un recours en matière civile et un «recours en matière constitutionnelle subsidiaire». Principalement, il demande la réforme de l'arrêt attaqué en ce sens que les conclusions de F.Y._ sont rejetées. A titre subsidiaire, il conclut à l'annulation de l'arrêt cantonal, au renvoi de la cause à la Commission de conciliation en matière de baux à loyer en tant qu'elle concerne l'existence ou l'inexistence d'un bail, notamment avec C._, et, pour le reste, au renvoi de la cause à la Chambre des recours pour nouvelle instruction et nouvelle décision dans le sens des considérants.
Le recourant a déposé une demande d'effet suspensif, rejetée par ordonnance du 19 octobre 2011 de la Présidente de la cour de céans.
F.Y._ conclut au rejet du recours.
A la suite de la réponse de l'intimé, le recourant a déposé des observations.
Pour sa part, la cour cantonale s'est référée aux considérants de son arrêt.
Considérant en droit:
1. 1.1 Interjeté par la partie qui a succombé dans ses conclusions devant l'autorité précédente (art. 76 al. 1 LTF) et dirigé contre un arrêt final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance statuant sur recours (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (art. 74 al. 1 let. b LTF), le recours en matière civile est en principe recevable, puisqu'il a été déposé dans le délai (art. 45 al. 1 et art. 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
Par conséquent, le recours constitutionnel exercé parallèlement par le recourant est irrecevable (art. 113 LTF). Cependant, les griefs d'ordre constitutionnel soulevés dans le recours constitutionnel subsidiaire, à supposer qu'ils répondent aux exigences de motivation posées à l'art. 106 al. 2 LTF, pourront être examinés dans le cadre du recours en matière civile, puisque l'intitulé erroné d'un recours ne doit pas nuire à son auteur (ATF 134 III 379 consid. 1.1 p. 382); c'est le lieu de préciser que la notion de droit fédéral de l'art. 95 let. a LTF englobe le droit constitutionnel (ATF 135 III 670 consid. 1.4 p. 674).
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 137 II 313 consid. 1.4 p. 317 s.; 135 III 397 consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 II 384 consid. 2.2.1 p. 389; 135 III 397 consid. 1.4 p. 400). Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (ATF 137 I 58 consid. 4.1.2 p. 62; 137 II 353 consid. 5.1 p. 356) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 137 II 353 consid. 5.1 p. 356; 136 I 184 consid. 1.2 p. 187). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. Avant d'examiner les différents griefs soulevés par le recourant, il convient de rappeler la manière dont la liquidation de la société simple formée par les parties s'est déroulée.
Il n'est pas contesté que la société simple a été dissoute en date du 30 novembre 1995, d'entente entre les parties. A partir de ce moment-là, la société avait pour but unique sa propre liquidation (cf. ATF 119 II 119 consid. 3a p. 122; plus récemment, arrêt 4A_398/2010 du 14 décembre 2010 consid. 5.2.4.5). Les art. 548 ss CO, qui contiennent quelques règles sur la liquidation de la société simple, sont de nature dispositive (arrêt précité du 14 décembre 2010 consid. 5.2.4.5). En principe, les associés doivent procéder en commun à la liquidation (art. 550 al. 1 CO). Mais ils peuvent conventionnellement confier la liquidation à un tiers, par exemple (TERCIER/FAVRE, Les contrats spéciaux, 4e éd. 2009, n° 7742 p. 1158; FRANÇOIS CHAIX, in Commentaire romand, Code des obligations II, 2008, n° 2 et n° 5 ad art. 548-550 CO). Ils peuvent également prévoir par contrat les opérations de liquidation (HANDSCHIN/VONZUN, Zürcher Kommentar, 4e éd. 2009, n° 36 ad art. 548-551 CO). La liquidation comprend tant le règlement des relations juridiques avec des tiers (liquidation externe) que la répartition entre les associés des actifs ou des passifs restants (liquidation interne) (ATF 119 II 119 consid. 3a). Selon le principe de l'unité de la liquidation, les opérations de liquidation doivent se faire de manière globale; la liquidation est terminée lorsque toutes les affaires ont été réglées conformément au droit des sociétés (ATF 116 II 316 consid. 2d; plus récemment, arrêt 4A_509/2010 du 11 mars 2011 consid. 6.2).
En l'espèce, les parties se sont adressées ensemble à Prométerre afin d'établir une convention de liquidation. L'organisation agricole a rédigé un projet en date du 5 août 1996. Celui-ci distingue les différents biens de la société simple et prévoit un mode de liquidation pour chaque élément. Ainsi, par exemple, les trois parcelles de R._, T._ et U._, dont l'intimé propriétaire avait cédé la jouissance à la société simple, seront dorénavant louées au recourant, les valeurs locatives étant fixées respectivement à 10'400 fr., 5'600 fr. et 5'900 fr. Les parties n'ont pas signé le projet de Prométerre, mais, sur plusieurs points, elles se sont conformées à ce rapport. Par exemple, après la dissolution, le recourant a effectivement exploité seul les trois parcelles de l'intimé susmentionnées.
Depuis 1996, les parties n'ont pas été en mesure de procéder à toutes les opérations nécessaires à la liquidation de la société simple. C'est pourquoi l'intimé a ouvert action. Dans le cadre de la procédure judiciaire, l'expert B._ a été désigné afin de dresser un rapport de liquidation. A la suite des juges de première instance, la cour cantonale s'est fondée sur le rapport de l'expert du 15 avril 2002 et son rapport complémentaire du 29 avril 2003; les chiffres de l'expertise ont été repris, puis, en tant que besoin, actualisés à la date du jugement de première instance.
3. Dans un premier temps, le recourant soulève la question du déclinatoire en rapport avec la mise à disposition de C._, précédemment employé par la société simple, d'un logement appartenant à l'intimé. D'une part, le refus des autorités cantonales de rendre une décision incidente sur cette question constituerait une application arbitraire de l'art. 146 du code de procédure civile du canton de Vaud du 14 décembre 1966 (CPC/VD), alors applicable. D'autre part, s'agissant d'un bail, le déclinatoire en faveur des autorités compétentes en matière de baux et loyers aurait dû être admis conformément à l'art. 274a aCO et à l'art. 1 al. 1 de la loi vaudoise sur le Tribunal des baux du 13 décembre 1981 (LTB) en vigueur à l'époque.
3.1 Sur le premier point, le recourant se borne à prétendre que l'absence de décision incidente l'aurait privé d'un appel selon la nouvelle procédure civile fédérale. Pour le surplus, il n'explique d'aucune manière en quoi l'art. 146 CPC/VD aurait été appliqué arbitrairement, de sorte que le moyen fondé sur l'art. 9 Cst. se révèle d'emblée irrecevable, faute d'une motivation suffisante (cf. consid. 1.2. in fine).
3.2 Sur le second point, il y a lieu de rappeler les éléments suivants. Avant la dissolution de la société simple, C._ travaillait pour cette dernière et était logé dans un appartement propriété de l'intimé. Au cours de la liquidation, les parties ont convenu, sous l'égide de Prométerre, que C._ travaillerait désormais pour le recourant tout en continuant d'être logé chez l'intimé, ce qui n'est pas contesté par le recourant. A partir de juillet 1996, l'intimé devait recevoir 900 fr. par mois pour cette location; ce montant devait être payé par le recourant. Dès juin 2002, C._ a réglé cette somme directement à F.Y._ et le recourant a adapté son salaire en conséquence. Il est possible que les parties à la présente procédure aient passé un contrat de bail, le recourant sous-louant ensuite l'appartement en cause à C._. Peu importe toutefois. Ce qui est déterminant, c'est que, en agissant comme elles l'ont fait, les parties ont réglé l'un des points soulevés par la dissolution de la société simple, à savoir la situation d'un travailleur de la société simple logé dans un appartement d'un membre de ladite société. Les mesures concernant C._ font partie des opérations de liquidation de la société simple, pour le jugement desquelles la compétence ratione materiae du Tribunal civil de l'arrondissement de La Côte est manifestement donnée.
En conclusion les griefs dirigés contre le refus du déclinatoire ne peuvent être que rejetés.
4. Invoquant l'art. 29 al. 2 Cst., le recourant se plaint d'une violation de son droit d'être entendu. Il est d'avis que le juge instructeur du tribunal d'arrondissement aurait dû donner suite à sa requête de nouvelle expertise du 3 mai 2010, fondée sur l'art. 237 al. 2 CPC/VD. Le recourant fait également valoir que les faits justifiant ses conclusions à hauteur de 988'320 fr. ne pouvaient être prouvés que par expertise.
4.1 De manière générale, le droit de produire des preuves pertinentes et d'obtenir qu'il soit donné suite à des offres de preuve portant sur des mesures probatoires utiles à la manifestation de la vérité se déduit du droit d'être entendu (ATF 137 I 279 consid. 2.3 p. 382; 135 II 286 consid. 5.1 p. 293; 135 V 465 consid. 4.3.2 p. 469).
Cependant, pour toutes les prétentions relevant du droit privé fédéral - comme celles qui sont litigieuses en l'espèce -, le droit à la preuve est régi par l'art. 8 CC. Cette disposition prime alors l'art. 29 al. 2 Cst. (arrêt 5A_726/2009 du 30 avril 2010 consid. 3.1 non publié in ATF 136 III 365; arrêt 5A_620/2007 du 7 janvier 2010 consid. 6.1 publié in SJ 2010 I p. 568).
Un droit à la preuve et à la contre-preuve est déduit de l'art. 8 CC. Le juge viole cette disposition s'il refuse d'administrer une preuve régulièrement offerte, dans les formes et les délais prévus par la loi de procédure, et portant sur un fait pertinent pour l'appréciation juridique de la cause (ATF 133 III 189 consid. 5.2.2 p. 195, 295 consid. 7.1 p. 299 et les arrêts cités).
4.2 Le rapport d'expertise de l'USP du 3 avril 2007 a été notifié aux parties en date du 7 mai 2007. Aux termes de l'art. 237 al. 2 CPC/VD alors applicable, la communication aux parties du rapport d'expertise s'accompagne de la fixation d'un délai pour adresser au juge des observations en vue de provoquer un complément d'expertise ou une nouvelle expertise. En l'espèce, le recourant a demandé et obtenu plusieurs prolongations de ce délai. A l'échéance du dernier délai fixé par le juge, le recourant n'a pas requis un complément d'expertise ni une nouvelle expertise sur la base de l'art. 237 al. 2 CPC/VD, mais a déposé la requête de réforme du 7 janvier 2008, complétée le 6 juin 2008; il souhaitait alléguer et prouver des faits nouveaux, destinés à établir sa créance; lors de l'audience incidente du 20 juin 2008, il a d'ailleurs introduit une conclusion en complément de sa requête du 7 janvier 2008, tendant à être autorisé à introduire dans sa réponse une conclusion reconventionnelle contre l'intimé en paiement de 988'320 fr. plus intérêts. La requête de réforme a été rejetée le 18 juillet 2008 par le Président du Tribunal d'arrondissement, dont la décision a été confirmée sur recours par la Chambre des recours en date du 4 novembre 2009.
La nouvelle expertise réclamée par le recourant le 3 mai 2010 portait soit sur des éléments qui avaient déjà fait l'objet des rapports de B._ et de l'USP, soit sur des faits que le recourant avait en vain voulu introduire par le biais de la réforme. Or, sur le premier point, force est de constater qu'une offre de preuve déposée après l'échéance du délai fixé sur la base de l'art. 237 al. 2 CPC/VD n'intervient pas régulièrement selon le droit de procédure applicable. Sur le second point, il n'apparaît pas non plus qu'une preuve soit offerte régulièrement selon le droit de procédure civile vaudois, si le procédé consiste à revenir sur des faits pour lesquels le recourant n'a, de manière définitive, pas été autorisé à se réformer.
Dans ces conditions, le droit à la preuve du recourant n'a pas été méconnu.
5. 5.1 Le recourant conteste les fermages et le loyer que les instances cantonales, sur la base du rapport B._, ont mis à sa charge. A son sens, il n'a jamais conclu de baux avec l'intimé. L'expert se serait fondé à tort sur les conclusions fausses de Prométerre. Tant le tribunal que la Chambre des recours auraient ensuite confirmé le raisonnement erroné de l'expert, écartant indûment le principe jurisprudentiel selon lequel les apports ne sont pas rémunérés dans la société simple.
5.2 Reprenant le projet de rapport Prométerre, l'expert est parti du constat que les trois parcelles arboricoles appartenant à l'intimé (R._, T._ et U._), qui étaient exploitées dans le cadre de la société simple, ont été exploitées par le recourant seul à partir de la dissolution; dès ce moment-là, le recourant devait à l'intimé un fermage, fixé selon les calculs de Prométerre.
Le recourant ne conteste pas avoir exploité seul les parcelles susmentionnées durant la phase suivant la dissolution. On ne voit pas en quoi le fait de mettre à sa charge un fermage dans ces circonstances serait contraire au droit fédéral. Le principe de la non-rémunération des apports dans la société simple, invoqué par le recourant, ne vaut pas pendant la liquidation. Comme déjà relevé (consid. 2), le but de la société simple a été modifié à la dissolution et consistait alors uniquement dans la liquidation de ladite société. La liquidation interne comprend notamment la restitution des apports; lorsque, comme en l'espèce, l'apport réside dans la mise à disposition d'une chose, l'associé en reste propriétaire et la reprend à la dissolution de la société simple (ATF 105 II 204 consid. 2b p. 208; FRANÇOIS CHAIX, op. cit., n° 15 ad art. 548-550 CO). En l'espèce, il ne s'agit donc pas de savoir si un apport d'un associé était rémunéré ou non; à la dissolution de la société, l'intimé a repris la jouissance de ses parcelles et les parties ont convenu alors qu'elles seraient exploitées par le recourant, ce qui, dans ce cadre-là, supposait le paiement d'un fermage. C'est à bon droit que la cour cantonale a reconnu en faveur de l'intimé les créances correspondantes, dont les montants eux-mêmes ne sont pas remis en cause par le recourant.
S'agissant du loyer en rapport avec la mise à disposition d'un appartement à C._, il a déjà été observé (consid. 3.2) que le règlement du cas de ce travailleur de la société simple logé chez l'intimé relevait des opérations de liquidation. La cour cantonale a retenu que, après la dissolution de la société simple, l'employé travaillerait pour le recourant uniquement et continuerait de loger dans un appartement de l'intimé, moyennant, à partir du 1er juin 1996, un loyer mensuel de 900 fr. pris en charge par le recourant. Dans son mémoire, le recourant ne remet nullement en cause ces constatations et se borne à vouloir supprimer la prétention de 63'900 fr. de l'intimé admise à ce titre par le tribunal d'arrondissement et confirmée par la cour cantonale. Faute d'une motivation suffisante, le moyen soulevé dans le recours sur cette question se révèle irrecevable.
6. 6.1 Le recourant conteste également d'autres créances de l'intimé admises dans l'arrêt attaqué et reprises de l'expertise B._. Tel est le cas de la charge hypothécaire relative aux parcelles de D._, des montants en relation avec le capital-plantes arboricoles, les filets et le capital-vigne, de l'indemnité pour arrachage d'arbres, ainsi que du montant résultant du décompte machines.
6.2 En ce qui concerne la charge hypothécaire en relation avec les parcelles de D._, il ressort des faits constatés par la cour cantonale et non remis en cause par le recourant que ce dernier, l'intimé et A._ étaient copropriétaires desdites parcelles chacun pour un tiers. Il n'est pas contesté que l'intimé payait les charges hypothécaires (intérêts et amortissement) et qu'il louait la part d'un tiers du recourant après la dissolution. Le recourant prétend qu'il doit payer l'intimé pour que celui-ci puisse exploiter la part de parcelle de celui-là, ce qui serait absurde. L'argument est spécieux. Si le recourant doit rembourser à l'intimé des charges hypothécaires relatives aux deux parcelles, c'est en tant que copropriétaire du tiers desdites parcelles et codébiteur de l'emprunt collectif, comme la cour cantonale le relève à juste titre.
6.3 Sur les autres points critiqués par le recourant, les juges cantonaux se sont fondés sur l'expertise B._, dont il n'y a, selon eux, pas lieu de s'écarter en l'absence de motifs déterminants.
En ce qui concerne l'appréciation du résultat d'une expertise, lorsque l'autorité cantonale juge une expertise concluante et en fait sien le résultat, le Tribunal fédéral n'admet le grief d'appréciation arbitraire des preuves que si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, d'une quelconque autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables, même sans connaissances spécifiques, que le juge ne pouvait tout simplement pas les ignorer. Il n'appartient pas au Tribunal fédéral de vérifier si toutes les affirmations de l'expert sont exemptes d'arbitraire; sa tâche se limite bien plutôt à examiner si l'autorité intimée pouvait, sans arbitraire, se rallier au résultat de l'expertise (ATF 133 II 384 consid. 4.2.3 p. 391; 132 II 257 consid. 4.4.1 p. 269). Le recourant doit montrer de manière précise en quoi la décision attaquée serait insoutenable (art. 106 al. 2 LTF; ATF 137 I 58 consid. 4.1.2 p. 62; 134 II 244 consid. 2.2 p. 246).
En l'espèce, le recourant ne démontre pas en quoi les instances cantonales auraient versé dans l'arbitraire en suivant les conclusions de l'expert. S'agissant des indemnités pour le capital-plantes, le capital-vigne et les filets, il se borne à qualifier de «totalement absurde» le fait de leur donner une valeur comptable indépendante du terrain, ce qui ne constitue pas une motivation suffisante. De même, le recourant se contente de contester le bien-fondé de l'indemnité pour arrachage d'arbres et de refuser les machines qui lui sont attribuées dans l'expertise, sans que l'on comprenne où résiderait l'arbitraire. Le grief ne peut être que rejeté dans la mesure où il est recevable.
7. Dans un autre moyen, le recourant s'en prend au rejet du moyen tiré de la prescription des prestations périodiques (fermages et loyer) en jeu dans cette affaire. Il fait valoir que, contrairement à ce que les instances cantonales ont admis, une renonciation à la prescription ne se prouve pas par expertise et qu'il n'y a aucun abus à invoquer la prescription de «créances aussi contestables que celles qu'on cherche à [lui] imposer».
7.1 A teneur de l'art. 2 al. 2 CC, l'abus manifeste d'un droit n'est pas protégé par la loi. De manière générale, les cas d'abus de droit sont l'absence d'intérêt à l'exercice d'un droit, l'utilisation d'une institution juridique contrairement à son but, la disproportion manifeste des intérêts en présence, l'exercice d'un droit sans ménagement ou l'attitude contradictoire (ATF 135 III 162 consid. 3.3.1 p. 169 et les arrêts cités). Plus particulièrement, le débiteur commet un abus de droit en se prévalant de la prescription, non seulement lorsqu'il amène astucieusement le créancier à ne pas agir en temps utile, mais également lorsque, sans mauvaise intention, il a un comportement qui incite le créancier à renoncer à entreprendre des démarches juridiques pendant le délai de prescription et que, selon une appréciation raisonnable, fondée sur des critères objectifs, ce retard apparaît compréhensible; le comportement du débiteur doit être en relation de causalité avec le retard à agir du créancier (ATF 131 III 430 consid. 2 p. 437; 128 V 236 consid. 4a p. 241).
7.2 En l'espèce, dans son rapport du 15 avril 2002, l'expert a noté que, lors d'un entretien du 28 février 2002, les parties avaient renoncé expressément à invoquer la prescription dans ce dossier. Comme les juges cantonaux le relèvent, ce passage du rapport n'a pas été contesté par le recourant. C'est donc que celui-ci reconnaissait avoir effectué une telle déclaration, laquelle n'était, au surplus, assortie d'aucune restriction. En faisant valoir par la suite que des créances résultant de prestations périodiques étaient prescrites, le recourant a adopté une attitude contradictoire constitutive d'un abus de droit. La cour cantonale n'a pas violé l'art. 2 CC en considérant l'invocation de la prescription comme abusive dans le cas présent.
8. 8.1 Le recourant prétend en outre que la Chambre des recours aurait dû reconnaître que le tribunal de première instance avait arbitrairement appliqué les règles de la procédure civile cantonale en instruisant la cause postérieurement à la clôture des débats.
Le lendemain de l'audience du 16 septembre 2010, après la clôture des débats, le Président du Tribunal d'arrondissement de La Côte a demandé par écrit à la mandataire de l'intimé à quoi correspondait le montant de 29'458 fr.33 figurant dans un bordereau qu'elle avait produit la veille. L'interpellée a répondu que ce montant avait trait au fermage de D._ dû par l'intimé au recourant pour la période du 1er avril 2002 au 31 août 2010. Selon le recourant, le tribunal de première instance aurait fait siennes ces explications fournies après la clôture des débats, ce qui serait arbitraire.
8.2 Selon la jurisprudence, le Tribunal fédéral n'annule une décision pour arbitraire que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité. Par ailleurs, il faut que la décision apparaisse arbitraire dans son résultat (ATF 137 I 1 consid. 2.4 p. 5; 136 III 552 consid. 4.2 p. 560; 135 V 2 consid. 1.3 p. 4 s.).
En l'espèce, appelé à actualiser le fermage dit de D._, dû par l'intimé au recourant, pour la période allant de l'expertise B._ à l'audience de jugement, le tribunal de première instance s'est référé à la dimension de la surface exploitée et aux directives du service de l'agriculture pour aboutir à un total de 20'620 fr.80. Ce montant ne correspond pas aux calculs de l'intimé. On ne voit dès lors pas en quoi l'éventuelle violation du droit de procédure civile vaudois, consistant à compléter l'instruction après les débats, aurait pu avoir en l'occurrence une quelconque influence sur le résultat auquel les juges sont parvenus. Le moyen fondé sur l'art. 9 Cst. est manifestement mal fondé.
9. 9.1 En dernier lieu, le recourant reproche à la cour cantonale d'avoir calculé les intérêts dus à l'intimé à partir du 12 novembre 2003 sur la totalité du capital alloué, soit 318'343 fr.60, alors que la requête complémentaire de l'intimé notifiée le 11 novembre 2003 et valant mise en demeure ne portait que sur 287'446 fr.75.
9.2 Le grief est partiellement fondé.
Le montant de 287'446 fr.75 réclamé par l'intimé dans sa requête complémentaire du 7 novembre 2003 et admis dans l'arrêt cantonal correspond au solde du décompte établi par l'expert B._, lequel prenait en considération à la fois les opérations de liquidation proprement dites (la part du recourant dans la liquidation de la société simple par exemple) et les prestations périodiques dues par chaque partie à l'autre après la dissolution de la société simple (les fermages par exemple). Pour ce montant-là, la mise en demeure du 11 novembre 2003 est effectivement déterminante pour calculer le point de départ des intérêts moratoires (cf. art. 104 al. 1 et art. 102 al. 1 CO).
L'intimé s'est vu en outre allouer un montant supplémentaire de 30'896 fr.85 (318'343 fr.60 - 287'446 fr.75), correspondant au solde dit «réactualisé» du décompte des prestations périodiques liées aux postes «hypothèque D._», «fermage D._», «fermage R._», «fermage U._» et «loyer C._». Cette créance concerne la période allant du rapport de l'expert B._ (avril 2002) à l'audience de jugement devant le tribunal de première instance (septembre 2010). Elle n'est pas comprise dans l'interpellation du 11 novembre 2003, laquelle, par ailleurs, ne pouvait valoir mise en demeure de payer des dettes dont certaines n'étaient pas encore nées. Par conséquent, la cour cantonale a violé le droit fédéral en fixant un point de départ unique au 12 novembre 2003 pour le calcul des intérêts sur la totalité de la somme en jeu.
Comme le montant de 30'896 fr.85 se rapporte exclusivement à des prestations périodiques, il convient de calculer les intérêts à partir d'une échéance moyenne (cf. LUC THÉVENOZ, in Commentaire romand, Code des obligations I, 2003, n° 10 ad art. 104 CO), et non du lendemain de la notification des conclusions complémentaires de l'intimé du 20 juin 2008 tendant au paiement d'un montant de 250'000 fr. plus intérêts à 5% dès le 1er janvier 1996. L'échéance moyenne entre le 15 avril 2002 (rapport B._) et le 16 septembre 2010 (audience de jugement de première instance) correspond au 1er juillet 2006. En conséquence, il convient d'accorder des intérêts à 5% l'an sur le montant de 30'896 fr.85 à partir du 1er juillet 2006.
10. Sur le vu de ce qui précède, le recours en matière civile doit être très partiellement admis dans la mesure où il est recevable. L'arrêt attaqué est annulé; le recourant doit à l'intimé le montant de 287'446 fr.75 avec intérêts à 5% l'an dès le 12 novembre 2003 et le montant de 30'896 fr.85 avec intérêts à 5% l'an dès le 1er juillet 2006.
Le capital avec intérêts alloué à l'intimé par la cour cantonale jusqu'à sa décision représentait une somme de plus de 400'000 fr. En définitive, le recourant n'obtient gain de cause que pour environ 1% de ce montant. Pour ce résultat, il a dû pourtant agir devant le Tribunal fédéral, ce qu'il se justifie de prendre en compte dans la répartition des frais et dépens de la procédure fédérale. En conséquence, les frais judiciaires seront mis à raison de 9/10èmes à la charge du recourant et de 1/10ème à la charge de l'intimé (art. 66 al. 1 LTF). Par ailleurs, le recourant versera à l'intimé des dépens légèrement réduits (art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est partiellement admis dans la mesure où il est recevable.
L'arrêt attaqué est annulé.
X._ est le débiteur de F.Y._ d'un montant de 287'446 fr.75 avec intérêts à 5% l'an dès le 12 novembre 2003 et d'un montant de 30'896 fr.85 avec intérêts à 5% l'an dès le 1er juillet 2006.
3. Les frais judiciaires, arrêtés à 6'500 fr., sont mis pour 9/10èmes à la charge du recourant et pour 1/10ème à la charge de l'intimé.
4. Le recourant versera à l'intimé une indemnité de 6'000 fr. à titre de dépens réduits.
5. La cause est renvoyée à la Chambre des recours du Tribunal cantonal du canton de Vaud pour nouvelle décision sur les frais et dépens de la procédure cantonale.
6. Le présent arrêt est communiqué aux mandataires des parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 8 mars 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
La Greffière: Godat Zimmermann