Faits:
A. Les frères A.X._ et B.X._ ont fondé en 1979 une société en nom collectif, dont ils sont associés chacun à raison de 50%, intitulée SNC Z._, qui a son siège à ... (Vaud) et qui exploite un chantier naval. Pour son activité, l'entreprise utilise un terrain qui n'appartient pas à la société en nom collectif, mais aux deux frères X._, formant entre eux une société simple à parts égales. L'entreprise est actuellement rentable.
Les frères X._ ont chacun deux fils. Des dissensions sont apparues entre eux au sujet de la reprise et de la continuation de l'activité du chantier naval par leurs descendants. Le 15 avril 2005, ils ont chargé la société D._ SA d'étudier une solution. Des propositions ont été faites par W._, agissant pour D._ SA, mais elles n'ont pas abouti à un accord.
B. Par demande datée du 23 décembre 2005, A.X._ a introduit action devant le Tribunal civil de l'arrondissement de l'Est vaudois, demandant la dissolution et le partage de la société simple, ainsi que la dissolution et la liquidation de la société en nom collectif. Il a invoqué les dissensions internes sérieuses et irrémédiables apparues entre les associés, qui menacent de rendre l'entreprise ingouvernable.
B.X._ a demandé à pouvoir continuer l'activité en désintéressant sa partie adverse.
Une expertise judiciaire a estimé la valeur de rendement du terrain à 1'655'000 fr., sa valeur vénale à 1'582'380 fr. et sa valeur admise à 1'580'000 fr.
Un autre expert, V._, a été chargé d'évaluer la société en nom collectif. Il a proposé la création d'une société anonyme au capital-actions de 400'000 fr., réparti à raison de 200'000 fr. pour chacun des frères; V._ devait fonctionner comme administrateur et recevoir à titre fiduciaire quatre actions pour éviter un blocage; A.X._ devait remettre la moitié de ses actions à chacun de ses fils, tandis que B.X._ remettrait la totalité de ses actions à son fils C.X._, son autre fils n'étant pas intéressé. L'expert a aussi élaboré un projet de cahier des charges. Ses propositions n'ont pas abouti. Le 20 mai 2008, V._y a déposé son rapport, évaluant l'entreprise, en tenant compte du terrain, entre 2'000'000 fr. et 2'200'000 fr.
Par jugement du 10 mai 2010, le président du Tribunal civil de l'arrondissement de l'Est vaudois a autorisé B.X._ à continuer les affaires de la société en nom collectif Z._, moyennant la délivrance à A.X._ de ce qui lui revient dans l'actif social; il a fixé à 1'050'000 fr. la valeur de l'actif social revenant à A.X._, incluant la valeur représentée par le partage de la parcelle se trouvant sur la commune de ...; il a ordonné le transfert de cette parcelle à B.X._ et statué sur les frais et dépens. En substance, le premier juge, procédant à une appréciation des preuves apportées, est parvenu à la conviction que B.X._ et son fils avaient fait preuve d'un esprit positif, acceptant les propositions équilibrées qui leur étaient présentées, tandis que A.X._, et dans une moindre mesure ses fils, avaient fait une obstruction systématique, A.X._ voulant partager l'entreprise en trois, à savoir une part pour chacun de ses fils et une part pour le seul fils de B.X._ disposé à reprendre l'entreprise.
Statuant sur recours le 11 mai 2011, la Chambre des recours du Tribunal cantonal vaudois, statuant par ailleurs sur les frais et dépens, a confirmé le jugement attaqué sauf sur un point: il a supprimé la phrase du dispositif selon laquelle il était ordonné le transfert de la parcelle à B.X._, pour le motif que ce point avait été ajouté dans le dispositif en violation des règles de procédure.
C. A.X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 11 mai 2011. Invoquant une transgression de l'art. 112 al. 1 let. b LTF, une violation du droit d'être entendu (art. 29 al. 2 Cst.) et du droit à la preuve (art. 8 CC), l'arbitraire dans l'appréciation des preuves et l'établissement des faits (art. 9 Cst.), ainsi qu'une violation des art. 577, 579 CO et de l'art. 4 CC, il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale; subsidiairement, il demande à être autorisé (à la place de son frère) à poursuivre l'activité de la société en nom collectif et de fixer la valeur de la part, y compris le partage de la parcelle, qui doit revenir à son frère. Sa requête tendant à faire suspendre l'examen du recours a été refusée par ordonnance présidentielle du 18 octobre 2011. Sa demande d'effet suspensif a été admise par ordonnance présidentielle du 11 novembre 2011.
L'intimé a conclu au rejet du recours avec suite de frais et dépens.
Les parties ont répliqué et dupliqué.
Considérant en droit:
1. 1.1 Le recours est dirigé contre une décision finale au sens de l'art. 90 LTF. Que le juge de première instance doive renotifier son jugement, sans aucune latitude pour le modifier, n'y change rien (ATF 135 V 141 consid. 1.1 p. 143; 134 II 124 consid. 1.3 p. 127).
Interjeté par la partie qui a succombé dans ses conclusions touchant ses intérêts personnels et qui a donc qualité pour recourir (art. 76 al. 1 LTF), le recours, qui est dirigé contre un jugement rendu en matière civile (art. 72 al. 1 LTF) par une autorité supérieure statuant en dernière instance sur recours (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (art. 74 al. 1 let. b LTF), doit être considéré comme recevable, puisqu'il a été déposé dans le délai (art. 45 al. 1, 48 al. 1 et 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc être formé pour violation d'un droit constitutionnel (ATF 136 I 241 consid. 2.1 p. 247; 136 II 304 consid. 2.4 p. 313).
Le Tribunal fédéral applique d'office le droit dont il peut contrôler le respect (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (ATF 137 II 313 consid. 4 p. 317 s.; 135 III 397 consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF 135 II 384 consid. 2.2.1 p. 389; 135 III 397 consid. 1.4 p. 400).
Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (ATF 137 I 58 consid. 4.1.2 p. 62; 137 II 353 consid. 5.1 p. 356) - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (ATF 137 II 353 consid. 5.1 p. 356; 136 I 184 consid. 1.2 p. 187). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (art. 97 al. 1 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. 2.1 Se référant à la jurisprudence du Tribunal fédéral (arrêt 4A_408/2010 du 7 octobre 2010 consid. 2.1 et 4A_231/2010 du 10 août 2010 consid. 2.2), le recourant critique la présentation de l'arrêt cantonal et considère qu'elle viole l'art. 112 al. 1 let. b LTF. Il ressort cependant des arrêts cités que ce grief, même fondé, ne conduit pas nécessairement à un renvoi de la cause à la cour cantonale en application de l'art. 112 al. 3 LTF.
Dans la partie "en fait" de son arrêt, la cour cantonale reproduit intégralement plusieurs longs documents extraits du dossier. Cette manière de faire paraît archaïque dans une procédure écrite, où les pièces produites et les écritures des parties sont versées au dossier et où les déclarations des parties, des témoins ou des experts sont protocolées. L'art. 112 al. 1 let. a LTF prescrit que l'arrêt cantonal doit contenir les conclusions, les allégués, les moyens de preuve offerts et les déterminations des parties, mais seulement lorsque celles-ci ne résultent pas des pièces du dossier; une reproduction textuelle de documents figurant dans le dossier est inutile (BERNARD CORBOZ, Commentaire de la LTF, 2009, n°s 20 s. ad art. 112 LTF). Seuls des passages déterminants au sens de l'art. 112 al. 1 let. b LTF devraient être reproduits textuellement.
Selon l'art. 112 al. 1 let. b LTF, l'arrêt cantonal doit contenir notamment "les motifs déterminants de fait". La cour cantonale doit donc indiquer, sur les points de fait décisifs pour la décision à rendre, ce qu'elle retient, ce qu'elle écarte ou ce qu'elle considère comme douteux; sur les faits contestés, elle doit expliquer comment elle apprécie les preuves et sur quelles bases elle forge son opinion. Dans le chapitre "en fait", la cour cantonale n'indique nullement quels sont les faits qu'elle retient, mais elle se borne à résumer par le détail le contenu de son dossier, à savoir les pièces produites, les déclarations des témoins et des experts, les prises de position des parties et le contenu du jugement attaqué. Une telle description du contenu du dossier ne constitue pas "les motifs déterminants de fait" au sens de l'art. 112 al. 1 let. b LTF, parce qu'il n'est pas possible de déterminer quels sont les faits retenus, c'est-à-dire ceux sur lesquels se fonde le raisonnement juridique. La présentation singulière adoptée par le Tribunal cantonal vaudois a pour conséquence d'enfler le contenu de l'arrêt, puisque la décision proprement dite, en fait et en droit, ne tient en l'espèce que sur moins de dix pages, alors que l'arrêt en compte cinquante-huit.
Comme dans les arrêts déjà cités, il n'y a cependant pas lieu de renvoyer la cause à la cour cantonale, parce que les constatations de fait nécessaires figurent dans le chapitre intitulé "en droit", où elles sont mélangées avec des considérations juridiques. Il résulte en effet de la lecture de ce chapitre que la cour cantonale, se référant à des moyens de preuve, est parvenue à la conviction que le recourant, par son attitude, avait provoqué le blocage et qu'il lui appartenait donc de quitter l'entreprise pour ce motif.
2.2 Les magistraux cantonaux ont considéré que les parties avaient conclu entre elles un contrat de société simple (art. 530 CO) pour l'exercice du droit de propriété sur la parcelle. Il n'y a pas lieu de revenir sur cette qualification juridique qui n'est pas discutée par les parties (cf. supra consid. 1.2). Cette société simple étant conclue pour une durée indéterminée, chacun des associés peut la dénoncer et exiger le partage (art. 545 al. 1 ch. 6 et art. 546 CO). La possibilité d'exclure un associé, telle qu'elle est prévue pour la société en nom collectif, n'existe pas dans le cas de la société simple, mais les parties peuvent en convenir librement (FRANÇOIS CHAIX, in Commentaire romand, CO II, 2008, n° 35 ad art. 545-547 CO). Comme le terrain a été mis à disposition de l'entreprise dont il constitue un élément accessoire nécessaire, on doit supposer raisonnablement que les parties ont voulu soumettre la liquidation de la société simple aux mêmes règles que celles régissant la société en nom collectif, laquelle constitue l'élément principal de l'accord passé entre les parties. L'accord des parties apparaît également dans le fait qu'elles concluent toutes deux, à titre principal, à ce que l'entreprise leur soit attribuée, moyennant désintéressements de la partie adverse.
Il résulte des constatations cantonales (art. 105 al. 1 LTF) que les parties, pour exploiter ensemble un chantier naval, ont constitué une société en nom collectif (art. 552 CO). Une telle société peut être dissoute notamment pour de justes motifs (cf. art. 577 CO). Lorsque - comme cela a été établi en l'espèce (art. 105 al. 1 LTF) - deux associés, qui détiennent chacun 50% de la société, sont en dissension grave et durable, il en résulte une situation de blocage de la société, qui constitue un juste motif de dissolution; ce principe a été formulé pour la dissolution d'une société anonyme (ATF 136 III 278 consid. 2.2.2 p. 281) et il vaut d'autant plus pour une société en nom collectif, figure juridique dans laquelle les relations personnelles entre les associés jouent un rôle prépondérant (cf. ATF 136 III 278 consid. 2.2.2 p. 280).
Selon l'art. 579 CO, si la société n'est composée que de deux associés, celui qui n'a pas donné lieu à la dissolution peut, si les conditions d'une dissolution sont réalisées, continuer les affaires en délivrant à l'autre ce qui lui revient dans l'actif social (al. 1); le juge peut en disposer ainsi lorsque la dissolution est demandée pour un juste motif se rapportant principalement à la personne d'un des associés (al. 2).
Procédant à une appréciation des preuves apportées, la cour cantonale est parvenue à la conviction que le recourant avait fait obstruction à toute solution raisonnable et qu'il avait donc provoqué le blocage, de sorte qu'il devait quitter l'entreprise en désintéressant sa partie adverse. L'application de l'art. 579 CO implique que l'associé restant exploitera l'entreprise sous la forme d'une entreprise individuelle (JEAN-PAUL VULLIÉTY, in Commentaire romand déjà cité, n°s 5 et 6 ad art. 579 CO).
Le recourant n'émet aucune contestation quant à l'analyse juridique du cas, mais il s'oppose aux constatations de fait cantonales, soutenant que l'intimé est responsable du blocage et que c'est donc lui qui devrait quitter l'entreprise.
2.3 Invoquant les art. 29 al. 2 Cst. et 8 CC, le recourant soutient que la cour cantonale aurait violé son droit à la preuve en renonçant à l'audition comme témoin d'un artisan (qui ne s'est pas présenté à l'audience) et qui aurait pu s'exprimer sur une affaire d'hypothèque légale.
Lorsqu'une prétention relève du droit fédéral - comme c'est le cas en l'espèce -, il a été jugé que le droit à la preuve était régi de manière spéciale par l'art. 8 CC, et non par l'art. 29 al. 2 Cst. (arrêts 4A_629/2010 du 2 février 2011 consid. 2.2; 5A_726/2009 du 30 avril 2010 consid. 3.1 et la référence).
L'art. 8 CC n'est pas violé lorsque le juge refuse une mesure probatoire à la suite d'une appréciation anticipée des preuves ou pour le motif qu'il s'agirait de prouver un fait déjà établi ou un fait sans pertinence (ATF 129 III 18 consid. 2.6 p. 24 s. et les arrêts cités).
En l'espèce, la cour cantonale a estimé qu'elle était suffisamment renseignée par les pièces produites et par l'audition d'un autre témoin. Elle a donc procédé à une appréciation anticipée des preuves. Le recourant explique que son frère a refusé, sans lui en parler, de payer la facture d'un artisan, qu'il en est résulté l'inscription provisoire d'une hypothèque légale et que la facture a été ensuite payée et l'hypothèque radiée. Dans les grandes lignes, ces faits correspondent bien à ce qu'a admis la cour cantonale. Le recourant explique que l'image de l'entreprise a été ternie, mais, même si l'on entendait cet artisan, on ne voit pas qu'il puisse prouver une répercussion de cette affaire sur la clientèle de l'entreprise ou sur ses fournisseurs, ce que le recourant n'allègue même pas. Le recourant explique que cette affaire procède de la mauvaise gestion et qu'il en est résulté pour l'entreprise l'obligation de payer 2'000 fr. de dépens à l'artisan. On ne peut pas sérieusement penser que cette affaire de 2'000 fr., compte tenu de l'importance de l'entreprise, puisse avoir joué un quelconque rôle causal dans la nécessité de dissoudre la société en nom collectif. Le recourant ne l'explique pas non plus. Ainsi, il apparaît que le recourant, outre qu'il y a eu appréciation anticipée des preuves, voudrait établir soit des faits déjà prouvés, soit des faits sans pertinence pour la décision à rendre. On ne discerne donc pas de violation de l'art. 8 CC.
2.4 Le recourant se plaint d'arbitraire dans l'appréciation des preuves et l'établissement des faits (art. 9 Cst.).
Selon la jurisprudence, l'arbitraire ne résulte pas du seul fait qu'une autre solution serait envisageable ou même préférable. Le Tribunal fédéral n'annule la décision attaquée que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité. Pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas qu'elle se fonde sur une motivation insoutenable, il faut encore qu'elle apparaisse arbitraire dans son résultat.
S'agissant plus précisément de l'appréciation des preuves et de l'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 136 III 552 consid. 4.1 p. 560 et les arrêts cités).
Le recourant se méprend sur le rôle du Tribunal fédéral, qui n'est pas un juge du fait, mais du droit. Sans soulever aucune question juridique, le recourant extrait du dossier les éléments qui lui paraissent favorables à sa cause et invite le Tribunal fédéral à procéder lui-même à une nouvelle appréciation des preuves. Tel n'est pas le rôle du Tribunal fédéral. Il ne suffit pas que le recourant, de manière appellatoire, oppose son appréciation des preuves à celle de la cour cantonale. L'arbitraire dans l'appréciation des preuves est un grief qui doit être motivé selon la règle de l'art. 106 al. 2 LTF (ATF 137 I 58 consid. 4.1.2 p. 62). Il ne suffit pas que le recourant répète que la cour cantonale a apprécié les preuves de manière arbitraire; il devait au contraire apporter la démonstration, avec référence à des moyens de preuve précis, que les constatations cantonales sont insoutenables (ATF 134 II 244 consid. 2.2 p. 246; arrêt 4A_623/2010 du 2 février 2011 consid. 1.3).
Le refus d'entendre l'artisan n'est pas de nature à contredire le fait décisif que c'est le recourant qui a empêché toute solution raisonnable pour l'avenir de l'entreprise. Que certaines personnes aient été satisfaites des prestations du recourant et de son fils et que ces derniers aient été également capables de reprendre l'entreprise ne change rien à la question décisive.
Que la déclaration du propre fils du recourant ait été écartée repose sur trois motivations: premièrement, il n'a pas travaillé longuement dans l'entreprise; deuxièmement, il est le fils du recourant; troisièmement, sa description de la situation semble en contradiction avec celle faite par un autre témoin. Sur la base de ces éléments, il n'y a rien d'arbitraire à écarter cette déclaration et l'argumentation du recourant se révèle impropre à démontrer le contraire.
2.5 Lorsqu'il invoque une violation des art. 577, 579 CO et de l'art. 4 CC, le recourant ne soulève aucune question juridique. Sous prétexte de violation de la loi (et non d'arbitraire), il reprend en réalité la discussion des moyens de preuve. Comme il a été rappelé ci-dessus (consid. 1.3), le Tribunal fédéral doit conduire son raisonnement juridique sur la base des faits retenus dans l'arrêt attaqué (art. 105 al. 1 LTF). Hormis l'hypothèse d'une violation des règles juridiques régissant la preuve, il ne peut ajouter, modifier ou retrancher un fait que si l'arbitraire est démontré. Or, dans la seconde partie de son écriture, le recourant n'invoque même pas l'arbitraire, contrairement aux exigences de l'art. 106 al. 2 LTF (cf. arrêt 4A_565/2009 du 21 janvier 2010 consid. 2.2.4 et la référence), de sorte qu'il n'y a pas lieu de rediscuter les preuves, faute d'une motivation répondant aux exigences légales.
Selon les documents reproduits dans l'arrêt attaqué, l'expert V._ avait proposé une solution parfaitement équilibrée entre les deux branches de la famille avec la remise d'actions à titre fiduciaire pour éviter un blocage résultant d'une répartition des actions en deux parts égales. S'il a effectivement suggéré à un certain moment qu'on lui remette trois actions à titre fiduciaire au lieu de quatre, il n'apparaît nullement que c'est ce point qui a fait échouer la proposition. Quant au cahier des charges, le recourant s'efforce de minimiser la portée de ses observations, mais il ne parvient pas à démontrer qu'il était arbitraire de retenir les différents points de fait relevés dans l'arrêt cantonal d'où il résulte qu'il ne s'est pas montré coopératif, mais qu'il a au contraire joué le rôle décisif pour empêcher l'aboutissement des négociations.
Lorsque le recourant affirme que l'intimé n'a pas l'intention de continuer lui-même l'exploitation de l'entreprise, il invoque un fait qui ne figure pas dans les constatations cantonales qui lient le Tribunal fédéral (art. 105 al. 1 LTF). Il ne démontre pas non plus, en se référant aux pièces du dossier, que ce fait aurait été omis arbitrairement (art. 106 al. 2 LTF). Que l'intimé envisage un jour de cesser son activité n'y change rien.
Le recourant voudrait que la valeur de l'actif social soit réactualisée en produisant de nouvelles pièces. Il n'y a pas lieu d'entrer en matière, parce qu'il est exclu d'alléguer des faits nouveaux et de produire des pièces nouvelles devant le Tribunal fédéral, hormis le cas où l'arrêt cantonal rendrait nécessaire de nouveaux allégués ou de nouvelles preuves (art. 99 al. 1 LTF).
Dès lors que les conditions de l'art. 579 CO sont réunies - sur la base de l'état de fait qui lie le Tribunal fédéral (art. 105 al. 1 LTF) -, il n'est pas question de procéder à la liquidation de la société en nom collectif et de répartir entre les deux associés le produit de liquidation.
3. Il résulte des considérations qui précèdent que le recours doit être rejeté.
Les frais judiciaires et les dépens sont mis à la charge du recourant qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 10'000 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimé une indemnité de 12'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 27 janvier 2012
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Klett
Le Greffier: Piaget