Faits:
A. Y._ et Z._, qui exploitaient ensemble à V._ (Fribourg) un magasin de meubles à l'enseigne "...", ont annoncé dans la presse, au mois de janvier 2001, qu'ils souhaitaient remettre leur commerce. Intéressé par cette offre, X._ s'est rendu plusieurs fois sur place, en avril, juin et juillet 2001, et a eu des entretiens avec les proposants vendeurs. Il a reçu notamment un inventaire provisoire et un budget annuel prévisionnel. Il a demandé différents renseignements.
Le 21 juillet 2001, les parties ont signé un contrat de vente portant sur le magasin de meubles avec son stock, à l'enseigne "..." à V._, pour un prix de vente net de 150'000 fr., dont une partie (50'000 fr.) était financée par un prêt du vendeur. Le même jour, un contrat de prêt de 50'000 fr. a été signé entre Y._ et X._; un inventaire provisoire ainsi que les clés du commerce ont été remis à ce dernier.
Le 25 juillet 2001, X._ a versé 40'000 fr. sur le prix de la vente.
Le 22 août 2001, il a fait inscrire la raison de commerce "..." au Registre du commerce de la Sarine en indiquant le 1er septembre 2001 comme date du début de l'activité.
Le 28 août 2001, X._ et le bailleur des locaux, A._, ont conclu un contrat de bail pour une durée de cinq ans.
Assez rapidement, X._ s'est rendu compte que son chiffre d'affaires ne correspondait pas à ses attentes. Par courrier du 21 octobre 2001, il a fait part à Y._ et Z._ de ses inquiétudes, qualifiant même la situation de catastrophique. Les rapports entre les parties se sont alors rapidement dégradés.
La situation du commerce de meubles ne s'étant jamais améliorée, X._ a finalement fermé le magasin de V._. Les locaux ont pu être loués rapidement. La raison de commerce a été radiée le 7 novembre 2002.
B. A la requête de Y._, l'Office des poursuites d'Echallens a notifié à X._, le 15 janvier 2002, un commandement de payer, auquel il a été fait opposition. Dans la procédure de mainlevée provisoire, X._ a obtenu partiellement satisfaction, le contrat de prêt conclu entre les parties ayant été qualifié de vente par acomptes.
Le 7 mars 2003, X._ a déposé une plainte pénale pour escroquerie à l'encontre de Y._ et de Z._. Une ordonnance de refus d'ouvrir l'action pénale a été rendue, qui a été confirmée, sur recours, par la Chambre pénale du Tribunal cantonal fribourgeois le 25 juillet 2003.
Le 10 mars 2003, X._ a déposé une demande devant le Tribunal civil de l'arrondissement de la Broye et du Nord vaudois, concluant à ce qu'il soit constaté qu'il ne devait pas le solde du prix de vente, que son opposition devait être définitivement maintenue et que ses parties adverses devaient être condamnées à lui restituer l'acompte de 40'000 fr. qu'il avait versé.
Le président du Tribunal a ordonné une expertise et désigné à cette fin la société B._ SA. L'expert, en la personne de C._, a conclu que la valeur marchande du commerce était comprise entre 70'000 et 116'000 fr. Il n'a pas pu répondre à de nombreuses questions en raison de la carence de pièces probantes.
Par jugement du 31 mars 2009, le Tribunal civil a dit que X._ était le débiteur de Y._ et de Z._ de la somme de 104'384 fr.80 avec intérêts, statuant par ailleurs sur le sort des poursuites en cours, ainsi que sur les frais et dépens.
Sur recours de X._, la Chambre des recours du Tribunal cantonal vaudois, par arrêt du 27 juillet 2009, a confirmé le jugement attaqué avec suite de frais.
C. X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 27 juillet 2009. Invoquant la violation de diverses dispositions du droit fédéral, il conclut, sous suite de frais et dépens, à la réforme de l'arrêt attaqué en ce sens qu'il ne doit rien à ses parties adverses et que son opposition aux poursuites est définitivement maintenue.
Les intimés ont conclu, sous suite de frais et dépens, au rejet du recours dans la mesure où il est recevable.

Considérant en droit:
1. 1.1 Interjeté par la parties qui a succombé dans ses conclusions libératoires (<ref-law>) et dirigé contre un jugement final (<ref-law>) rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 30'000 fr. (<ref-law>), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 48 al. 1 et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés par le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4 p. 400).
Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation du droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire: <ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401; <ref-ruling> consid. 8.1 p. 153 - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.4 et 6.2). Encore faut-il que la correction demandée soit susceptible d'influer sur le sort de la cause (<ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
Dans la mesure où le recourant présente son propre état de fait, aux pages 3 à 9 du recours, sans se prévaloir avec précision de l'une des hypothèses visées par l'<ref-law>, il n'est pas possible d'en tenir compte.
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
2. 2.1 Les parties ont conclu un contrat portant sur la remise d'un commerce moyennant paiement. La jurisprudence a qualifié une telle convention de contrat sui generis (<ref-ruling> consid. 2.1 p. 21). Lorsque sont en cause les prestations caractéristiques du cédant, à savoir le transfert du mobilier, du stock et de la clientèle, il faut appliquer les règles sur la vente mobilière (<ref-law>) (<ref-ruling> consid. 2.1 et 2.2 p. 21).
2.2 Le recourant conteste la conclusion du contrat (<ref-law>) pour le motif qu'il n'a pas reçu des pièces annexes qui y sont mentionnées. Comme l'a observé l'autorité cantonale, la remise de ces pièces n'est pas une prestation convenue (<ref-law>); ces pièces ne sont qu'une partie annexe du contrat. En signant le contrat, en entrant en possession des locaux et en commençant l'exploitation, le recourant a montré, par actes concluants, que la réception de ces pièces n'était pas pour lui un point essentiel du contrat (<ref-law>). Les parties s'étant mises d'accord sur les points objectivement essentiels (l'objet de la vente et son prix), le contrat a été conclu. Il n'y a donc pas trace d'une violation des art. 1 et 2 CO. Il était loisible au recourant, s'il y attachait de l'importance, d'exiger de recevoir ces pièces avant de signer; il a choisi de ne pas le faire et on ne discerne à cet égard aucune responsabilité précontractuelle ou violation des principes de la bonne foi (<ref-law>) de la part des intimés. La preuve de la conclusion du contrat ayant été apportée, il ne saurait être question d'une violation de l'<ref-law>. Quant à l'<ref-law>, également cité par le recourant, il est inapplicable parce qu'il suppose des prestations contractuelles qui sont dans un rapport d'échange, ce qui ne peut concerner ce problème des pièces jointes.
Il faut encore rappeler que même si les parties sont convenues de soumettre leur contrat à la forme écrite (cf. <ref-law>), cette réserve de forme peut toujours être levée de manière tacite, notamment par actes concluants; tel est le cas lorsque les parties exécutent et acceptent sans réserve les prestations contractuelles (<ref-ruling> consid. 1 p. 78).
2.3 Le recourant soutient qu'il était inexpérimenté et que le prix convenu était surfait.
La lésion, prévue par l'<ref-law>, ne peut être invoquée que si la partie lésée déclare qu'elle résilie le contrat dans le délai d'un an (<ref-law>). Ce délai péremptoire court depuis la conclusion du contrat (Bruno Schmidlin, in Commentaire romand, CO I, 2003, n° 26 ad <ref-law>; Huguenin, in Basler Kommentar, OR I, 4e éd. 2007, n° 2 ad <ref-law>; Ernst A. Kramer, in Berner Kommentar, Das Obligationenrecht, 1991, n° 57 ad <ref-law>).
En l'espèce, le contrat a été conclu le 21 juillet 2001 et il ne ressort pas de l'état de fait cantonal - qui lie le Tribunal fédéral (<ref-law>) - que le recourant ait déclaré résilier le contrat dans l'année. En conséquence, la question de la lésion ne se pose pas et la cour cantonale n'a pas violé le droit fédéral en écartant cette disposition.
2.4 Quant à une erreur essentielle (<ref-law>) ou un dol (<ref-law>), également invoqués par le recourant, ils ne permettent d'invalider le contrat que si la personne qui a conclu sous l'effet de ce vice du consentement déclare dans l'année son intention d'invalider le contrat ou répète ce qu'elle a payé (<ref-law>). Ce délai court dès que l'erreur ou le dol a été découvert (<ref-law>).
En l'espèce, il résulte des constatations cantonales (<ref-law>) que le recourant s'est rendu compte, en octobre 2001, qu'il n'atteignait pas le chiffre d'affaires escompté; il n'a pas été constaté qu'il ait jamais exprimé la volonté d'invalider le contrat. Le délai de l'<ref-law> étant ainsi échu, la question d'une invalidation du contrat pour cause de vice du consentement ne se pose pas.
2.5 Le recourant n'a jamais prétendu que le commerce livré par les intimés serait affecté d'un défaut, en particulier qu'il n'aurait pas l'une des qualités promises (<ref-law>). Rien dans les constatations cantonales ne permet de penser que les intimés auraient promis un chiffre d'affaires minimum. Il n'y a donc pas à examiner la question sous cet angle, qui poserait également le problème de la prescription (<ref-law>).
2.6 Le recourant invoque enfin l'<ref-law>.
Selon cette disposition, si un acte illicite a donné naissance à une créance contre la partie lésée, celle-ci peut en refuser le paiement lors même que son droit d'exiger la réparation du dommage serait atteint par la prescription.
Le dol commis par le cocontractant - à la différence d'une erreur commise par la partie elle-même - constitue un acte illicite au sens de l'<ref-law> (ATF 61 II 228 consid. 2 p. 233 in fine), de sorte que l'<ref-law> est alors applicable.
Le dol est une notion moins exigeante que l'escroquerie, puisqu'il n'est pas exigé que la tromperie soit astucieuse (cf. <ref-law>). Il s'agit d'une tromperie intentionnelle du cocontractant, qui peut consister soit à faire miroiter des choses fausses, soit à taire la réalité dans un cas où la bonne foi obligeait à renseigner (<ref-ruling> consid. 4.1 p. 166; <ref-ruling> consid. 3a p. 434).
Il n'a pas été établi que les intimés auraient donné, sur un point pertinent, des renseignements faux, en particulier une fausse comptabilité ou des données chiffrées sciemment fausses.
On ne pouvait pas non plus exiger des intimés, qui souhaitaient se défaire de ce commerce, qu'ils exposent spontanément les difficultés qu'ils ont pu rencontrer dans leur activité. Il faut observer sous cet angle qu'ils n'ont pas cherché à dissuader le recourant de demander d'autres pièces, de faire procéder à une expertise ou de se renseigner dans le voisinage.
Tout ce que le recourant - qui n'a pas invoqué l'arbitraire dans l'établissement des faits - avance à ce sujet ne fait que montrer qu'il a signé ce contrat avec légèreté. Or, la légèreté de celui qui conclut ne doit pas être confondue avec une tromperie intentionnelle de la part du cocontractant.
Que des tiers aient porté un jugement négatif sur ce contrat n'établit pas encore l'existence d'une tromperie intentionnelle de la part des intimés.
Comme l'état de fait qui lie le Tribunal fédéral ne permet pas de discerner une tromperie intentionnelle de la part des intimés, c'est à juste titre que l'existence d'un dol, et partant l'application de l'<ref-law>, a été écartée.
2.7 Une lésion (<ref-law>) constitue également un acte illicite (Franz Werro, in Commentaire romand, CO I, 2003, n° 40 ad <ref-law>; Roland Brehm, in Berner Kommentar, Das Obligationenrecht, 2006, n° 109 ad <ref-law>) pouvant conduire à l'application de l'<ref-law>.
Il faut tout d'abord observer que le recourant n'a pas tenté de démontrer, par la voie pénale, l'existence d'une usure (<ref-law>). La cour cantonale, adoptant la motivation des juges de première instance (arrêt attaqué p. 26 let. bc; jugement de première instance p. 65 et 66), a retenu que le recourant, au vu des inscriptions antérieures au registre du commerce, n'était pas inexpérimenté en affaires et que, en se fondant sur les chiffres les plus favorables mentionnés par l'expert, la disproportion entre les prestations n'était pas évidente. Etant rappelé que le Tribunal fédéral est lié par les constatations de fait (<ref-law>), on ne voit pas, sur les bases retenues, que la cour cantonale ait abusé de son pouvoir d'appréciation en matière d'application de l'<ref-law>. Enfin, l'<ref-law> ne peut de toute manière pas être invoqué si la partie a ratifié le contrat notamment par des actes concluants (ATF 66 II 158 consid. 5 p. 161; Werro, op. cit., n° 40 ad <ref-law>; Brehm, op. cit., n° 111 ad <ref-law>); or, il a été constaté en l'espèce que le recourant, après avoir fermé le magasin, a continué de vendre les meubles (arrêt attaqué p. 14 n° 12); on ne voit pas pourquoi il pourrait aujourd'hui refuser de payer une prestation qu'il a partiellement revendue à son profit en ayant connaissance des circonstances dont il se plaint.
3. Les frais judiciaires et les dépens sont mis à la charge de la partie qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge du recourant.
3. Le recourant versera aux intimés, créanciers solidaires, une indemnité de 6'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 1er avril 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget