Faits:
A. Le 13 juillet 1994, a été constituée la Coopérative Y._ (Y._), au sens des <ref-law>, avec siège à A._.
Parmi les sept fondateurs de la Coopérative Y._, les deux sociétaires ayant fait l'apport, en société simple, le plus important sont Z._ et X._, sous forme de diverses parcelles. Déduction faite des dettes hypothécaires, l'apport net se montait à 3'291'007 fr. 60. En contrepartie, Z._ s'est vu remettre 134 parts sociales de 500 fr. et X._ 56 parts du même montant. Pour le solde, Z._ est devenu créancier de la société pour 2'233'705 fr. 40 et X._ pour 957'302 fr. 20. Les cinq autres fondateurs ont reçu chacun deux parts sociales de 500 fr.
Dès la fondation de la Coopérative Y._ et jusqu'en 1998, X._ a été membre de l'administration, en qualité de secrétaire.
La Coopérative Y._ poursuit un but social et d'utilité publique, soit la construction de logements à des prix favorables. Elle est appelée à mettre à l'enquête des projets de construction, à entretenir des contacts avec les autorités et à conclure des contrats d'entreprise générale et d'architecte portant sur des travaux importants. Afin de financer ses projets de construction, elle est amenée à conclure des contrats de prêt, principalement hypothécaires, avec des établissements bancaires et à obtenir des cautionnements ou subventions des autorités publiques. A cet égard, les témoins entendus en cours d'instruction, notamment le chef du service des finances de la commune de A._, ont insisté sur le fait que la société coopérative devait avoir une "réputation exemplaire" et les membres de la Coopérative Y._ une "bonne réputation", voire même une "moralité irréprochable".
Par jugement du 6 décembre 2006, le Tribunal correctionnel de l'arrondissement de D._ a condamné X._ pour abus de confiance, banqueroute frauduleuse, gestion déloyale qualifiée et faux dans les titres à la peine de dix-huit mois d'emprisonnement avec sursis pendant quatre ans.
La cour cantonale a constaté que la situation patrimoniale de X._ est gravement obérée, celui-ci faisant l'objet de saisies et d'actes de défauts de biens pour plusieurs millions de francs. Ses parts sociales de la Coopérative Y._ ont également été saisies par l'Office des poursuites et faillites de l'arrondissement de B._.
Lors de l'assemblée générale extraordinaire des sociétaires qui s'est tenue le 12 février 2007, l'exclusion de X._ de la Coopérative Y._ a, en application de l'art. 11 des statuts de la société, été prononcée par l'assemblée générale, par 9 voix contre 5. Le procès-verbal de l'assemblée relève que l'exclusion est fondée sur trois justes motifs, indépendants les uns des autres et justifiant individuellement l'exclusion du sociétaire: premièrement, X._ a été condamné pénalement pour des infractions d'ordre patrimonial graves qui sont incompatibles avec l'activité de la Coopérative Y._, celle-ci impliquant que ses sociétaires aient une moralité irréprochable dans le monde des affaires; deuxièmement, la médiatisation de la condamnation de X._ nuit à la réputation et à l'activité de la Coopérative Y._; troisièmement, l'insolvabilité de l'associé, connue du grand public et de ses créanciers, porte également atteinte à la réputation de la Coopérative Y._.
Suite à la procédure engagée par X._, la décision de l'assemblée générale extraordinaire du 12 février 2007 a été annulée par un prononcé du 2 août 2007 du Président du Tribunal d'arrondissement de C._, au motif que l'assemblée n'avait pas été valablement convoquée.
Dans l'intervalle, l'administration avait convoqué une nouvelle assemblée générale extraordinaire, pour le 4 juin 2007, remettant à l'ordre du jour la proposition d'exclusion de X._, afin que la décision prise le 12 février 2007 soit confirmée. Lors de l'assemblée du 4 juin 2007, les sociétaires présents ont prononcé l'exclusion par 7 voix contre 0.
B. Par une demande du 15 août 2007, X._ a de nouveau conclu à ce que son exclusion soit déclarée nulle ou qu'elle soit annulée. Par jugement rendu le 1er avril 2009, le Président du Tribunal d'arrondissement de C._ a rejeté la demande.
Sur recours de X._, la Chambre des recours du Tribunal cantonal vaudois a, par arrêt du 3 février 2010, confirmé le jugement de première instance.
C. X._ exerce un recours en matière civile contre l'arrêt cantonal du 3 février 2010. Il conclut, sous suite de frais et dépens, à son annulation, respectivement à sa réforme en ce sens que la décision du 14 juin 2010 (recte: 4 juin 2007) de l'assemblée générale de la Coopérative Y._ l'excluant soit annulée, respectivement déclarée nulle et qu'il soit constaté qu'il n'est pas exclu de la société coopérative en qualité de sociétaire. Le recourant reproche à la cour cantonale d'avoir violé l'<ref-law>, ainsi que l'<ref-law>.
L'intimée conclut, avec suite de frais et dépens, au rejet du recours.

Considérant en droit:
1. 1.1 Les litiges portant sur la qualité de membre d'une société coopérative ont d'abord été rangés parmi les contestations de nature non pécuniaire, puis le Tribunal fédéral a rendu une jurisprudence distinguant selon l'importance des intérêts économiques poursuivis par la société coopérative (<ref-ruling> consid. 1 p. 75 s.; <ref-ruling> consid. 1 p. 223; <ref-ruling> consid. 1 p. 78 ss et les références), étant observé que souvent la question peut rester ouverte (<ref-ruling> consid.1 p. 437). Tel est aussi le cas en l'espèce. Selon les constatations de la cour cantonale, le montant de la valeur litigieuse, qui n'est pas remis en question par les parties, est de 1'000'000 fr., donc largement au-dessus du seuil de 30'000 fr. prévu par l'<ref-law>.
Interjeté par la partie qui a succombé dans ses conclusions tendant à l'annulation, respectivement à la constatation de la nullité, de la décision d'une assemblée générale ayant prononcé son exclusion de la société intimée (<ref-law>) et dirigé contre un arrêt final (<ref-law>) rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>), le recours est en principe recevable puisqu'il a été déposé dans le délai (art. 48 al. 1 et 100 LTF) et la forme (<ref-law>) prévus par la loi.
1.2 Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4 p. 400).
Par exception à la règle selon laquelle il applique le droit d'office, le Tribunal fédéral ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401; <ref-ruling> consid. 8.1. p. 153) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). Il incombe à la partie recourante, qui entend s'écarter des constatations de l'autorité précédente, d'expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.4 p. 287 s. et consid. 6.2 p. 288). En conséquence, il n'est pas possible de prendre en considération l'exposé des faits figurant aux pages 3 à 5 du recours.
Aucun fait nouveau, ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
2. 2.1 La cour cantonale considère qu'au regard du but social et d'utilité publique (soit la construction de logements à des prix favorables) poursuivi par l'intimée, des liens étroits existants entre celle-ci et la commune de A._ et de la nécessité pour la Coopérative Y._ d'obtenir des financements, la mauvaise réputation du recourant (due à son grand train de vie), ses déboires financiers et sa condamnation pénale pour des infractions patrimoniales représentent des faits clairement problématiques qui font également planer des doutes sur l'honorabilité de l'intimée. Elle confirme dès lors qu'il existait des justes motifs pour prononcer l'exclusion du recourant.
Invoquant une transgression de l'<ref-law>, le recourant soutient qu'aucun motif relevé par la cour cantonale ne rend sérieusement incompatible sa présence au sein de la société coopérative. Il souligne en particulier qu'il n'a pas été établi que celle-ci a subi, en raison de sa présence, une déconvenue quelconque à l'égard d'un fournisseur, d'une relation bancaire ou d'un client, qui aurait fait subir un préjudice à la société. Il considère que l'autorité précédente a violé l'<ref-law> en indiquant "qu'il n'était pas possible d'exiger de l'intimée une sorte de preuve négative, en relation avec l'absence de préjudice causé par la situation financière de [l'associé exclu]" et semble ainsi reprocher à l'autorité précédente d'avoir renversé le fardeau de la preuve en n'exigeant pas de l'intimée qu'elle démontre qu'elle a effectivement subi un dommage.
Invoquant une transgression de l'<ref-law>, le recourant soutient qu'aucun motif relevé par la cour cantonale ne rend sérieusement incompatible sa présence au sein de la société coopérative. Il souligne en particulier qu'il n'a pas été établi que celle-ci a subi, en raison de sa présence, une déconvenue quelconque à l'égard d'un fournisseur, d'une relation bancaire ou d'un client, qui aurait fait subir un préjudice à la société. Il considère que l'autorité précédente a violé l'<ref-law> en indiquant "qu'il n'était pas possible d'exiger de l'intimée une sorte de preuve négative, en relation avec l'absence de préjudice causé par la situation financière de [l'associé exclu]" et semble ainsi reprocher à l'autorité précédente d'avoir renversé le fardeau de la preuve en n'exigeant pas de l'intimée qu'elle démontre qu'elle a effectivement subi un dommage.
2.2 2.2.1 Selon l'<ref-law>, l'exclusion d'un associé de la société coopérative peut être prononcée pour de justes motifs.
Lorsque la loi charge le juge de prononcer en tenant compte de justes motifs, il doit appliquer les règles du droit et de l'équité (<ref-law>; <ref-ruling> consid. 2.2.1 p. 279 et les références).
La référence aux règles de l'équité signifie que le juge dispose en cette matière d'un large pouvoir d'appréciation (cf. expressément en lien avec l'<ref-law>: arrêt 4C.99/1997 du 11 septembre 1997 consid. 3c). Dans un tel cas, le Tribunal fédéral ne doit pas substituer sa propre appréciation à celle de l'autorité cantonale (<ref-ruling> consid. 1 p. 99, 109 consid. 2 p. 111; <ref-ruling> consid. 4.1 p. 508); il ne revoit qu'avec réserve la décision d'équité prise en dernière instance. Il n'intervient que lorsque celle-ci s'écarte sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation, lorsqu'elle s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou à l'inverse, lorsqu'elle n'a pas tenu compte d'éléments qui auraient absolument dû être pris en considération. Le Tribunal fédéral sanctionne en outre les décisions rendues en vertu du pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (<ref-ruling> consid. 2.2.1 p. 279; <ref-ruling> consid. 4.1 p. 32, 213 consid. 3.1 p. 220, 571 consid. 4.3 p. 576; <ref-ruling> consid. 4 p. 432).
2.2.2 L'exclusion pour justes motifs est le pendant de la démission pour justes motifs (<ref-law>) (Jacques-André Reymond, La coopérative, in TDPS, vol. VIII, t. III/1, 1996, p. 120) et les principes dégagés dans le cadre de la démission, en relation avec la notion de "justes motifs", peuvent ainsi être appliqués mutatis mutandis au cas de l'exclusion (Roland Ruedin, Droit des sociétés, 2e éd. 2007, n. 2142 p. 379 s. note de pied 793; Anne Héritier Lachat, in Commentaire Romand, Code des obligations II, 2008, no 9 ad <ref-law>; cf. Peter Forstmoser, in Berner Kommentar, 1974, no 16 ad <ref-law>).
Il y a juste motif lorsque, pour des raisons imputables à l'associé, on ne peut raisonnablement exiger de la société qu'elle maintienne en son sein l'associé en question (<ref-ruling> consid. 3b p. 129; sous l'angle de l'<ref-law>: <ref-ruling> consid. 7 p. 153), notamment parce que celui-ci viole gravement ou de manière répétée ses obligations ou parce qu'il ne remplit plus les conditions posées au sociétariat (Reymond, op. cit., p. 120; Lachat, no 10 ad <ref-law>; Forstmoser, op. cit., nos 16 ss ad <ref-law>). L'existence de justes motifs doit ainsi être admise lorsque d'importantes conditions de fait, personnelles ou matérielles, ayant déterminé l'entrée de l'associé dans la société, font désormais défaut (sous l'angle de l'<ref-law>: ATF 61 II 188 consid. 4 p. 193 s.). Dans ces circonstances, l'associé ne peut plus, si ce n'est beaucoup plus difficilement, concourir au but commun (cf. Fritz von Steiger, Précis de droit coopératif suisse, 1967, p. 71 et la référence). L'idée sous-jacente est en particulier de permettre à la société de se protéger contre le comportement d'un associé qui risque de lui causer des dommages (en ce sens: Peter Rothenbühler, Austritt und Ausschluss aus der Genossenschaft, thèse Zurich 1984, p. 114; cf. Max Gutzwiller, Berner Kommentar, 1972, no 10 ad <ref-law>, qui indique que la faillite d'un associé peut conduire à son exclusion).
L'existence d'un juste motif doit être examinée en prenant en considération toutes les circonstances concrètes et en tenant compte du but de la société concernée et de ses activités effectives. Dans ce contexte, l'intérêt social est décisif, et non l'intérêt des membres eux-mêmes (cf. <ref-ruling> consid. 3b p. 129; Alfred Schwarz, in Basler Kommentar, Obligationenrecht II, 3e éd. 2008, no 14 ad <ref-law>; Lachat, no 11 ad <ref-law>; Forstmoser, op. cit., no 17 ad <ref-law>; Reymond, op. cit., p. 120; Max Gerwig, Schweizerisches Genossenschaftsrecht, 1957, p. 258 s.). Ainsi, un fait déterminé peut constituer un juste motif pour une société, mais ne pas avoir ce caractère dans une autre coopérative.
2.3 Le recourant insiste sur le fait que la cour cantonale n'a pas établi que sa situation financière a eu comme conséquence de faire subir à l'intimée un préjudice et que les répercussions concrètes de sa condamnation pénale ne sont en rien élucidées par l'arrêt cantonal. On ne peut suivre la thèse du recourant qui aurait comme conséquence, totalement contraire à l'esprit de l'<ref-law>, d'obliger l'intimée à attendre la survenance d'un dommage pour pouvoir exclure son associé. L'exclusion prévue à l'<ref-law> vise précisément à éviter que la société subisse un dommage en raison du comportement de l'associé. Il convient plutôt d'examiner si, indépendamment de la question de savoir si l'intimée a déjà effectivement pâti des éléments de faits propres au recourant, on peut encore exiger de la société qu'elle maintienne ce dernier en son sein.
Selon les constatations cantonales (<ref-law>), le recourant a été condamné à dix-huit mois d'emprisonnement pour des infractions contre le patrimoine et des faux dans les titres. La nature de ces infractions et la quotité de la peine prononcée contrastent très nettement avec les activités d'une société qui supposent la recherche de fonds, manoeuvre délicate dont le succès est très fortement dépendant de la confiance accordée par les prêteurs potentiels à la société coopérative et aux membres qui la composent. La cour précédente a également établi que le recourant fait en outre l'objet de saisies et d'actes de défauts de biens pour plusieurs millions de francs et qu'en raison de son grand train de vie, il a mauvaise réputation à A._. Or, la bonne réputation des membres de la société coopérative est une des conditions essentielles de la réussite de ses projets. En effet, la société est appelée, pour mener à bien ses projets sociaux, à obtenir des prêts - notamment hypothécaires - des établissements bancaires et des cautionnements ou des subventions des autorités publiques (dont la commune de A._); elle doit ainsi nécessairement garder, comme cela a été rappelé par les témoins entendus au cours de l'instruction, une "réputation exemplaire" et doit être constituée de membres d'une "moralité irréprochable" dans le monde des affaires. Il est patent que le recourant ne remplit plus cette condition et on voit par conséquent mal comment il pourrait encore concourir au but commun de la société.
A cela s'ajoute que le recourant n'est pas n'importe quel associé de l'intimée. Il en a été le fondateur, puis un membre influent de l'administration, un sociétaire disposant de nombreuses parts sociales et un créancier important. Même s'il ne fait aujourd'hui plus partie de l'administration de la société, le recourant n'en reste pas moins connu - ainsi que l'a constaté la cour cantonale - des milieux économiques et d'affaires de la région de A._; on ne saurait ainsi dire que les juges précédents ont excédé leur large pouvoir d'appréciation en retenant que la réputation du recourant est susceptible de mettre en péril l'intérêt social de l'intimée.
Enfin, la cour cantonale a mis en évidence la volonté - dont la détermination est une question de fait soustraite à l'examen du Tribunal fédéral [<ref-law>]) - de la part du recourant de distraire certains biens à ses créanciers (s'agissant par exemple de la donation de parcelles faites à son fils). La Chambre des recours a en outre constaté que les parts sociales du recourant ont été saisies par l'Office des poursuites de B._. Ces deux événements ne sont à l'évidence pas fait pour rassurer les prêteurs.
Cela étant, l'exclusion du recourant permet à l'intimée de faire valoir auprès de ses partenaires économiques, publics et sociaux qu'elle a pris ses distances par rapport à son associé et d'éviter tout risque lié à la mauvaise réputation du recourant, que ce soit dans le cadre de ses relations avec les divers acteurs financiers qu'elle côtoie ou plus largement auprès du public.
Compte tenu du large pouvoir d'appréciation reconnu à la cour cantonale, celle-ci n'a dès lors pas violé le droit fédéral en confirmant, dans les circonstances d'espèce, l'existence de "justes motifs" au sens de l'<ref-law>.
Quant au grief ayant trait à la violation de l'<ref-law>, son examen est superflu, l'exclusion n'étant pas subordonnée à l'existence d'un dommage effectif subi par la société coopérative (cf. supra).
3. Le recours est rejeté.
Les frais judiciaires et les dépens sont mis à la charge de la partie recourante, qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 10'000 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimée une indemnité de 12'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 8 novembre 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget