Faits:
A. Y._, association dont le but est de contribuer à la lutte contre ..., a engagé en qualité de directeur, avec effet dès le 1er novembre 2005, X._, assistant social de formation, ayant acquis une expérience dans le domaine de la direction. Le contrat est demeuré oral et aucun cahier des charges n'a été établi, bien que X._ ait présenté des projets.
Dans un premier temps, les prestations du directeur ont donné satisfaction. Toutefois, dans le courant de l'année 2006, le personnel a commencé à se plaindre de ses trous de mémoire, de sa lenteur et de son indécision systématique. Des troubles de l'attention et de la concentration ont été relevés.
Le 8 décembre 2006, lors d'un repas avec le président de l'association, ce dernier lui a refusé une augmentation de salaire en faisant valoir certains reproches quant à la qualité de son travail, notamment ses lacunes en allemand et sa mauvaise gestion du temps.
Le 25 avril 2009 (recte: 2007), l'association a adressé à X._ une lettre d'avertissement, lui reprochant en particulier son absence d'initiative et de prise de responsabilités, son manque de concentration et son exécution brouillonne des tâches confiées. Au terme de ce courrier, l'employeur impartissait à X._ un délai d'un mois pour " modifier de façon évidente " sa manière de fonctionner.
Le 26 avril 2007, X._ a été convoqué devant une délégation du comité, qui lui a adressé une série de reproches quant à la qualité de son travail.
X._ n'a pas repris le travail après cet entretien, présentant des certificats médicaux attestant de son incapacité de travail. Il a mandaté un avocat qui a informé l'employeur, par lettre du 1er juin 2007, qu'il avait l'intention de poursuivre son activité, mais à certaines conditions seulement. Y._ a mandaté à son tour un avocat, qui a fait savoir, en substance, que le cas était à l'étude.
Par lettre du 2 août 2007, l'employeur a résilié le contrat de travail " pour la première date utile, soit le 31 octobre 2007 ", signalant en particulier que le délai légal de protection de 90 jours découlant de l'incapacité de travail était échu. En définitive, X._ a été rémunéré jusqu'au 30 novembre 2007.
B. Par demande du 27 mai 2008, X._ a ouvert action devant les tribunaux vaudois contre Y._. Il a conclu principalement à l'octroi d'une indemnité de 90'000 fr. avec intérêts pour son licenciement - auquel il s'était opposé en temps utile - qu'il estime abusif. Il a demandé également 4'772 fr. 35 (en capital) à titre de majoration due pour les heures supplémentaires qui lui ont été payées.
Par jugement du 3 mai 2009, le Tribunal civil de l'arrondissement de Lausanne a admis la demande pour les 4'772 fr. 35 - qui ne sont plus litigieux devant le Tribunal fédéral -, mais il l'a rejetée pour le surplus, considérant que la résiliation se fondait, sans abus, sur le manque de compétences du travailleur et sur son absence prolongée qui mettait en péril le fonctionnement de l'association.
Saisie d'un recours de X._, la Chambre des recours du Tribunal cantonal vaudois, par arrêt du 24 mars 2010, a confirmé le jugement attaqué avec suite de frais et dépens. La cour cantonale a écarté la version de X._ selon laquelle le congé lui aurait été donné parce qu'il avait réclamé un contrat écrit et un cahier des charges; elle a retenu que la résiliation était motivée par ses manquements auxquels s'ajoutait son incapacité de travail prolongée. Elle a observé que l'employeur n'avait pas procédé de manière abrupte, mais donné des avertissements. Quant au délai de réflexion qu'il s'était accordé avant de prononcer le licenciement, il ne rendait pas celui-ci abusif.
C. Ayant reçu cet arrêt le 28 avril 2010, X._ a déposé dans un bureau de poste suisse, le 28 mai 2010, un recours en matière civile au Tribunal fédéral. Invoquant une violation des art. 336 et 328 CO, il conclut, avec suite de frais et dépens, à la réforme de l'arrêt attaqué en reprenant les conclusions en paiement qu'il avait formulées devant l'autorité précédente. Subsidiairement, il demande le renvoi de la cause à l'autorité cantonale.
L'intimée a conclu au rejet du recours avec suite de frais et dépens.

Considérant en droit:
1. 1.1 Interjeté par la partie qui a succombé dans ses conclusions en paiement (en ce qui concerne l'indemnité en capital de 90'000 fr. : art. 76 al. 1 LTF) et dirigé contre un jugement final (art. 90 LTF) rendu en matière civile (art. 72 al. 1 LTF) par une autorité cantonale de dernière instance (art. 75 LTF) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 15'000 fr. requis en droit du travail (art. 74 al. 1 let. a LTF), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 48 al. 1 et 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.1 p. 104). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (art. 108 al. 1 let. b LTF), le Tribunal fédéral n'examine en principe que les griefs invoqués. Il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (ATF <ref-ruling> consid. 1.1 p. 105, 397 consid. 1.4 p. 400; <ref-ruling> consid. 2.2.1 p. 389). Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire : <ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401; <ref-ruling> consid. 8.1 p. 153 - ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.2 p. 187; <ref-ruling> consid. 1.4 p. 287 et 6.2 p. 288). Une rectification ou un complètement de l'état de fait ne peut être demandé que s'il est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF). En l'espèce, le recourant reproche à la cour cantonale de ne pas s'être penchée sur les données médicales, mais il n'explique pas en quoi elles auraient pu modifier l'issue du litige. Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. 2.1 Le recourant se plaint d'une mauvaise application de l'art. 336 CO, qui, en particulier, ne tient pas correctement compte de l'art. 328 CO.
Pour trancher les questions posées, il convient préalablement de rappeler les principes applicables en la matière.
2.2 Selon l'art. 335 al. 1 CO, le contrat de travail conclu pour une durée indéterminée peut être résilié par chacune des parties. En droit suisse du travail, la liberté de la résiliation prévaut, de sorte que, pour être valable, un congé n'a en principe pas besoin de reposer sur un motif particulier (<ref-ruling> consid. 2.1 p. 116; <ref-ruling> consid. 4.1 p. 538; <ref-ruling> consid. 2a p. 88).
Le droit de chaque cocontractant de mettre unilatéralement fin au contrat est toutefois limité par les dispositions sur le congé abusif (art. 336 ss CO) (<ref-ruling> consid. 2.1 p. 116; <ref-ruling> consid. 4.1 p. 538; <ref-ruling> consid. 4.1 p. 701).
L'art. 336 al. 1 et 2 CO énumère des cas dans lesquels la résiliation est abusive; cette liste n'est toutefois pas exhaustive et une résiliation abusive peut aussi être admise dans d'autres circonstances (<ref-ruling> consid. 2.1 p. 116 s.; <ref-ruling> consid. 4.2 p. 538). Il faut cependant que ces autres situations apparaissent comparables, par leur gravité, aux cas expressément envisagés par l'art. 336 CO (<ref-ruling> consid. 2.1 p. 117; <ref-ruling> consid. 4.2 p. 538). Ainsi, un congé peut être abusif en raison de la manière dont il est donné (<ref-ruling> consid. 2.2 p. 117; <ref-ruling> consid. 4.2 p. 538), parce que la partie qui donne le congé se livre à un double jeu (<ref-ruling> consid. 2.2 p. 117; <ref-ruling> consid. 4.2 p. 538), lorsqu'il est donné par un employeur qui viole les droits de la personnalité du travailleur (<ref-ruling> consid. 2.2 p. 117; <ref-ruling> consid. 4.2 p. 538 s.), lorsqu'il y a une disproportion évidente des intérêts en présence (<ref-ruling> consid. 2.4 p. 118; <ref-ruling> consid. 4.2 p. 539) ou lorsqu'une institution juridique est utilisée contrairement à son but (<ref-ruling> consid. 2.4 p. 118; <ref-ruling> consid. 4.2 p. 539).
Pour dire si un congé est abusif, il faut se fonder sur son motif réel (arrêt 4C.282/2006 du 1er mars 2007 consid. 4.3). Déterminer le motif d'une résiliation est une question de fait (ATF <ref-ruling> consid. 4.3 p. 540; <ref-ruling> consid. 4.1 p. 702).
2.3 S'agissant des cas de congés abusifs prévus spécialement par la loi, l'art. 336 al. 1 let. d CO prévoit que le congé est abusif lorsqu'il est donné parce que l'autre partie fait valoir de bonne foi des prétentions résultant du contrat de travail (cf. arrêt 4A_102/2008 du 27 mai 2008 consid. 2, in PJA 2008 p. 1177). Pour que cette disposition soit applicable, il faut que l'autre partie ait eu la volonté d'exercer un droit (arrêt 4C_237/2005 du 27 octobre 2005 consid. 2.3). Il faut encore qu'elle ait été de bonne foi, même si sa prétention, en réalité, n'existait pas (arrêt 4C_237/2005 du 27 octobre 2005 consid. 2.3; arrêt 4C.229/2002 du 29 octobre 2002 consid. 3, in Pra 2003 no 106 p. 574). Cette norme ne doit cependant pas permettre à un travailleur de bloquer un congé en soi admissible ou de faire valoir des prétentions totalement injustifiées (arrêt 4C.247/1993 du 6 avril 1994 consid. 3a et les auteurs cités).
2.4 Quant à l'art. 336 al. 1 let. a CO, il déclare abusif le congé donné pour une raison inhérente à la personnalité de l'autre partie, à moins que cette raison n'ait un lien avec le rapport de travail ou ne porte sur un point essentiel un préjudice grave au travail dans l'entreprise. Cette disposition protectrice ne s'applique donc pas lorsque le travailleur présente des manquements ou des défauts de caractère qui nuisent au travail en commun, sans qu'il y ait à se demander si de telles caractéristiques constituent ou non une "raison inhérente à la personnalité" au sens de l'art. 336 al. 1 let. a CO (arrêt 4C.253/2001 du 18 décembre 2001 consid. 2a et b; ATF <ref-ruling> consid. 2b p. 88; <ref-ruling> consid. 2c p. 74). Ainsi, il a été jugé que le congé n'était pas abusif lorsqu'il était donné au travailleur qui, en raison de son caractère difficile, crée une situation conflictuelle qui nuit notablement au travail en commun (<ref-ruling> consid. 2.2 p. 117; <ref-ruling> consid. 2c p. 74).
2.5 En ce qui concerne l'atteinte aux droits de la personnalité qui peut rendre un congé abusif, il faut rappeler que l'employeur doit protéger et respecter, dans les rapports de travail, la personnalité du travailleur (art. 328 al. 1 CO). Il doit s'abstenir de porter une atteinte injustifiée aux droits de la personnalité du travailleur et, dans les rapports de travail, il doit protéger son employé contre les atteintes émanant de supérieurs, de collègues ou même de tiers (<ref-ruling> consid. 2.2 p. 117, 257 consid. 5.1 p. 259).
S'il surgit un conflit entre travailleurs, l'employeur doit s'efforcer de l'apaiser (ATF <ref-ruling> consid. 2c p. 74; arrêt 8C_340/2009 du 24 août 2009 consid. 4.3.3; arrêt 1C_245/2008 du 2 mars 2009 consid. 4.2; arrêt 4C_253/2001 du 18 décembre 2001 consid. 2c). Il dispose cependant d'un large pouvoir d'appréciation dans le choix des mesures à prendre (arrêt 8C_340/2009 déjà cité, consid. 4.3.2). Savoir s'il a pris les mesures adéquates est une question de droit (arrêt 4C.189/2003 du 23 septembre 2003 consid. 5.1).
S'agissant de la manière dont le congé est donné - qui peut constituer une atteinte aux droits de la personnalité -, il ne suffit pas, pour que le congé soit abusif, de constater que le comportement adopté n'était pas convenable ou qu'il était indigne des relations contractuelles (<ref-ruling> consid. 2.3 p. 118; <ref-ruling> consid. 4.2 p. 539).
La protection de la personnalité du travailleur et la prohibition des comportements contradictoires n'interdisent pas à l'employeur de changer d'avis; ainsi, il a été jugé que le fait, pour l'employeur, d'avoir affirmé à son collaborateur qu'il ne serait pas licencié et de lui notifier son congé une semaine plus tard est un comportement qui n'est certes pas correct, mais qui ne rend pas, à lui seul, le congé abusif (ATF <ref-ruling> consid. 4.2 p. 539; arrêt 4C.234/2001 du 10 décembre 2001 consid. 3b, in SJ 2002 I p. 389).
2.6 En l'espèce, il a été retenu en fait - d'une manière qui lie le Tribunal fédéral (art. 105 al. 1 LTF) - que le recourant a présenté des troubles de la mémoire, un caractère brouillon et une certaine incapacité de décision qui ont nui gravement à la bonne marche de l'association dont il était le directeur. A cela s'ajoute qu'il a souffert d'un état dépressif de longue durée, de sorte que l'association se trouvait, en fait, privée de directeur. Dans ces circonstances, l'association a décidé de résilier le contrat de travail. Sur la base d'un tel état de fait, on ne saurait dire que la résiliation ne repose sur aucun intérêt digne de protection ou que l'employeur n'a pas respecté les règles de la bonne foi.
A supposer que l'on considère les caractéristiques relevées (manque de concentration et de mémoire, esprit brouillon, manque d'esprit de décision) comme des éléments de la personnalité au sens de l'art. 336 al. 1 let. a CO, il ressort clairement des constatations cantonales qu'il en est résulté un préjudice grave pour le travail dans l'entreprise, de sorte que le recourant ne peut se prévaloir de l'art. 336 al. 1 let. a CO.
Faisant valoir qu'il avait demandé un contrat de travail écrit et un cahier des charges, il tente, un peu timidement, de se prévaloir de l'art. 336 al. 1 let. d CO. Selon son texte clair, cette disposition n'est applicable que si le congé est donné parce que l'autre partie fait valoir de bonne foi des prétentions résultant du contrat de travail. Il faut donc - comme on vient de le rappeler - rechercher le motif réel du congé. Cette question relève des constatations de fait qui lient le Tribunal fédéral. La cour cantonale a clairement écarté l'hypothèse que le congé aurait pu être donné pour le motif que le recourant avait demandé un contrat écrit et un cahier des charges. Il s'agit là d'une constatation de fait qui lie le Tribunal fédéral (art. 105 al. 1 LTF) et, le recourant n'ayant pas invoqué l'arbitraire (art. 9 Cst.) dans l'appréciation des preuves et l'établissement des faits, le Tribunal fédéral ne saurait examiner cette question d'office (art. 106 al. 2 LTF). Au demeurant, le contrat de travail était parfaitement valable, même sans la forme écrite, et on ne voit pas que les parties aient eu la moindre divergence sur les prestations essentielles qui en constituaient le fondement. On ne voit pas non plus que les parties aient eu la moindre divergence sur l'étendue de la mission et les compétences du directeur, de sorte que l'on ne perçoit pas non plus la nécessité d'établir un cahier des charges écrit. Le recourant n'a d'ailleurs pas mis en demeure l'employeur à ce sujet et rien n'indique que l'employeur aurait été dérangé à l'idée de fournir un contrat écrit et un cahier des charges. La cour cantonale n'a donc manifestement pas apprécié les preuves arbitrairement en considérant que cette question est sans rapport avec la décision prise par l'employeur de résilier le contrat de travail. La question est ainsi sans pertinence et le recourant tente vainement d'opérer une sorte de contre-attaque en relevant un manquement administratif de son cocontractant.
Quant à la manière dont le congé a été donné, il faut relever que le recourant a été informé, lors d'un entretien avec le président de l'association, que son travail ne donnait pas entière satisfaction; par la suite, il a reçu un avertissement très explicite avec mise en demeure. On ne saurait donc dire que le licenciement est intervenu de manière abrupte et sans ménagement, de sorte qu'il n'y a pas trace, sous cet angle, d'une atteinte aux droits de la personnalité.
Dans la lettre d'avertissement, l'employeur avait imparti au recourant un délai d'un mois pour remédier à la situation et il est constant que la modification souhaitée n'est pas intervenue dans ce délai. Le recourant est tombé malade - ce qui ne lui est pas imputable à faute -, mais il en résulte néanmoins, d'un point de vue objectif, que la situation s'est plutôt péjorée pour l'employeur. En tout cas, la maladie de longue durée du recourant constituait, par rapport à la situation existant au moment de la lettre d'avertissement, un fait nouveau qui justifiait un réexamen de la situation. En décidant de résilier le contrat alors que son directeur était durablement absent, on ne peut pas dire que l'employeur a adopté un comportement contradictoire ou contraire aux règles de la bonne foi.
Le recourant reproche à l'employeur d'avoir tardé à lui manifester sa volonté de mettre fin au contrat de travail. S'agissant d'une résiliation ordinaire, l'employeur n'est pas tenu d'agir dans un délai déterminé à compter des faits qui motivent la résiliation. L'importance de la décision (il s'agissait du directeur de l'association), pour les deux parties d'ailleurs, justifiait que l'employeur prenne le temps de la réflexion. Au demeurant, il est évident qu'une association ne peut pas prendre une décision aussi rapidement que le patron d'une entreprise individuelle. En présence d'une situation pénible, on ne peut non plus reprocher à l'employeur d'avoir pris le conseil d'un avocat, qui devait nécessairement avoir le temps d'étudier le dossier. Il faut dire encore que l'écoulement du temps était en lui-même un élément d'appréciation, puisque le directeur ne reprenait toujours pas le travail, ce qui rendait la situation de plus en plus intolérable. On ne saurait dire, sur la base de l'état de fait retenu par la cour cantonale, que l'employeur a fait preuve de duplicité et qu'il avait, dès le départ, l'intention de licencier le travailleur. Rien ne permet non plus de penser qu'il a fait traîner les choses pour jouer avec la santé du recourant. Il n'est donc pas établi que l'intimée ait adopté un comportement contraire aux règles de la bonne foi, de sorte que le congé ne peut être déclaré abusif.
En statuant dans ce sens, et en refusant en conséquence l'indemnité sollicitée, la cour cantonale n'a violé ni l'art. 336, ni l'art. 328 CO.
Le recours doit donc être rejeté.
3. Les frais judiciaires et les dépens sont mis à la charge de la partie qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, fixés à 4'000 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimée une indemnité de 5'000 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux participants à la procédure et à la Chambre des recours au Tribunal cantonal du canton de Vaud.
Lausanne, le 6 octobre 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Crittin