Faits:
A. Par lettre du 25 septembre 2002, Y._ SA, société active dans le domaine de l'informatique dont le siège est à Lausanne, a engagé en qualité d'"ingénieur système/chef de projet", dès le 1er octobre 2002, X._, qui dispose d'une solide formation dans le domaine informatique ainsi que d'une expérience professionnelle.
Durant l'année 2004, X._ a reçu un certificat de travail intermédiaire très élogieux, ainsi que la gratification la plus élevée accordée à un collaborateur de l'entreprise. Il a été nommé fondé de pouvoir avec signature collective à deux au début de l'année 2005.
A fin juillet 2005, un nouveau directeur, A._, a été nommé.
X._ lui a posé deux questions, l'une relative à la possibilité d'obtenir des commissions et l'autre à la rémunération des heures supplémentaires. Il n'est pas établi qu'il ait été répondu à ces deux questions.
X._ a eu un entretien avec A._ le 2 septembre 2005, qui s'est révélé houleux.
Le 5 septembre 2005, Y._ SA a adressé à X._ une lettre d'avertissement lui donnant un délai à fin septembre 2005 pour faire un premier point de la situation et en précisant que si celle-ci ne s'améliorait pas très sensiblement, les termes de leur collaboration seraient revus. Il était reproché à X._ une irritabilité à fleur de peau, une attitude négative et de nombreux manquements sur le plan de l'esprit d'entreprise.
X._ s'est trouvé en incapacité de travail, en relation avec un stress professionnel, du 8 au 18 septembre 2005.
Par lettre de son avocat, daté du 1er novembre 2005, X._ a pris position sur les reproches qui lui avaient été adressés dans la lettre d'avertissement du 5 septembre 2005. L'employeur a accusé réception de ce courrier le 29 novembre 2005, en annonçant qu'elle allait se déterminer.
Par lettre du 13 décembre 2005, Y._ SA a résilié le contrat de travail pour sa prochaine échéance, soit à fin février 2006, libérant l'employé de son obligation de travailler jusque-là. L'employeur a considéré que l'attitude de son employé ne s'était pas améliorée, mais, au contraire, qu'elle déstabilisait l'entreprise et mettait en danger les relations avec la clientèle.

X._ s'est opposé au congé, qu'il considère comme abusif.
B. Par demande du 25 août 2006, X._ a ouvert action devant les tribunaux vaudois contre Y._ SA, concluant à ce que celle-ci soit condamnée à lui payer la somme de 48'807 fr. 70 avec intérêts.
De nombreux témoignages ont été recueillis. A._ ne s'est pas directement exprimé sur la question d'un état conflictuel dans l'entreprise. B._, qui n'a rien remarqué de particulier, ne travaillait pas dans l'entreprise - selon l'arrêt attaqué - pendant la période pertinente. C._ n'était qu'un tiers client. Deux employés, D._ et E._, ont déclaré que X._ n'avait pas de problèmes relationnels. En revanche, deux autres témoins, F._ et G._ ont parlé d'une situation de tension entre X._ et H._. Tous les autres témoins, en des termes différents mais de manière convergente, ont relevé le caractère irritable de X._ et admis qu'il nuisait au climat dans l'entreprise. Ainsi, I._ a déclaré que l'ambiance s'était détendue suite à son départ. J._ a dit que X._ avait un tempérament intempestif, voire irritable, et qu'il était en conflit avec certains collègues. K._ a déclaré que X._ s'emportait facilement, créant ainsi un climat malsain au sein de la société. L._ a souligné que X._ manquait de courtoisie à l'égard des collaborateurs et des clients. M._ a affirmé que, vers juillet 2005, le comportement de X._ a changé à un tel point que lui-même a sérieusement songé à chercher un nouvel emploi. H._ a déclaré que la situation s'était dégradée à partir du printemps de l'année 2003 et que X._ avait commencé à lui envoyer des courriels agressifs; il a estimé que son caractère était incompatible avec un travail d'équipe. N._, pour qui X._ avait effectué un travail privé, a affirmé que celui-ci l'avait menacé de mort.
Par jugement du 19 juin 2008, le Tribunal civil de l'arrondissement de Lausanne a condamné Y._ SA à payer à X._ la somme de 3'807 fr. 70 sous déduction des cotisations sociales et avec intérêts, pour un solde de vacances, rejetant la demande pour le surplus. Les premiers juges ont considéré que le caractère abusif du congé n'avait pas été démontré et que le demandeur ne pouvait prétendre à une indemnité de ce chef.
Saisi d'un recours émanant de X._, dans lequel celui-ci a repris ses conclusions de première instance, la Chambre des recours du Tribunal cantonal vaudois, par arrêt du 16 avril 2010, a confirmé le jugement attaqué avec suite de frais. La cour cantonale a retenu que le congé avait pour motif le comportement de X._ à l'égard des autres, et non pas des prétentions qu'il aurait formulées ou des pannes informatiques dont il serait responsable. Elle a estimé que l'employeur n'avait pas failli à son obligation d'apaiser les conflits, en relevant que X._ ne se trouvait pas impliqué dans un conflit interpersonnel dans le cadre duquel il aurait éprouvé un besoin de protection; le problème résulte en réalité de sa tendance à s'emporter et avoir des écarts de langage, ayant notamment traité son directeur de "petit bonhomme".
C. X._ exerce un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral contre l'arrêt cantonal du 16 avril 2010. Invoquant une violation du droit d'être entendu (art. 29 al. 2 Cst.) et une transgression des art. 328 et 336 CO, il conclut, sous suite de frais et dépens, à l'octroi de ses conclusions prises en première instance ou au renvoi de la cause à l'autorité cantonale.
L'intimée a conclu au rejet des recours avec suite de dépens.
Considérant en droit:
1. 1.1 Le Tribunal fédéral examine librement et d'office la recevabilité des recours dont il est saisi (<ref-ruling> consid. 1 p. 43; <ref-ruling> consid. 1 p. 103; <ref-ruling> consid. 1). Il convient d'examiner en premier lieu si le recours en matière civile (<ref-law>) est recevable.
1.2 Interjeté par la partie qui a succombé dans ses conclusions en paiement (portant sur 48'807 fr. 70 en capital, seuls 3'807 fr. 70 ayant été alloués) (<ref-law>) et dirigé contre un arrêt final (<ref-law>), rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>) dans une affaire pécuniaire dont la valeur litigieuse atteint le seuil de 15'000 fr. requis en matière de droit du travail (<ref-law>), le recours est en principe recevable, puisqu'il a été déposé dans le délai (art. 48 al. 1 et 100 al. 1 LTF) et la forme (<ref-law>) prévus par la loi.
1.3 Dès lors que le recours en matière civile est recevable, il en résulte nécessairement que le recours constitutionnel, qui est subsidiaire (<ref-law>), est irrecevable.
1.4 Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc également être formé pour violation d'un droit constitutionnel (<ref-ruling> consid. 1.4 p. 674; <ref-ruling> consid. 1.2 p. 382). Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 1.1 p. 104). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4 p. 400; <ref-ruling> consid. 2.2 p. 389).
Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.5 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 1.5 p. 130; 397 consid. 1.5 p. 401; <ref-ruling> consid. 8.1 p. 153) - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.4 et 6.2). Une rectification de l'état de fait ne peut d'ailleurs être demandée que si elle est de nature à influer sur le sort de la cause (<ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut être présenté, à moins de résulter de la décision de l'autorité précédente (<ref-law>).
1.6 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
2. 2.1 Invoquant une violation du droit d'être entendu garanti par l'art. 29 al. 2 Cst., le recourant reproche à la cour cantonale de ne pas avoir motivé correctement sa constatation selon laquelle les problèmes relationnels du recourant sont à l'origine de son licenciement.
La jurisprudence a notamment déduit du droit d'être entendu l'obligation, pour l'autorité, de motiver sa décision, afin que son destinataire puisse la comprendre et l'attaquer utilement s'il y a lieu (<ref-ruling> consid. 3.1 p. 277; <ref-ruling> consid. 3.3 p. 445). Le juge n'a cependant pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties; il suffit qu'il mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 4.1 p. 88; <ref-ruling> consid. 3.3 p. 445).
Déterminer les motifs réels d'une résiliation est une question de fait (<ref-ruling> consid. 4.3 p. 540; <ref-ruling> consid. 4.1 p. 702). Sur cette question pertinente, la cour cantonale a pris position de manière claire : elle a retenu que la cause principale du licenciement résidait dans les difficultés relationnelles du recourant, et non pas dans des demandes qu'il a formulées ou des pannes informatiques dont il serait responsable. Sous cet angle, la décision attaquée est dépourvue d'ambiguïté et permettait au recourant d'exercer son droit de recours sans aucune hésitation sur l'état de fait déterminant, comme le montre d'ailleurs sa motivation.
Il reste à examiner si la cour cantonale a suffisamment motivé la constatation de fait à laquelle elle est parvenue. Sous cet angle, le recours n'est pas dépourvu de tout fondement. Suivant une pratique vaudoise regrettable - qui pourrait un jour être sanctionnée sous l'angle de l'<ref-law> - la cour cantonale, sous le titre "en fait", ne fait que résumer le contenu de son dossier, à savoir les pièces produites, les procès-verbaux d'audience, les actes des parties et les décisions judiciaires (sur le constat, cf. récemment: arrêt 4A_231/2010 du 10 août 2010 consid. 2.2). Bien que ce résumé paraisse très détaillé, allant jusqu'à reproduire certains documents in extenso, on n'y trouve aucune véritable appréciation des preuves permettant de savoir ce que les juges tiennent ou non pour avéré. Ce n'est que dans la partie intitulée "en droit" qu'il est indiqué que la cour cantonale retient en fait que le congé est motivé par les difficultés relationnelles du recourant.
Malgré ses défauts évidents, la décision attaquée fait apparaître aisément, si on la considère dans son entier, les raisons qui ont amené les juges à une conviction quant au motif réel du licenciement. Sous peine de tomber dans le formalisme excessif, on s'aperçoit d'emblée, en lisant l'état de fait cantonal, que les demandes formulées par l'employé n'étaient pas de nature à importuner l'employeur au point de justifier un licenciement; quant à la question des pannes informatiques, leur cause reste totalement obscure. En revanche, un nombre significatif de témoins - et on sait que les témoins répugnent à tenir des propos négatifs susceptibles de provoquer l'inimitié - ont indiqué, certes en des termes différents, mais avec une remarquable convergence, que le recourant s'était montré irritable et qu'il avait tenu des propos agressifs, créant une mauvaise ambiance au lieu de travail; un conflit avec l'un des employés a été expressément évoqué et le recourant ne conteste pas par ailleurs avoir eu une altercation avec son directeur et avoir traité celui-ci de "petit bonhomme". Au vu de ces éléments, la cour cantonale n'a assurément pas apprécié les preuves de manière arbitraire - d'ailleurs le recourant n'invoque pas ce grief (cf. <ref-law>) - en considérant que la cause réelle du licenciement résidait dans ses difficultés relationnelles.
Le grief doit donc être rejeté.
2.2 Le recourant reproche aux juges cantonaux une mauvaise application de l'<ref-law>, ceux-ci n'ayant, en particulier, pas correctement tenu compte de l'<ref-law>.
Pour trancher les questions posées, il convient préalablement de rappeler les principes applicables en la matière.
2.3 Selon l'<ref-law>, le contrat de travail conclu pour une durée indéterminée peut être résilié par chacune des parties. En droit suisse du travail, la liberté de la résiliation prévaut, de sorte que, pour être valable, un congé n'a en principe pas besoin de reposer sur un motif particulier (<ref-ruling> consid. 2.1 p. 116; <ref-ruling> consid. 4.1 p. 538; <ref-ruling> consid. 2a p. 88).
Le droit de chaque cocontractant de mettre unilatéralement fin au contrat est toutefois limité par les dispositions sur le congé abusif (<ref-law>) (<ref-ruling> consid. 2.1 p. 116; <ref-ruling> consid. 4.1 p. 538; <ref-ruling> consid. 4.1 p. 701).
L'art. 336 al. 1 et 2 CO énumère des cas dans lesquels la résiliation est abusive; cette liste n'est toutefois pas exhaustive et une résiliation abusive peut aussi être admise dans d'autres circonstances. Il faut cependant que ces autres situations apparaissent comparables, par leur gravité, aux cas expressément envisagés par l'<ref-law> (<ref-ruling> consid. 2.1 p. 116 s.; <ref-ruling> consid. 4.2 p. 538). Ainsi, un congé peut être abusif en raison de la manière dont il est donné (<ref-ruling> consid. 2.2 p. 117; <ref-ruling> consid. 4.2 p. 538), parce que la partie qui donne le congé se livre à un double jeu, contrevenant de manière caractéristique au principe de la bonne foi (<ref-ruling> consid. 2.2 p. 117; <ref-ruling> consid. 4.2 p. 538; <ref-ruling> consid. 2b p. 73), lorsqu'il est donné par un employeur qui viole les droits de la personnalité du travailleur (<ref-ruling> consid. 2.2 p. 117; <ref-ruling> consid. 4.2 p. 538 s.), quand il y a une disproportion évidente des intérêts en présence ou lorsqu'une institution juridique est utilisée contrairement à son but (<ref-ruling> consid. 2.4 p. 118; <ref-ruling> consid. 4.2 p. 539).
Pour dire si un congé est abusif, il faut se fonder sur son motif réel (arrêt 4C.282/2006 du 1er mars 2007 consid. 4.3). Déterminer le motif d'une résiliation est une question de fait (cf. supra consid. 2.1).
2.4 S'agissant des cas de congés abusifs prévus spécialement par la loi, l'art. 336 al. 1 let. d CO prévoit que le congé est abusif lorsqu'il est donné parce que l'autre partie fait valoir de bonne foi des prétentions résultant du contrat de travail (cf. arrêt 4A_102/2008 du 27 mai 2008 publié in PJA 2008 p. 1177 consid. 2). Pour que cette disposition soit applicable, il faut que l'autre partie ait eu la volonté d'exercer un droit (arrêt 4C_237/2005 du 27 octobre 2005 consid. 2.3). Il faut encore qu'elle ait été de bonne foi, même si sa prétention, en réalité, n'existait pas (arrêt 4C_237/2005 du 27 octobre 2005 consid. 2.3; arrêt 4C.229/2002 du 29 octobre 2002 in Pra 2003 n. 106 p. 574 consid. 3); cette norme ne doit pas permettre à un travailleur de bloquer un congé en soi admissible ou de faire valoir des prétentions totalement injustifiées (arrêt 4C.247/1993 du 6 avril 1994 consid. 3a in SJ 1995 p. 791 et les auteurs cités).
2.5 Quant à l'<ref-law>, il déclare abusif le congé donné pour une raison inhérente à la personnalité de l'autre partie, à moins que cette raison n'ait un lien avec le rapport de travail ou ne porte sur un point essentiel un préjudice grave au travail dans l'entreprise. Cette disposition protectrice ne s'applique donc pas lorsque le travailleur présente des manquements ou des défauts de caractère qui nuisent au travail en commun, sans qu'il y ait à se demander si de telles caractéristiques constituent ou non une "raison inhérente à la personnalité" au sens de l'<ref-law> (arrêt 4C.253/2001 du 18 décembre 2001 consid. 2a et b; ATF <ref-ruling> consid. 2b p. 88; <ref-ruling> consid. 2c p. 74). Ainsi, il a été jugé que le congé n'était pas abusif lorsqu'il était donné au travailleur qui, en raison de son caractère difficile, crée une situation conflictuelle qui nuit notablement au travail en commun (<ref-ruling> consid. 2.2 p. 117; <ref-ruling> consid. 2c p. 74).
2.6 En l'espèce, il ressort de l'état de fait cantonal - qui lie le Tribunal fédéral (<ref-law>) - que le recourant, au moins à partir d'une certaine date, s'est montré irritable et a tenu des propos agressifs, créant ainsi un mauvais climat au lieu de travail. Le recourant n'a pas été licencié brutalement et sans ménagement. Un premier entretien a eu lieu avec le directeur, qui a mal tourné; ensuite, un sévère avertissement a été donné par écrit au recourant; il ne ressort pas des constatations cantonales que la situation se serait améliorée, de sorte que l'intimée, de guerre lasse, s'est résolue à licencier le recourant, ce qui a apporté une amélioration du climat dans l'entreprise. Dans de telles circonstances (manifestement admises par la cour cantonale), on ne peut pas dire que le congé ne répond à aucun intérêt digne de protection ou qu'il a été donné sans ménagement.
Comme il a été retenu que les traits de caractère du recourant ont perturbé le climat au travail, l'<ref-law> n'est pas applicable, sans qu'il y ait lieu d'examiner si ces traits de caractère constituent ou non une "raison inhérente à la personnalité" au sens de cette disposition.
Le recourant reproche à l'employeur de ne pas avoir pris les mesures adéquates, en présence d'un conflit, pour préserver sa personnalité, comme l'exige l'<ref-law>. Il faut tout d'abord observer que l'on ne se trouve pas dans la situation où l'employeur, pour mettre fin à un conflit entre deux de ses employés, choisit arbitrairement de licencier l'un d'eux, sans n'avoir rien tenté pour améliorer la situation. Il ressort de l'état de fait cantonal que le recourant était en conflit au moins avec le directeur et un autre employé et que les témoins qui se sont exprimés sur l'état conflictuel ont clairement désigné l'attitude du recourant comme la cause de ces tensions. Dans cette situation, l'employeur a estimé que la seule mesure à prendre était d'inviter le recourant à faire un effort et à changer d'attitude; on ne saurait dire qu'il a abusé de son pouvoir d'appréciation en la matière. On ne voit pas que l'employeur ait manqué à son obligation de protéger la personnalité du recourant.
Le recourant reproche à l'employeur d'avoir adopté une attitude contradictoire, en lui impartissant un délai à fin septembre pour changer d'attitude et en le licenciant ensuite sans nouvel entretien. Il faut tout d'abord observer que le recourant a été malade du 8 au 18 septembre, ce qui constitue un fait inattendu qui faussait évidemment la période de test imaginée par l'employeur et justifiait un nouvel examen. Par ailleurs, le recourant n'a pas admis les reproches qui lui étaient adressés, mais a adressé une réponse, le 1er novembre 2005, rédigée par un avocat qu'il avait mandaté à cette fin, ce qui dénote un incontestable raidissement de la situation. Estimant que la situation ne s'était pas améliorée comme espéré, l'employeur a licencié le recourant. On ne saurait dire cependant, sur la base de cet état de fait, que l'employeur a joué un double jeu, qu'il a fait preuve de duplicité dès le début et qu'il avait d'emblée l'intention de licencier le travailleur. De tels faits ne sont pas établis, de sorte que l'on ne peut conclure que l'employeur, en résiliant le contrat, a agi de manière contraire aux règles de la bonne foi.
Pour tenter une contre-attaque, le recourant reproche à l'employeur de ne pas lui avoir remis un certificat de travail intermédiaire, d'avoir supprimé son mot de passe et de ne pas avoir répondu aux deux questions qu'il avait posées. Ces arguments sont vains, parce qu'ils ne touchent pas au motif réel du congé ou à la manière dont il a été donné. La seule question pertinente est en effet de savoir si le congé contrevient aux règles de la bonne foi; il ne s'agit pas de rechercher si l'employeur a rempli toutes ses obligations et s'il a, en toute circonstance, adopté un comportement irréprochable.
Le recourant soutient enfin que la résiliation est abusive en vertu de l'art. 336 al. 1 let. d CO, parce qu'elle est donnée pour le motif qu'il faisait valoir de bonne foi des prétentions résultant du contrat de travail. Il est vrai qu'il ressort de l'état de fait cantonal que le recourant avait demandé des renseignements sur la possibilité d'obtenir des commissions, sur la politique en matière d'heures supplémentaires ainsi que sur la date de ses vacances; par ailleurs, il avait demandé un nouveau certificat de travail intermédiaire. La cour cantonale a estimé que ces demandes, qui n'étaient pas de nature à déranger véritablement l'employeur, n'avaient pas joué de rôle causal dans la décision de le licencier. Déterminer s'il existe un rapport de causalité naturelle est une question de fait (<ref-ruling> consid. 5.3 p. 601, 699 consid. 4.1 p. 402; <ref-ruling> consid. 2d p. 25). Le Tribunal fédéral est donc lié par la constatation de l'autorité cantonale (<ref-law>). Le recourant n'invoque pas l'arbitraire (art. 9 Cst.) dans l'établissement de ce point de fait; le grief constitutionnel n'étant pas soulevé, le Tribunal fédéral ne peut entrer en matière à ce sujet (<ref-law>). Au demeurant, on ne voit pas pourquoi ces demandes auraient pu déranger l'employeur à un point tel qu'il décide de licencier son employé; la conclusion cantonale ne peut donc pas être taxée d'arbitraire. Dès lors que les demandes de l'employé n'ont joué aucun rôle causal dans le licenciement, l'art. 336 al. 1 let. d CO n'est pas applicable.
Ainsi, la cour cantonale n'a pas violé les art. 328 et 336 CO et le recours doit être rejeté.
3. Les frais judiciaires et les dépens sont mis à la charge de la partie qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est rejeté.
3. Les frais judiciaires, fixés à 2'000 fr., sont mis à la charge du recourant.
4. Le recourant versera à l'intimée une indemnité de 2'500 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux participants à la procédure et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 7 octobre 2010
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget