Faits:
A. Le 23 janvier 2002, X._ a été victime d'un accident de la circulation. La conductrice responsable était assurée auprès de Y._ Compagnie d'Assurances SA contre le risque de la responsabilité civile des détenteurs de véhicules automobiles.
X._ a été atteint physiquement; il a subi divers arrêts de travail et a consulté de nombreux médecins.
B. Par demande du 25 octobre 2006 adressée à la Cour civile du Tribunal cantonal vaudois, X._ a conclu, avec dépens, à ce que Y._ Compagnie d'Assurances SA soit condamnée à lui payer la somme de 634'893 fr.05 avec intérêts à 5% l'an dès le 23 janvier 2002, à titre de dommages-intérêts et de réparation du tort moral.
L'assureur a conclu au rejet de la demande avec suite de dépens.
Par arrêt du 30 octobre 2009, la Cour civile du Tribunal cantonal vaudois a condamné Y._ Compagnie d'Assurances SA à payer à X._, à titre de réparation du tort moral, la somme de 12'000 fr. avec intérêts à 5% dès le 23 janvier 2002, sous déduction de 5'000 fr. déjà versés le 23 décembre 2002. Pour le surplus, la cour cantonale a rejeté la demande, considérant que les prétentions de X._ étaient déjà indemnisées, infondées ou non prouvées. La cour cantonale a statué sur les frais et dépens, allouant à X._ une somme de 4'363 fr.35 à titre de dépens réduits.
Contestant exclusivement la décision sur les dépens, Y._ Compagnie d'Assurances SA, par acte du 12 mai 2010, a recouru auprès de la Chambre des recours du Tribunal cantonal vaudois. Elle a conclu, avec dépens de deuxième instance, à la réforme de l'arrêt attaqué, en ce sens que c'est X._ qui doit lui verser des dépens dont elle fixe le montant à 60'000 francs.
X._ a conclu au rejet du recours avec suite de dépens.
Par arrêt du 1er décembre 2010, la Chambre des recours a réformé l'arrêt attaqué en ce qui concerne les dépens seulement, condamnant X._ à verser à Y._ Compagnie d'Assurances SA la somme de 25'218 fr.; pour la procédure de deuxième instance, Y._ Compagnie d'Assurances SA a obtenu des dépens réduits.
C. Ayant reçu cet arrêt le 23 février 2011, X._ a déposé dans un bureau de poste suisse, le 25 mars 2011, un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral. Invoquant exclusivement l'interdiction de l'arbitraire (art. 9 Cst.), il conclut, avec suite de frais et dépens, à ce que sa partie adverse soit condamnée à lui payer la somme de 4'363 fr.35 avec intérêts à 5% dès le 5 mai 2010, à titre de dépens pour la procédure de première instance, et la somme de 2'500 fr. avec intérêts à 5% dès le 23 février 2011, à titre de dépens pour la procédure de deuxième instance; subsidiairement, il demande que la cause soit renvoyée à l'autorité précédente pour nouvelle décision.
L'intimée a conclu, avec suite de frais et dépens, au rejet du recours dans la mesure où il est recevable.
Considérant en droit:
1. 1.1 La décision sur les dépens revêt un caractère accessoire (ATF 137 III 47 consid. 1.2.1 p. 47 s.). Pour déterminer quel est le recours ouvert devant le Tribunal fédéral, il faut donc examiner quelle était la prétention litigieuse sur le fond (cf. ATF 135 III 483 consid. 1.1.1 p. 485; ATF 135 IV 43 consid. 1.1.1 p. 45 s.). S'agissant en l'espèce d'un procès en responsabilité civile, la décision attaquée doit être considérée comme rendue "en matière civile" au sens de l'art. 72 al. 1 LTF.
S'agissant d'une affaire pécuniaire qui ne relève ni du droit du travail ni du droit du bail, le recours en matière civile n'est ouvert que si la valeur litigieuse atteint 30'000 fr. (art. 74 al. 1 LTF). Le recours étant dirigé contre une décision finale, c'est-à-dire une décision qui clôt la procédure (art. 90 LTF), la valeur litigieuse doit être déterminée selon les conclusions restées litigieuses devant l'autorité précédente (art. 51 al. 1 let. a LTF). Devant l'autorité précédente - où la procédure ne portait plus que sur les dépens -, l'intimée avait conclu qu'elle ne devait pas verser à sa partie adverse 4'363 fr.35, mais qu'elle avait droit au contraire à 60'000 fr.; le recourant s'était opposé à ces conclusions en totalité. Il n'est donc pas douteux que la valeur litigieuse, selon les dernières conclusions prises devant l'autorité précédente, dépassent le seuil de 30'000 fr. Il en découle que le recours en matière civile est ouvert, ce qui entraîne l'irrecevabilité du recours constitutionnel, puisque celui-ci est subsidiaire (art. 113 LTF).
Le recourant, en tant que partie condamnée à verser des dépens, a manifestement qualité pour interjeter un recours en matière civile (art. 76 al. 1 LTF).
Le recours en matière civile est ainsi recevable, puisqu'il est dirigé contre un jugement final (art. 90 LTF) rendu par une autorité cantonale de dernière instance statuant sur recours (art. 75 LTF) et qu'il a été interjeté dans le délai (art. 48 al. 1 et 100 al. 1 LTF) et la forme (art. 42 LTF) prévus par la loi.
1.2 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Il peut donc être formé pour violation d'un droit constitutionnel (ATF 136 I 241 consid. 2.1 p. 247; 136 II 304 consid. 2.4 p. 313). Hormis certaines exceptions qui n'entrent pas en considération en l'espèce, le recours ne peut cependant pas être formé pour violation du droit cantonal (ATF 136 I 241 consid. 2.4 p. 249).
Par exception à la règle selon laquelle le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (art. 106 al. 2 LTF). En particulier, la partie recourante qui invoque l'interdiction de l'arbitraire ne peut pas se borner à taxer d'arbitraire la décision attaquée, mais elle doit démontrer, par une argumentation circonstanciée, que la décision querellée est insoutenable (ATF 134 II 244 consid. 2.2 p. 246).
1.3 Le Tribunal fédéral conduit en principe son raisonnement juridique sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF).
En l'espèce, le recourant se soumet expressément à l'état de fait contenu dans l'arrêt attaqué et il n'y a pas de raison de s'en écarter (art. 97 al. 1 et 105 al. 2 LTF).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Toute conclusion nouvelle est irrecevable (art. 99 al. 2 LTF).
2. 2.1 La décision attaquée a été rendue et son dispositif a été communiqué aux parties avant l'entrée en vigueur, le 1er janvier 2011, du CPC; en conséquence, la fixation des dépens - qui fait seule l'objet du litige - est régie entièrement par l'ancien droit, soit en l'espèce le droit vaudois (cf. art. 404 al. 1, 405 al. 1 CPC; ATF 137 III 130).
Comme on l'a vu, le recours en matière civile n'est pas ouvert pour se plaindre d'une violation du droit cantonal (cf. art. 95 et 96 LTF; ATF 136 I 241 consid. 2.4 p. 249). Le recourant peut cependant invoquer l'arbitraire, prohibé par l'art 9 Cst., dans l'application du droit cantonal (ATF 134 III 379 consid. 1.2. p. 382 s.). Il doit alors indiquer avec précision quelle est la disposition cantonale qui aurait été violée arbitrairement (ATF 110 Ia 1 consid. 2a p. 3), en expliquant pourquoi la décision attaquée serait insoutenable (art. 106 al. 2 LTF; ATF 134 II 244 consid. 2.2 p. 246).
En l'espèce, le recourant n'entreprend pas de démontrer que la décision attaquée serait contraire à une règle précise du droit cantonal.
Il se borne à soutenir que la cour cantonale a fait un usage arbitraire de son pouvoir d'appréciation.
2.2 Selon la jurisprudence, l'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait rentrer en considération ou même qu'elle serait préférable; le Tribunal fédéral n'annulera la décision attaquée que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité; pour qu'une décision soit annulée pour cause d'arbitraire, il ne suffit pas que la motivation formulée soit insoutenable, il faut encore que la décision apparaisse arbitraire dans son résultat (ATF 137 I 1 consid. 2.4 p. 5; 136 I 316 consid. 2.2.2 p. 318 s.; 136 III 552 consid. 4.2 p. 560).
2.3 Selon l'art. 92 al. 1 du Code de procédure civile vaudois (CPC/VD), les dépens sont alloués à la partie qui a obtenu l'adjudication de ses conclusions. Il n'est pas contesté en l'espèce qu'aucune des parties n'a obtenu entièrement gain de cause dans le procès en responsabilité civile. Selon l'al. 2 de cette même disposition, lorsqu'aucune des parties n'obtient entièrement gain de cause, le juge peut réduire les dépens ou les compenser. Il en découle que le législateur lui confère alors un large pouvoir d'appréciation.
Le juge ne tombe pas dans l'arbitraire du seul fait qu'il use du pouvoir d'appréciation que la loi lui accorde.
Il résulte des constatations cantonales - qui lient le Tribunal fédéral (art. 105 al. 1 LTF) - que le recourant avait demandé en capital 634'893 fr.05 - prétention entièrement contestée - et qu'il n'a obtenu que 12'000 fr. (sur lesquels 5'000 fr. étaient déjà payés). Il en résulte que le recourant n'a même pas obtenu le 2% de l'ensemble de ses conclusions chiffrées.
La cour cantonale a considéré qu'il ne fallait pas s'arrêter à une telle analyse chiffrée, mais considérer plutôt l'ampleur du travail et du temps consacré à chacune des questions litigieuses. Elle est parvenue à la conclusion que la question du tort moral - point sur lequel le recourant a obtenu 12'000 fr. - représentait environ 15% de la procédure. On ne voit pas que cette méthode d'analyse puisse être qualifiée d'insoutenable. Le recourant n'a pas de raison de s'en plaindre, puisqu'elle lui est manifestement plus favorable qu'une analyse chiffrée.
Le recourant s'en prend cependant à l'évaluation faite, considérant que la question du tort moral représente davantage que 15% de la procédure. L'argumentation qu'il présente est cependant impropre à démontrer l'arbitraire. Il ne prétend pas que les souffrances éprouvées, qui ont justifié l'allocation de l'indemnité pour tort moral, aient été niées par sa partie adverse et auraient rendu nécessaires des mesures probatoires ou des développements particuliers. Il n'indique même pas quelle preuve aurait été administrée sur la question particulière des souffrances, qui constitue le critère déterminant pour une réparation du tort moral. La cour cantonale a relevé que l'essentiel des opérations de l'instruction, en particulier l'expertise judiciaire, avait été consacré à l'établissement de l'incapacité de gain du recourant. Celui-ci le conteste globalement, mais il n'explique pas quelles opérations de l'instruction auraient été consacrées spécifiquement au problème du tort moral; il n'indique même pas que des questions aient été posées à l'expert judiciaire sur le problème des souffrances. Le recourant, par une argumentation superficielle, n'est donc pas parvenu à montrer que la cour cantonale serait tombée dans l'arbitraire en fixant à 15% la part du procès consacrée à la question du tort moral.
Sur cette question, le recourant a certes obtenu gain de cause quant au principe de l'octroi d'une indemnité, qui n'était cependant pas contesté. En revanche, il a succombé pour une part significative sur la quotité, puisqu'il réclamait 41'360 fr. et n'a obtenu que 12'000 francs.
La cour cantonale a expliqué que si l'intimée avait obtenu entièrement gain de cause, sa partie adverse aurait dû lui verser 33'624 fr.45 à titre de dépens. Le recourant ne soutient pas que ce chiffre aurait été fixé arbitrairement (art. 106 al. 2 LTF).
Faisant usage du large pouvoir d'appréciation que le droit cantonal lui confère, la cour cantonale a réduit ce montant d'environ 25%, pour tenir compte du fait que le recourant avait obtenu 12'000 fr. à titre de réparation du tort moral.
S'agissant très largement d'une question d'appréciation, on ne parvient pas à voir en quoi la cour cantonale serait tombée dans l'arbitraire au détriment du recourant.
La même clé de répartition a été adoptée pour les dépens de deuxième instance et le recourant ne soulève à ce sujet aucun grief particulier (art. 106 al. 2 LTF).
Il n'y a donc pas trace d'arbitraire et le recours doit être rejeté.
3. Les frais et dépens sont mis à la charge de la partie qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est rejeté.
3. Les frais judiciaires, fixés à 2'000 fr., sont mis à la charge du recourant.
4. Le recourant versera à l'intimée une indemnité de 2'500 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 21 juin 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Crittin