Faits: A. Par contrat du 5 février 1997, la Commune Z._ (ci-après: la commune) a cédé à X._, moyennant paiement d'un loyer, l'usage de locaux commerciaux sis rue ... à Z._ (Vaud), destinés à l'exploitation d'un café-restaurant à l'enseigne " T._ ". Le ch. 5.6 des dispositions particulières du contrat prévoit qu'il sera repris au locataire, à son départ de l'établissement, " les biens matériels (mobilier et matériel) dont il est propriétaire et se rattachant à l'exploitation normale du commerce, selon les règles fixées à l'art. 3 des dispositions complémentaires pour établissements publics ". Cet art. 3 des dispositions complémentaires prévoit que: " au départ du locataire, le bailleur s'engage, pour autant que ce ne soit pas contraire à ses intérêts légitimes, à faire reprendre pour le moins par le nouveau locataire, à dire d'experts, le mobilier et le matériel adaptés aux besoins normaux du commerce ". Par courrier du 13 décembre 2005, le locataire a mis fin au contrat pour l'échéance du 28 février 2007. Au mois de juillet 2006, la commune a mandaté V._ SA pour trouver un repreneur. Une mise au concours publiée dans la Feuille des avis officiels du canton de Vaud le 12 septembre 2006 indiquait que la reprise de l'équipement mobile selon taxation était une condition de la location. Le 14 septembre 2006, le Service romand d'estimation, par l'intermédiaire de C._, a établi un inventaire du matériel et du mobilier de l'auberge s'élevant à 102'913 fr.70. Selon un courrier de la commune du 15 décembre 2006, cette dernière avait décidé de confier l'exploitation des locaux à A._ et B._. Il était indiqué que la commune avait pris note que les nouveaux locataires s'engageaient à reprendre l'inventaire à un prix de 100'000 fr. Un nouvel inventaire a toutefois été effectué le 1er mars 2007, les biens repris étant alors estimés à 19'869 fr.20 et les objets non repris à 59'794 fr.80. Le sort de la lingerie était encore indécis. Le 2 avril 2007, la commune a conclu un contrat portant sur la location de l'auberge avec une société " W._ SA ", créée par A._ et B._ pour exploiter ce commerce. Le ch. 6.2 des dispositions particulières du contrat prévoyait que le " locataire s'engage à reprendre l'inventaire mobilier-matériel de son prédécesseur à dire d'experts ". Par courrier du 14 mai 2007, X._ a exigé de la Commune Z._ qu'elle lui paie le montant évalué le 14 septembre 2006 par le Service romand d'estimation, à savoir 102'913 fr.70. B. Le 12 juillet 2007, X._ a déposé une requête au greffe de la Commission de conciliation en matière de baux et loyers. La cause n'ayant pas été conciliée, il a déposé une demande, le 22 novembre 2007, dirigée contre la Commune Z._ et concluant à ce que cette dernière soit condamnée à lui verser la somme de 102'913 fr.70 avec intérêts à 5% dès le 1er mars 2007, la somme de 120'000 fr. avec intérêts à 5% dès le 1er mars 2002, ainsi qu'à libérer la garantie bancaire de 20'000 fr. qu'il avait fournie. La Commune Z._ a pris des conclusions reconventionnelles, réclamant la somme de 99'256 fr. avec intérêts à 5% dès le 13 juillet 2007, la garantie bancaire de 20'000 fr. étant libérée pour payer cette somme à due concurrence; elle a demandé par ailleurs que X._, sous menace des peines prévues à l'art. 292 CP, retire du matériel déposé au local des pompiers, avec une astreinte de 800 fr. par mois dès le 1er mars 2007. X._ s'est opposé à la demande reconventionnelle et a augmenté ses propres conclusions. Une expertise judiciaire a été ordonnée et confiée à l'expert D._, diplômé de l'Ecole U._, pour apprécier la valeur des biens devant être pris en compte selon l'accord des parties. L'expert a rendu son rapport le 18 décembre 2009. Il a estimé la valeur du fonds de commerce à 21'079 fr.80 et la valeur du matériel repris à 12'625 fr.80. En particulier, il s'est étonné qu'il y ait trois caisses enregistreuses différentes fonctionnant avec des systèmes différents; il a relevé également qu'il y avait trois coffres-forts. Dans le matériel, il a considéré que " trop de choses [étaient] vieillies, démodées et détériorées ". Le linge provient de différents restaurants; " il est démodé et on ne peut plus l'utiliser dans un restaurant moderne ". Des centaines de plats " sont démodés, vieux ou pas assez grands ". S'agissant des machines et appareils, il a relevé qu'ils étaient " très anciens, démodés et ne sont plus utiles pour un restaurant de notre époque "; il les estime bon pour la déchetterie. Selon l'expert, il y a trop d'assiettes et les " dessins sont démodés et la grandeur des assiettes n'est plus en vogue ". Certains des services sont inutiles et démodés. Le matériel de cuisine " est trop important et les caquelons, par exemple, sont tous démodés ". Lors de sa visite des lieux, l'expert s'est même demandé si le locataire précédent n'était pas un collectionneur. Le témoin C._, qui a réalisé les inventaires auxquels le demandeur se réfère, a expliqué qu'il avait fait l'estimation des machines en tenant compte de la valeur à neuf, puis qu'il l'avait réduite en fonction des barèmes d'amortissement; pour ce qui est de la vaisselle et des ustensiles de cuisine, il a tenu compte de leur état pour calculer l'amortissement; son inventaire ne tient pas compte de l'utilisation future du matériel par le nouveau locataire. Par jugement du 13 octobre 2011, le Tribunal des baux et loyers, statuant par ailleurs sur les frais et dépens, a prononcé que X._ devait payer à la Commune Z._ les sommes de 3'392 fr.30 et de 6'563 fr.50 avec intérêts, tandis que la Commune Z._ doit payer à X._ la somme de 99'413 fr.70 avec intérêts. Les premiers juges se sont fondés sur les chiffres arrêtés par le Service romand d'estimation et ils ont écarté l'expertise judiciaire de D._. Ils ont arrêté le prix de la reprise à 102'913 fr.70, dont à déduire le montant de 3'500 fr. correspondant au prix d'un four à pizza repris par X._. Statuant sur appel de la commune le 29 janvier 2013, la Cour d'appel civile du Tribunal cantonal vaudois a réformé le jugement entrepris en ce sens que le montant dû par la Commune Z._ à X._ a été réduit de 99'413 fr.70 à 12'625 fr.80, les dépens de première instance étant compensés; la cour cantonale a par ailleurs statué sur les frais et dépens de la procédure d'appel. En substance, elle a retenu qu'il fallait suivre les conclusions de l'expert judiciaire D._. C. X._ exerce un recours au Tribunal fédéral contre l'arrêt cantonal du 29 janvier 2013. Il l'intitule " recours en matière civile et recours constitutionnel subsidiaire ". Invoquant une fausse application du droit fédéral, une constatation manifestement inexacte des faits, une appréciation arbitraire des preuves, une violation du droit d'être entendu, une décision arbitraire, un état de fait manifestement incomplet et une violation du droit à la preuve, il conclut, sous suite de frais et dépens, à ce que l'arrêt attaqué soit réformé et à ce que l'on en revienne à la décision de première instance, les frais et dépens de la deuxième instance étant à la charge de l'intimée; subsidiairement, il demande l'annulation de l'arrêt attaqué et le renvoi de la cause à la cour cantonale. L'intimée conclut, sous suite de frais et dépens, à l'irrecevabilité du recours constitutionnel et au rejet du recours en matière civile; subsidiairement, elle demande le renvoi de la cause à la cour cantonale pour complément d'instruction. Les parties ont répliqué et dupliqué.