Faits: A. La société A._ AG, ayant son siège social à Berne, active dans le domaine du génie civil et de la maçonnerie, avait une filiale à Sion pour ses activités en Valais. Rencontrant d'importantes difficultés financières, elle a obtenu, le 18 mai 1995, un sursis concordataire en vue d'un concordat par abandon d'actifs. Dans ce contexte, elle a vendu certains actifs, par contrat du 9 juin 1995, à une société anonyme en formation, Y._ SA. L'opération était financée à hauteur de 1'200'000 fr. par des prêts octroyés par la Banque V._ (ci-après : V._). Cette banque a également accordé un crédit en compte courant de 3'000'000 fr. à la société en formation en vue d'assurer les liquidités de l'exploitation. Le notaire X._, à Sion, s'est chargé des formalités de constitution de la nouvelle société. Il en a établi les statuts, qui lui assignent pour but l'exploitation d'une entreprise générale de construction et de travaux publics. Le siège social a été fixé à Sion. Le capital-actions, d'un montant de 500'000 fr., était divisé en 500 actions nominatives de 1'000 fr. chacune. Lors de l'assemblée constitutive, la société B._ SA a souscrit 498 actions, C._ et D._ une action chacun. Ces deux derniers ont été nommés administrateurs. La fiduciaire E._ a été désignée comme organe de révision. La société Y._ SA a été inscrite au registre du commerce le 27 juin 1995. Par la suite, F._ et G._ ont rejoint le conseil d'administration. Lors de l'assemblée générale extraordinaire du 24 juin 1996, les actionnaires ont évoqué le problème endémique du manque de liquidités dont souffrait la société. Des doutes ont également été émis quant à la légalité de la procédure de fondation. H._ et X._ ont été nommés en qualité d'administrateurs. Ce dernier n'a été inscrit au registre du commerce que le 14 juillet 1997. Lors de l'assemblée générale du 21 octobre 1996, D._ a démissionné et l'assemblée a rappelé qu'elle avait élu X._ en qualité d'administrateur lors de l'assemblée générale extraordinaire du 24 juin 1996. En septembre 1996, B._ SA a cédé les actions de Y._ SA à Compagnie générale I._ SA, société en mains de J._ SA. Dans une lettre du 17 octobre 1996, dont copie a été envoyée à X._, le directeur de la société, K._, a soulevé le problème du manque de liquidités de Y._ SA. Pour les comptes de l'exercice 1996, la société a dissous pour 1'048'000 fr. de réserves latentes, ce qui lui a permis de dégager un bénéfice comptable de 161 francs. L'organe de révision a relevé une baisse du bénéfice, qui a passé de 399'000 fr. à 179'000 fr., tout en soulevant à nouveau le problème du manque de liquidités. En 1997, F._ et C._ ont démissionné du conseil d'administration dans lequel est entré N._. L'organe de révision a été remplacé par L._ SA. A compter du printemps 1997, le directeur K._ a régulièrement rendu l'actionnaire majoritaire et le conseil d'administration attentifs à la situation financière qui devenait de plus en plus désespérée. Par contrat du 18 juillet 1997, O._ SA, société de portage de la Banque W._, a acheté à R._ SA, alors propriétaire des actions de Compagnie générale I._ SA, laquelle détenait toutes les actions de Y._ SA. En été 1997, O._ SA a accordé à Y._ SA un prêt de 800'000 francs. Lors de la réunion du conseil d'administration du 12 novembre 1997, les membres ont constaté que le chiffre d'affaires avait encore baissé de 25 % par rapport à 1996. Ils ont relevé que le portefeuille de commandes était extrêmement faible et que la situation financière était critique. Le paiement du treizième salaire et des indemnités de vacances pour le personnel était problématique. Ils ont décidé diverses mesures d'économie. En automne 1997, la société a licencié l'ensemble de sa main- d'oeuvre, à l'exception des cadres. L'exercice 1997 s'est soldé par une perte de 1'107'140 francs. Le directeur K._ a relevé que le chiffre d'affaires était en baisse, que la conjoncture était défavorable et que les perspectives étaient peu favorables. Il a conclu que la société se trouvait dans une crise financière aiguë. Dans un rapport du 2 avril 1998, le réviseur L._ SA a avisé le conseil d'administration que le surendettement se chiffrait à 620'000 fr. au 31 décembre 1997. Par une lettre du même jour, la Banque V._ a averti Y._ SA qu'elle réduisait progressivement sa limite de crédit à compter du 1 er juillet 1998. Au mois de juin 1998, les fournisseurs de décembre 1997 étaient encore impayés et le paiement des salaires de mai 1998 n'était pas assuré. Le conseil d'administration a discuté de la situation lors de ses séances du 9 juin 1998, puis du 18 août 1998. Dans son rapport du 28 septembre 1998, relatif à l'exercice 1997, L._ SA a considéré que la société était surendettée, en précisant que les comptes intermédiaires non révisés au 30 juin 1998 faisaient déjà apparaître un surendettement. Le réviseur a attiré l'attention du conseil d'administration sur les dispositions de l'art. 725 al. 2 CO. Le 12 octobre 1998, G._ a démissionné et a été remplacé par M._. Le 30 octobre 1998, le conseil d'administration a demandé un bilan d'exploitation et un bilan de liquidation au 30 septembre 1998. Lors de l'assemblée générale extraordinaire du 17 novembre 1998, N._ et L._ SA ont été révoqués. Lors de l'assemblée générale du 10 décembre 1998, les actionnaires ont donné décharge au conseil d'administration et l'ont invité à chercher un repreneur et à reporter en conséquence l'avis de surendettement au juge. La Fiduciaire P._ SA a été désignée en qualité d'organe de révision. Le 26 janvier 1999, la Banque V._ a bloqué les comptes de Y._ SA, de sorte que la société s'est trouvée dans l'impossibilité de poursuivre les chantiers, ce qui a mis un terme à ses affaires. Le 29 janvier 1999, X._ a demandé au registre du commerce de le radier du conseil d'administration avec copie au président du conseil. Ce même jour, M._ a donné l'ordre au directeur K._ de licencier la totalité du personnel. Le 15 février 1999, M._, qui était le dernier membre du conseil d'administration, a adressé au juge un avis de surendettement et la faillite de la société a été prononcée le 24 février 1999. B. Par exploit du 31 octobre 2000, la masse en faillite de Y._ SA a cité en conciliation notamment X._, lui réclamant la somme de 4'000'000 fr. avec intérêts à 5 % l'an dès le 24 février 1999. D'autres exploits identiques ont été déposés successivement les 5 septembre 2001, 26 août 2002 et 18 décembre 2006, étant précisé que dans le dernier exploit, la masse en faillite a réduit ses prétentions à 2'000'000 francs. Dans chaque cas, un acte de non-conciliation a été délivré. Par demande du 25 novembre 2002, la masse en faillite de Y._ SA a ouvert action auprès du juge du district de Sion à l'encontre de X._, lui réclamant la somme de 2'000'000 fr. avec intérêts à 5 % dès le 5 septembre 2001. Le montant de la demande a été modifié à plusieurs reprises en cours de procédure. X._ s'est opposé à la demande en totalité. Par jugement du 6 septembre 2011, le juge IV du district de Sion a condamné X._ à verser à la masse en faillite de Y._ SA la somme de 503'030 fr. avec intérêts à 5 % dès le 24 février 1999, statuant par ailleurs sur les frais et dépens. En substance, le juge a considéré que X._, en sa qualité d'administrateur, aurait du déposer le bilan au plus tard le 1 er juillet 1998, compte tenu du déficit accusé par la société en 1996 et 1997, de la diminution du chiffre d'affaires, du manque chronique de liquidités, du licenciement en automne 1997 d'une partie du personnel, ainsi que de l'avis donné par l'organe de révision le 2 avril 1998 attirant expressément l'attention du conseil d'administration sur l'existence d'un surendettement. Se fondant sur le rapport de l'expert Q._, il a arrêté le préjudice découlant du retard dans le dépôt du bilan à 503'000 francs. X._ a appelé de ce jugement, concluant au rejet de la demande. La masse en faillite de Y._ SA a formé un appel joint, demandant que la somme soit portée à 618'745 francs. Par arrêt du 8 janvier 2013, la Cour civile I du Tribunal cantonal valaisan a rejeté les appels et confirmé le jugement attaqué, statuant par ailleurs sur les frais et dépens. C. X._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal du 8 janvier 2013. Invoquant l'arbitraire dans l'appréciation des preuves et l'établissement des faits, une violation du droit d'être entendu, ainsi que la violation de diverses dispositions de droit fédéral et cantonal, il conclut à son annulation et au rejet de la demande avec suite de frais et dépens. Sa requête d'effet suspensif et de suspension de la procédure a été écartée par ordonnance présidentielle du 20 mars 2013. Le recourant a encore sollicité une restitution de délai en vue de produire un arrêt du 21 février 2013 de la Cour d'appel civile du Tribunal cantonal fribourgeois. L'intimée conclut au rejet du recours dans la mesure de sa recevabilité avec suite de frais et dépens. Le recourant a répliqué.