Faits:
A. S.I. A._ SA est une société immobilière fondée le 31 août 1989 en vue de réaliser un complexe commercial à B._ (Neuchâtel) qui devait être vendu en copropriété par étages. Les actionnaires étaient Y._, qui détenait 30 actions, et X._, avec 20 actions, sur un total de 50 actions. Y._ était l'administrateur unique, tandis que la fiduciaire Z._ SA était le réviseur.
Le projet ne s'est pas développé de la manière espérée et la société a connu des difficultés financières. Elle a été dissoute le 6 mars 1998, puis déclarée en faillite par jugement du 9 août 1999.
X._, qui a été admis à l'état de collocation comme créancier de la société, a obtenu la cession des droits de la masse à l'encontre des organes de la société faillie.
B. Le 21 décembre 2001, X._, agissant en tant que cessionnaire des droits de la masse, a ouvert action devant la Ière Cour civile du Tribunal cantonal neuchâtelois, à l'encontre de l'administrateur Y._ et du réviseur, la fiduciaire Z._ SA, leur réclamant solidairement au total 636'558 fr. 30 avec intérêts.
Les parties défenderesses ont conclu au rejet de la demande.
Par jugement du 7 août 2009, la Ière Cour civile du Tribunal cantonal neuchâtelois a rejeté la demande avec suite de frais et dépens. En substance, elle a retenu que l'administrateur Y._ (ci-après: l'administrateur) avait une créance à l'encontre de la société, déjà avant sa faillite, qui dépasse le montant qui lui est réclamé en justice et qu'il doit être admis à opérer la compensation. Pour ce qui est de l'action contre le réviseur, la fiduciaire Z._ SA (ci-après: le réviseur), la cour cantonale a retenu que le surendettement n'est apparu qu'au début de l'année 1997, soit après la révision des derniers comptes, et que le réviseur, qui n'a pas pu obtenir les renseignements nécessaires malgré ses démarches, n'en avait pas connaissance, étant précisé qu'il a résilié son mandat le 9 septembre 1998.
C. X._ exerce un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral contre le jugement du 7 août 2009, concluant principalement, avec suite de frais et dépens, à l'annulation de l'arrêt attaqué et à la condamnation solidaire de ses parties adverses à lui payer la somme totale de 606'558 fr. 30 avec intérêts à 5% l'an dès le 31 décembre 1995, subsidiairement au renvoi de la cause à l'autorité précédente.
Les parties intimées ont déposé des observations tendant au rejet des recours, à supposer qu'ils soient recevables.
Par ordonnance du 12 octobre 2009, la Présidente de la Ire Cour de droit civil a refusé d'octroyer l'effet suspensif au recours.

Considérant en droit:
1. 1.1 Selon les dernières conclusions prises devant l'autorité précédente, la valeur litigieuse dépasse sensiblement le seuil de 30'000 fr. fixé à l'<ref-law>, de sorte que le recours en matière civile est ouvert, ce qui entraîne l'irrecevabilité du recours constitutionnel, puisque celui-ci est subsidiaire (<ref-law>).
1.2 Interjeté par la partie qui a succombé dans ses conclusions en paiement (<ref-law>) et dirigé contre un jugement final (<ref-law>) rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>), le recours en matière civile est en principe recevable, puisqu'il a été déposé dans le délai (art. 100 al. 1, 46 al. 1 let. b et 48 al. 1 LTF) et la forme (<ref-law>) prévus par la loi.
On peut observer que l'autorité cantonale a statué en instance unique, ce qui n'est pas conforme aux exigences de l'<ref-law>; cependant, cette disposition n'est actuellement pas en vigueur, les cantons disposant d'un délai d'adaptation (<ref-law>).
1.3 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. La notion de droit fédéral figurant à l'<ref-law> englobe également les droits constitutionnels (<ref-ruling> consid. 1.2 p. 382). Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4 p. 400). Par exception à la règle selon laquelle il applique le droit d'office, il ne peut entrer en matière sur la violation d'un droit constitutionnel ou sur une question relevant du droit cantonal ou intercantonal que si le grief a été invoqué et motivé de manière précise par la partie recourante (<ref-law>).
1.4 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire (<ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401; <ref-ruling> consid. 8.1 p. 153) - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.4 et 6.2). Encore faut-il que la correction demandée soit susceptible d'influer sur le sort de la cause (<ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
En l'espèce, le recourant présente son propre état de fait, aux pages 2 à 6 de son mémoire, sans démontrer en rien que les conditions fixées aux art. 97 al. 1 et 105 al. 2 LTF seraient réalisées; en conséquence, il n'est pas possible de tenir compte de cette partie de son écriture.
1.5 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
Le recourant ne peut donc pas faire valoir devant le Tribunal fédéral un dommage subi par la société qui serait supérieur à celui dont il a choisi de demander la réparation selon ses dernières conclusions cantonales.
2. 2.1 Au début de la page 7 de son mémoire, le recourant invoque une constatation des faits manifestement inexacte (<ref-law>), c'est-à-dire l'arbitraire (art. 9 Cst.).
S'agissant d'un grief d'ordre constitutionnel, le Tribunal fédéral ne peut entrer en matière que s'il est motivé de manière circonstanciée (<ref-law>; <ref-ruling> consid. 6.2 p. 288). Or, l'argumentation présentée par le recourant, difficilement compréhensible, est totalement impropre à démontrer l'arbitraire.
Le recourant reproche à la cour cantonale de ne pas avoir retenu que le surendettement était déjà acquis en 1995 et d'avoir au contraire admis que la commercialisation du projet était assurée en septembre 1995.
L'argumentation présentée, purement appellatoire, ne permet pas de comprendre en quoi l'appréciation des preuves figurant sous chiffre 5 du jugement attaqué, ainsi que les faits qui y sont retenus à la page 11, pourraient être taxés d'arbitraire; même en procédant à un examen d'office (<ref-law>), on ne discerne aucun cas d'arbitraire qui sauterait aux yeux. En l'absence d'une motivation répondant aux exigences de la jurisprudence (<ref-ruling> consid. 6.2 p. 288), il n'y a pas lieu d'entrer davantage en matière sur ce grief.
2.2 Le recourant invoque une violation arbitraire (art. 9 Cst.) des dispositions cantonales régissant les notions de jugement et d'autorité de chose jugée. Il reproche plus précisément à la cour cantonale de ne pas avoir repris l'état de fait contenu dans une ordonnance rendue le 6 juillet 1999 sur une requête de sursis concordataire.
La décision d'accorder ou non un sursis concordataire (<ref-law>) est une décision du droit des poursuites qui détermine si l'on ouvre ou non une procédure concordataire. Elle ne porte ni sur l'existence de la créance en responsabilité présentement invoquée en justice, ni sur l'existence de la créance compensatoire opposée par l'administrateur. L'autorité de chose jugée ne peut s'attacher qu'à ce qui a fait l'objet de la décision. Les objets étant différents, la décision invoquée ne peut avoir aucune autorité de chose jugée à l'égard du juge civil compétent pour statuer sur l'existence de la créance en responsabilité et de la créance compensatoire. Au demeurant, l'autorité de chose jugée s'attache à ce qui a fait l'objet de la décision, et non pas à l'état de fait contenu dans celle-ci.
Le grief soulevé est donc dépourvu de tout fondement.
2.3 Selon l'<ref-law>, les membres du conseil d'administration et toutes les personnes qui s'occupent de la gestion ou de la liquidation répondent à l'égard de la société, de même qu'envers chaque actionnaire ou créancier social, du dommage qu'ils leur causent en manquant intentionnellement ou par négligence à leurs devoirs.
Selon l'<ref-law>, toutes les personnes qui s'occupent de la vérification des comptes annuels et des comptes de groupe, de la fondation ainsi que de l'augmentation ou de la réduction du capital-actions répondent à l'égard de la société, de même qu'envers chaque actionnaire ou créancier social, du dommage qu'elles leur causent en manquant intentionnellement ou par négligence à leurs devoirs.
Lorsque - comme c'est le cas en l'espèce - il est soutenu qu'un administrateur ou un réviseur, en manquant intentionnellement ou par négligence à ses devoirs, a causé un dommage à la société, la créance en réparation appartient à la société (<ref-ruling> consid. 3.2.2 p. 570).
Lorsque la société tombe en faillite - comme c'est le cas en l'espèce -, la créance que la société pouvait faire valoir contre l'organe responsable est remplacée par une créance de la communauté des créanciers (<ref-ruling> consid. 3.2.2 p. 570; <ref-ruling> consid. 1b/dd p. 439 s.).
Il appartient en priorité à l'administration de la faillite de faire valoir cette créance (<ref-law>), mais si elle y renonce (<ref-law>), un créancier social peut réclamer à sa place la réparation du dommage subi directement par la société; il exerce alors l'action de la communauté des créanciers (<ref-ruling> consid. 3.2.2 p. 570 et les arrêts cités). En matière de poursuite et faillite, ce mécanisme est réglé par l'<ref-law> et le créancier social qui a obtenu la cession des droits de la masse agit sur la base d'un mandat procédural; il est ainsi légitimé à actionner l'organe responsable pour réclamer la réparation du dommage subi par la société (<ref-ruling> consid. 3.2.2 p. 570).
La responsabilité de l'administrateur ou du réviseur envers la société est subordonnée à la réunion des quatre conditions générales suivantes: la violation d'un devoir, une faute (intentionnelle ou par négligence), un dommage et l'existence d'un rapport de causalité (naturelle et adéquate) entre la violation du devoir et la survenance du dommage; il appartient au demandeur à l'action en responsabilité de prouver la réalisation de ces quatre conditions, qui sont cumulatives (<ref-ruling> consid. 4.2 p. 572 et les arrêts cités).
2.4 En l'espèce, la cour cantonale a retenu que l'administrateur avait manqué fautivement à ses devoirs et qu'il avait ainsi causé, de manière naturelle et adéquate, un dommage à la société, en tardant à déposer le bilan.
Cependant, la cour cantonale a constaté que l'administrateur avait, déjà avant la faillite, une créance à l'encontre de la société d'un montant supérieur à celui qui lui est présentement réclamé en justice. Elle en a déduit que la créance en réparation invoquée par le recourant était éteinte par compensation et elle a donc rejeté la demande.
Le recourant conteste l'existence et surtout la quotité de la créance compensatoire.
Contrairement à ce qu'il soutient, la cour cantonale n'a pas suivi aveuglément l'état de collocation. Elle a procédé à une appréciation des preuves fondée sur trois éléments. Premièrement, elle a constaté que la créance de l'administrateur avait été admise à l'état de collocation, sans qu'aucune action en contestation de l'état de collocation ne soit introduite par l'un des créanciers. Deuxièmement, elle a retenu que le recourant avait été personnellement informé de cette créance et qu'il n'avait pas réagi, ce qu'il n'aurait pas manqué de faire si celle-ci était inexistante ou excessive. Troisièmement, elle a observé que le recourant n'a opposé à cette créance compensatoire, dans la procédure, que des arguments inconsistants. Au vu de ces éléments, la cour cantonale s'est déclarée convaincue de l'existence et de la quotité de la créance. S'agissant d'une question d'appréciation des preuves - que le Tribunal fédéral ne peut revoir que sous l'angle de l'arbitraire -, on ne voit pas que le raisonnement adopté par la cour cantonale puisse être qualifié d'insoutenable.
Une convention prévoyait certes que des honoraires ne seraient payés à l'administrateur que lorsque la commercialisation de l'opération serait assurée. Cette clause suppose une interprétation des manifestations de volonté (sur les principes applicables: cf. <ref-ruling> consid. 3.2 p. 412 s.; <ref-ruling> consid. 2.3.2 p. 274 s., 626 consid. 3.1 p. 632). On ne voit pas en quoi la cour cantonale aurait violé les principes d'interprétation déduits de l'<ref-law> en admettant que l'offre de C._, en septembre 1995, assurait la commercialisation du projet. Devant le Tribunal fédéral, le recourant soutient que la somme demandée par l'administrateur ne correspond pas à des honoraires calculés selon la norme SIA. Tout d'abord, il faut observer qu'il ne ressort pas de l'arrêt cantonal que la créance de l'administrateur serait composée exclusivement d'honoraires d'architecte, puisqu'on parle aussi d'un solde du compte d'actionnaire, ce qui donne à penser qu'il y a eu également des prêts de l'administrateur en sa qualité d'actionnaire. De surcroît, il ne ressort pas des constatations cantonales que les parties seraient convenues d'appliquer la norme SIA. Ainsi, la critique du recourant est inconsistante et, dans la mesure où elle s'appuie sur des faits non constatés par la cour cantonale (<ref-law>), elle ne peut pas être prise en compte.
2.5 Le recourant, dès lors qu'il fait valoir les droits de la communauté des créanciers en tant que cessionnaire des droits de la masse, soutient que l'administrateur n'était pas en droit d'opérer la compensation avec sa créance personnelle à l'encontre de la société.
Selon la jurisprudence, lorsqu'un créancier social exerce l'action de la communauté des créanciers - comme c'est le cas en l'espèce -, le responsable recherché ne peut pas lui opposer une objection qu'il aurait contre lui personnellement, par exemple une faute concomitante ou une créance compensatoire (cf. ATF <ref-ruling> consid. 1b/gg p. 440), ni une objection résultant du consentement de la société avant la faillite, par exemple le vote de décharge ou l'accord de l'assemblée générale (ATF <ref-ruling> consid. 1b/gg p. 440); en revanche, le responsable recherché peut opposer en compensation les créances qu'il avait contre la société avant la faillite (<ref-ruling> consid. 4.3 et 4.4 p. 350 s.). La faillite ne fait évidemment pas disparaître les dettes de la société et celles-ci sont opposables aussi à la communauté des créanciers (<ref-ruling> consid. 4.4 p. 351). Le recourant fait principalement grief à l'autorité précédente d'avoir violé les art. 120 et 754 CO en ayant fait sien l'avis de la doctrine majoritaire (Peter Böckli, Schweizer Aktienrecht, 4e éd. 2009 § 18 n° 298; Widmer/Gericke/Waller, in Basler Kommentar, 3e éd. 2008, n° 30 ad <ref-law>; Bernard Corboz, in Commentaire romand, CO II, n°s 22 et 28 ad <ref-law>; Harald Bärtschi, Verantwortlichkeit im Aktienrecht, thèse Zürich 2001, p. 184 ss). Cet argument tombe à faux puisque la possibilité de compenser enseignée par celle-ci est précisément affirmée par la jurisprudence précitée.
L'administrateur était donc en droit d'opposer en compensation à la créance invoquée par le recourant sa propre créance personnelle contre la société dès lors que celle-ci était née avant la faillite. Le recourant tente certes de soutenir que l'administrateur aurait fait grossir sa créance en connaissance de l'insolvabilité (cf. <ref-law>), mais cette argumentation repose sur un état de fait qui diverge de celui contenu dans la décision attaquée, ce qui n'est pas admissible (<ref-law>).
Ainsi, la cour cantonale n'a pas violé le droit fédéral en concluant que la créance invoquée par le recourant était entièrement compensée par la créance de l'administrateur contre la société.
2.6 En ce qui concerne l'action contre le réviseur, l'autorité précédente a retenu que le surendettement n'était pas intervenu à l'époque des derniers comptes révisés (ceux de 1995). Le recourant le conteste, mais il s'écarte ainsi des constatations cantonales dont il n'a pas démontré l'arbitraire. Le Tribunal fédéral doit donc conduire son raisonnement juridique sur la base des constatations cantonales (<ref-law>).
La cour précédente a ensuite établi que le réviseur, malgré ses démarches, n'a pas pu obtenir les renseignements nécessaires. Ainsi, selon les constatations cantonales, il ne connaissait pas l'état de surendettement et on ne peut lui reprocher de ne pas avoir avisé le juge alors qu'il ne savait pas avec certitude si la société était ou non surendettée. Sur la base des faits retenus par la cour cantonale - qui lient le Tribunal fédéral (<ref-law>) -, ce raisonnement ne viole en rien le droit fédéral. L'argumentation présentée par le recourant repose entièrement sur des faits qui n'ont pas été constatés, ce qui n'est pas admissible. On peut certes se demander si le réviseur, n'obtenant pas les renseignements demandés, n'aurait pas dû présenter sa démission plus tôt. S'il l'avait fait, on ne sait pas quelle aurait été la réaction de l'assemblée générale (la société était en déliquescence) et si cela aurait ou non diminué le dommage. Quoi qu'il en soit, le recourant ne prétend pas avoir allégué, dans la procédure cantonale, un dommage résultant d'un retard dans la démission; le Tribunal fédéral ne peut donc pas examiner un dommage qui n'est pas régulièrement allégué par la partie qui a le fardeau de la preuve.
La demande dirigée contre le réviseur a donc été rejetée sans violer le droit fédéral.
3. Les frais judiciaires et les dépens sont mis à la charge de la partie qui succombe (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière civile est rejeté.
3. Les frais judiciaires, arrêtés à 8'500 fr., sont mis à la charge du recourant.
4. Le recourant versera à chacun des intimés une indemnité de 9'500 fr. à titre de dépens.
5. Le présent arrêt est communiqué aux parties et à la Ie Cour civile du Tribunal cantonal de la République et canton de Neuchâtel.
Lausanne, le 7 décembre 2009
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: Le Greffier:
Klett Piaget