Faits: A. A.a Le 29 juillet 1983, la société Z._ S.A. a été constituée à Genève. Ses actionnaires étaient B.N._, ressortissant syrien, et les membres de sa famille. Le conseil d'administration était composé de C.N._, président, de D._ et de trois avocats genevois. Z._ S.A. n'a jamais déployé aucune activité. Le 5 juillet 1984, D._ et les trois avocats genevois ont démissionné du conseil d'administration. Ils ont été remplacés par E._, ainsi que par les avocats Y._, X._ et F._. En 1986, G._ a succédé à ce dernier, qui a lui-même été remplacé par H._ en 1991. Celui-ci, ainsi que E._ ont démissionné du conseil d'administration de Z._ S.A. le 18 janvier 1993. A.b Avant chaque assemblée générale, la fiduciaire I._ S.A., organe de révision de Z._ S.A., déposait son rapport relatif à l'exercice précédent. Y._ et X._, apparemment seuls présents à l'assemblée, adressaient un exemplaire du rapport de révision, un procès-verbal succinct de l'assemblée générale et leurs notes d'honoraires d'administrateurs à C.N._ et à E._. Ils demandaient au président du conseil d'administration quelles étaient ses intentions quant à l'avenir de Z._ S.A. et attiraient régulièrement son attention sur la diminution constante de la fortune de la société en raison des frais inhérents au maintien de son existence. Le 2 avril 1990, I._ S.A. a informé le conseil d'administration de Z._ S.A. que les comptes de l'exercice 1989 totalisaient des pertes supérieures à la moitié du capital social en faisant référence à l'art. 725 CO. Comme le bilan ne mentionnait aucune dette, il a été décidé d'approuver les comptes, de reporter les pertes et de maintenir l'existence de la société. Il a été procédé de la même façon pour les bilans relatifs aux exercices 1990 et 1991, Z._ S.A. n'ayant alors toujours pas de dette. A.c En juillet 1983, les membres de la famille N._ étaient entrés en pourparlers avec J._, en vue de l'acquisition de cinq villas à Anières, que celui-ci avait fait construire avec un financement de la Banque A._. Le 1er juillet 1984, Z._ S.A. a conclu avec J._ un contrat de bail relatif à la location de l'une de ces villas pour une durée de dix ans, moyennant un loyer annuel initial de 132'000 fr. Le bail pouvait être résilié trois mois au moins avant son échéance. Les quatre autres villas ont été louées par des membres de la famille N._. Le 18 octobre 1991, J._, qui n'arrivait plus à faire face à ses obligations financières, a cédé les loyers des villas à la Banque A._. Dès le mois de mars 1992, après le refus des autorités helvétiques d'autoriser les locataires à acquérir les villas d'Anières, les loyers, y compris celui de la villa louée par Z._ S.A., qui étaient auparavant payés en un seul versement mensuel par le débit d'un compte bancaire dont le titulaire est resté inconnu, ont cessé d'être versés. Le 18 août 1992, J._ a fait notifier à Y._ et à X._, en tant qu'administrateurs de Z._ S.A., un commandement de payer portant sur 98'883,40 fr. plus intérêt correspondant aux loyers de la villa louée par la société pour les mois de mars à septembre 1992. Les deux administrateurs ont formé opposition, alléguant n'avoir jamais eu connaissance de l'existence d'un contrat de bail. Le 20 août 1992, l'avocate de J._ a communiqué à Y._ et à X._ une copie du bail litigieux, ainsi que des mises en demeure adressées par le propriétaire à ses locataires et à l'avocate en charge de la défense des intérêts des membres de la famille N._. Y._ et X._ ont répondu qu'ils contestaient la validité du bail qui, selon eux, n'avait pas été signé par un représentant autorisé de Z._ S.A. Le 16 novembre 1992, un nouveau commandement de payer a été notifié à Z._ S.A. Il portait sur un montant de 42'378,60 fr. plus intérêt correspondant aux loyers de la villa d'octobre à décembre 1992. Y._ et X._ ont formé opposition. Par courrier du 14 décembre 1992, l'avocate de la famille N._ a déclaré résilier le bail de la villa louée par Z._ S.A. pour son plus proche terme, précisant que la société était disposée à restituer immédiatement les locaux. Elle priait le bailleur de l'assister dans la recherche d'un locataire de remplacement. Copie de ce courrier a été adressée à Y._ et à X._. Le 2 février 1993, Y._ et X._ ont formé opposition à un troisième commandement de payer portant sur le montant de 42'378,60 fr. à titre de loyers de la villa pour les mois de janvier à mars 1993 notifié à Z._ S.A. Le 17 février 1993, Y._ et X._ ont fait part à l'organe de contrôle de Z._ S.A. de la réclamation portant sur les loyers de la villa, lui demandant s'il était opportun de constituer une provision et de déposer le bilan. La fiduciaire I._ S.A. a estimé qu'une simple note en pied de bilan était suffisante. Le rapport de l'organe de révision du 19 avril 1993 relatif aux comptes de l'exercice 1992 comportait, en pied de bilan, la mention qu'il était réclamé à la société un loyer d'une villa pour laquelle Z._ S.A. aurait signé un contrat de bail d'une durée de dix ans, dont les administrateurs contestaient la validité. Le bilan au 31 décembre 1992 de Z._ S.A. faisait état de 300'000 fr. de fonds propres desquels était déduite une perte comptabilisée de 219'279,60 fr. Les actifs s'élevaient à 82'410,40 fr. A.d Par jugements du 17 mars 1993, le Tribunal de première instance du canton de Genève a prononcé la mainlevée des oppositions aux deux premiers commandements de payer les montants réclamés par J._. Selon ces décisions, la dette de loyer en capital, intérêt et frais s'élevait, au 31 décembre 1992, à 144'527,60 fr. Le 5 avril 1993, Z._ S.A. a déposé deux actions en libération de dette devant le Tribunal des baux et loyers contre J._, déclaré en faillite le 29 mars 1993. La masse en faillite de ce dernier et la Banque A._ ont conclu, à titre reconventionnel, à ce que Z._ S.A. soit condamnée à payer le montant de 260'884,40 fr. plus intérêt. Cette demande a été amplifiée par la suite de 174'474 fr. plus intérêt. Lors de l'assemblée générale de Z._ S.A. du 8 juin 1995, Y._ et X._, qui n'étaient pas parvenus à nouer un contact avec C.N._ et sa famille, ont déclaré ne pas pouvoir accepter leur réélection en qualité d'administrateurs. L'organe de révision a présenté sa démission. Le 15 juillet 1995, la masse en faillite de J._ a cédé à la Banque A._ la totalité de l'état locatif des cinq villas à Anières, avec effet au 29 mars 1993. Par jugement du 19 octobre 1995, le Tribunal des baux et loyers a considéré que Z._ S.A. était liée par le contrat de bail du 1er juillet 1984. Il a déclaré non fondées les actions en libération de dette et, statuant sur demande reconventionnelle, il a condamné Z._ S.A. à payer à J._ (respectivement à sa masse en faillite) et à la Banque A._ les loyers de la villa pour la période du 1er janvier au 30 mars 1993, soit 42'240 fr. avec intérêt à 5 % dès le 15 février 1993 et les loyers allant du 1er avril 1993 au 30 mars 1995, soit 337'920 fr. avec intérêt à 5 % dès le 1er avril 1994, dès lors que la villa était toujours occupée. Il a été constaté que la famille N._ avait disposé de cette villa jusqu'en mars 1996. A.e Le 1er décembre 1995, Z._ S.A. a été dissoute d'office par le Préposé au registre du commerce, les administrateurs suisses n'ayant pas été remplacés. Selon le dernier bilan établi au 31 décembre 1994, Z._ S.A. était en état de surendettement et aucun assainissement n'était envisageable. La faillite sans poursuite préalable de Z._ S.A. a été prononcée le 18 février 1997. La masse en faillite de J._ et la Banque A._ ont produit une créance de 611'688,70 fr. correspondant aux arriérés de loyers du 1er mars 1992 au 30 mars 1995 (520'960 fr.), avec intérêts calculés au jour de la faillite (89'625,10 fr.), selon le jugement du Tribunal des baux et loyers du 19 octobre 1995, plus les frais et dépens. La production a été admise en troisième classe. Le 20 août 1997, la masse en faillite de J._ et la Banque A._ se sont fait céder les droits de la masse en faillite de Z._ S.A. pour agir en responsabilité contre les administrateurs de la société dans un délai de six mois. Faute d'actifs réalisables, ils ont obtenu, le 3 novembre 1997, un acte de défaut de biens pour le montant total de leur production. B. Le 29 janvier 1998, la Banque A._, agissant comme cessionnaire des droits de la masse en faillite de Z._ S.A., a formé une action en responsabilité auprès des autorités judiciaires genevoises contre C.N._, Y._ et X._. Elle a conclu à leur condamnation, conjointe et solidaire, au paiement de 611'688 fr. plus intérêt. C.N._ ne s'est jamais présenté ni fait représenter au cours de la procédure. Par jugement du 28 février 2002, le Tribunal de première instance, statuant par défaut, a condamné C.N._ à payer à la Banque A._ la somme de 611'688 fr. avec intérêt à 5 % l'an dès le 18 février 1997. Statuant contradictoirement, il a débouté la banque de ses conclusions à l'encontre de Y._ et X._, considérant que leur responsabilité d'administrateurs n'était pas engagée. Statuant sur appel de la Banque A._, la Cour de justice, par arrêt du 14 mars 2003, a annulé le jugement du 28 février 2002 et renvoyé la cause au Tribunal de première instance pour complément d'instruction et décision sur la quotité du dommage subi par Z._ S.A. Elle a en substance retenu que les administrateurs avaient violé leurs devoirs en n'agissant pas conformément à l'art. 725 CO. Par jugement du 7 avril 2005, le Tribunal de première instance a condamné Y._ et X._, conjointement et solidairement, à payer à la Banque A._ la somme de 166'267,20 fr. avec intérêt à 5 % l'an dès le 18 février 1997. Ce montant correspondait à six mois de loyers de la villa (84'757,20 fr.) et aux honoraires facturés durant les exercices 1993 à 1995 (81'510 fr.). Tant la Banque A._ que Y._ et X._ ont appelé de ce jugement. Par arrêt du 17 février 2006, la Chambre civile de la Cour de justice a, sous réserve des dépens, annulé le jugement du 7 avril 2005 et condamné Y._ et X._, conjointement et solidairement, à payer à la Banque A._ le montant de 545'488 fr. plus intérêt à 5 % l'an dès le 29 janvier 1998, en déclarant C.N._ codébiteur solidaire de cette somme. C. Contre cet arrêt, Y._ et X._ déposent chacun un recours en réforme au Tribunal fédéral. Ils concluent tous deux à l'admission de leur recours et à l'annulation des jugements attaqués, en disant que les prétentions émises par la Banque A._ sont entièrement dénuées de fondement. La Banque A._ conclut, à la forme, à l'irrecevabilité des recours et, au fond, à leur rejet dans la mesure de leur recevabilité, ainsi qu'à la confirmation des arrêts de la Cour de justice des 14 mars 2003 et 17 février 2006.