Faits: A. Y._, qui est domiciliée en France et exploitait une boutique de prêt-à-porter à Saint-Tropez, est entrée en contact, par l'intermédiaire d'amis, avec A._ en 1997. Ce dernier était directeur adjoint des équipements et des immeubles à la succursale genevoise de Banque X._, établissement bancaire britannique dont le siège se trouve à ... (ci-après: la banque). A._ a expliqué à Y._ qu'il fallait disposer d'au moins un million de francs pour pouvoir ouvrir un compte auprès de cette banque. Néanmoins, il pouvait recevoir de plus petits montants et les verser sur son propre compte auprès de la banque, où il regroupe les avoirs de plusieurs petits épargnants, ce qui permettrait à Y._ de bénéficier des services de la banque. Entre le 6 décembre 1997 et le 22 novembre 2000, Y._ a remis diverses sommes à A._, représentant un total de 215'945 fr. et 2'850'000 FF. Il s'agissait des économies de Y._, retirées des avoirs qu'elle avait auprès du Credit Suisse et non déclarées au fisc français. Lors des premiers versements en décembre 1997, A._ lui a remis un document indiquant que les fonds étaient déposés sur son propre compte et que s'il décédait, Y._ ou sa mère pourrait retirer les fonds à l'aide de bulletins établis par lui. A chaque remise de fonds, A._ a ensuite délivré à Y._ un document à l'en-tête de la banque destiné à lui permettre de retirer le capital investi avec les intérêts. A._ disposait de cartes de visite à l'en-tête de la banque sur lesquelles figuraient les mentions suivantes: "Directeur Adjoint Immeubles et Equipements (Administration) International Private Banking". Il occupait un bureau de grande dimension dans l'immeuble administratif de la banque à Genève et bénéficiait des services d'une secrétaire. Il y a reçu Y._ et ses autres clients. Les huissiers se trouvant à l'entrée de la banque, tant au bâtiment d'exploitation de la place ... que dans le bâtiment administratif, avaient pour instruction de ne pas laisser entrer dans la banque des personnes qui y étaient étrangères sans s'être assurés au préalable de leur identité, éventuellement du but de leur visite et de la personne qu'ils venaient rencontrer. Ils se montraient toutefois moins stricts avec l'enregistrement des visites de A._. Etant directeur adjoint des équipements et des immeubles de la banque, A._ n'était pas chargé de recevoir la clientèle, d'encaisser des fonds ou de gérer des avoirs. Dès 1998, la banque a cependant mis en place une politique d'encouragement pour que les employés amènent de nouveaux clients à la banque contre rémunération. Les employés qui amenaient des clients ne devenaient cependant pas gestionnaires ou intermédiaires entre les nouveaux clients et la banque. A._ a fournis quelques clients à cette dernière. En mai 2001, les avoirs de Y._ ont dépassé la limite de 1'000'000 fr. et elle a décidé d'ouvrir un compte à son nom auprès de la banque. Elle y a rencontré le directeur, dans le bâtiment de la place ..., et le compte a été ouvert par une gestionnaire. Il est alors apparu que A._ n'était pas en mesure de restituer les sommes que lui avait remises Y._. L'enquête a révélé que A._, qui avait dilapidé les fonds en fréquentant notamment les casinos, s'était livré à des escroqueries à l'investissement pendant près de dix ans portant sur plus de 11'000'000 fr. Par arrêt du 26 mars 2004, la Cour correctionnelle de Genève l'a condamné, notamment pour l'escroquerie commise au préjudice de Y._, à une peine de cinq ans de réclusion. Cette décision fut confirmée successivement par la Cour de cassation cantonale, puis par le Tribunal fédéral. B. Estimant que la banque était responsable, Y._ a déposé devant le Tribunal de première instance de Genève, le 22 mars 2006, une demande en paiement, réclamant les sommes qu'elle n'avait pas pu recouvrer. Statuant par jugement du 31 janvier 2008, le Tribunal de première instance, considérant que A._ avait la qualité d'organe apparent, a accordé à la demanderesse l'entier de ses conclusions. Saisie d'un appel de la banque, la Cour de justice du canton de Genève a confirmé ce jugement par arrêt du 17 octobre 2008. C. La banque a déposé un recours en matière civile auprès du Tribunal fédéral contre l'arrêt du 17 octobre 2008. La recourante conclut, sous suite de frais et dépens, à l'annulation de la décision attaquée et au déboutement de Y._ de toutes ses conclusions. L'effet suspensif sollicité a été accordé par décision du 4 décembre 2008. L'intimée a conclu au rejet du recours sous suite de dépens.