Faits: A. A.X._, ressortissant du Kosovo né en 1972, est entré en Suisse le 23 septembre 2003 et a déposé une demande d'asile le même jour. Cette demande a été rejetée par décision de l'Office fédéral des réfugiés du 7 octobre 2003, entrée en force. A.X._ a quitté la Suisse le 12 mars 2004 à destination de Pristina (Kosovo). A.X._ est revenu en Suisse au bénéfice d'une autorisation de séjour d'une durée de trois mois qui lui a été délivrée le 21 juin 2004 en vue de la célébration de son mariage. Le 29 juillet 2004, à Morges, il a épousé B._, ressortissante suisse. Le 2 septembre 2004, il a été mis au bénéfice d'une autorisation de séjour au titre du regroupement familial. Les époux X._ se sont séparés le 29 mars 2007. Le 22 juin 2007, A.X._ a adressé au Service de la population du canton de Vaud (ci-après: le Service de la population) une demande de prolongation de son autorisation de séjour, dans laquelle il a indiqué être marié et faire ménage commun avec son épouse. Son autorisation de séjour a été prolongée jusqu'au 28 juillet 2009. Statuant le 25 septembre 2007 sur une requête de mesures protectrices de l'union conjugale déposée par B.X._ le 31 mai 2007, le Tribunal de première instance du canton de Genève a autorisé les époux à vivre séparés. Le 2 novembre 2007, B.X._ a signalé au Contrôle des habitants de la commune de Morges qu'elle s'était séparée de son mari et n'était plus domiciliée dans la commune. Ce courrier a été transmis au Service de la population. Après avoir entendu les époux X._ (questionnaire adressé le 6 février 2008 à B.X._, audition de son mari par la police de Morges, échange d'écritures avec ce dernier), le Service de la population a rendu le 6 novembre 2008 une décision par laquelle il a révoqué l'autorisation de séjour de A.X._. B. Saisi d'un recours à l'encontre de cette décision, le Tribunal cantonal vaudois l'a rejeté par arrêt du 8 septembre 2009. Il a considéré que le recourant ne pouvait ignorer, lorsqu'il avait sollicité la prolongation de son autorisation de séjour, le 22 juin 2007, que la séparation d'avec son épouse n'était pas passagère. Ses indications sur le formulaire de demande constituaient donc de fausses déclarations, de sorte que c'était à bon droit que son autorisation de séjour avait été révoquée. Les juges cantonaux ont ensuite examiné si le recourant pouvait obtenir le renouvellement de son autorisation de séjour. Ils ont estimé qu'il ne se trouvait pas dans l'une des situations où, selon l'art. 50 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), le droit du conjoint à la prolongation de son autorisation de séjour subsiste nonobstant la dissolution de l'union conjugale. D'une part, l'union conjugale avait duré moins de trois ans, de sorte que le recourant ne pouvait se prévaloir de la lettre a de l'art. 50 al. 1 LEtr. D'autre part, sa situation personnelle n'était pas telle que la poursuite de son séjour en Suisse s'imposerait pour des raisons personnelles majeures, au sens de la lettre b de l'art. 50 al. 1 LEtr. C. A.X._ forme un recours au Tribunal fédéral à l'encontre de l'arrêt du 8 septembre 2009. Il conclut en substance à ce qu'il soit réformé en ce sens que, principalement, son autorisation de séjour est prolongée et, subsidiairement, il est admis provisoirement à demeurer en Suisse, le tout sous suite de frais et dépens. Il soutient qu'il remplit les conditions de l'art. 50 al. 1 lettre b LEtr. Il demande également à bénéficier de l'assistance judiciaire et, à titre préalable, requiert que son recours soit doté de l'effet suspensif. L'autorité précédente ainsi que le Service de la population renoncent à se déterminer sur le recours. L'Office fédéral des migrations propose de le rejeter. Par ordonnance présidentielle du 16 octobre 2009, la requête d'effet suspensif a été admise.