Faits:
A. A.a Né en 1979, A.X._ est ressortissant du Kosovo. Il est arrivé en Suisse en 1998 et a été admis provisoirement jusqu'au 16 août 1999. Il serait retourné au Kosovo le 31 décembre 1999 et revenu en Suisse en novembre 2002. Il a été refoulé à Pristina le 18 mars 2003, après avoir été placé en détention préventive en raison d'une affaire de vol.
Le 3 avril 2003, A.X._ a épousé au Kosovo B._, devenue B.X._. Celle-ci vit en Suisse depuis 1990 et est titulaire d'une autorisation d'établissement. A.X._ serait venu rejoindre son épouse à la fin du mois d'avril 2003. Une enfant, prénommée C._, est née de cette union, en 2003.
A.b Depuis son mariage, A.X._ a subi plusieurs détentions et condamnations :
- du 16 juillet au 5 septembre 2003, il a été détenu préventivement pour des affaires de vol et de conduite sans permis;
- le 26 octobre 2004, il a été condamné par le Tribunal d'arrondissement de l'Est vaudois à huit mois d'emprisonnement et à quatre ans d'expulsion avec sursis pendant trois ans, ainsi qu'à une amende de 500 fr. pour recel, dénonciation calomnieuse, infractions à la loi fédérale sur la circulation routière (LCR) et à la loi fédérale sur le séjour et l'établissement des étrangers (LSEE), ainsi que contravention à la loi fédérale sur les stupéfiants (LStup.);
- du 27 janvier au 22 février 2005, il a été placé en détention préventive pour des infractions à la LStup et à la LCR;
- le 10 mars 2005, le Juge d'instruction du Bas-Valais l'a condamné à deux mois d'emprisonnement avec sursis pendant deux ans pour vol, infraction à la LCR et contraventions à la LStup;
- le 24 janvier 2006, il a été placé en détention préventive pour vol par effraction, recel et infractions à la LStup;
- le 22 octobre 2007, le Tribunal correctionnel de l'arrondissement de l'Est vaudois a admis la demande de relief présentée par A.X._ et annulé son jugement du 17 octobre 2006; statuant à nouveau il a condamné l'intéressé à une peine privative de liberté de trois ans, sous déduction de 301 jours de détention préventive; il a également révoqué les sursis accordés les 26 octobre 2004 et 10 mars 2005 et ordonné l'exécution des peines respectives de huit et deux mois d'emprisonnement;
- par arrêt du 10 mars 2008, la Cour de cassation pénale du Tribunal cantonal a réformé partiellement le jugement du 22 octobre 2007 et condamné A.X._, pour vol, faux dans les certificats, dénonciation calomnieuse, infraction grave et contravention à la LStup, ainsi que violation grave des règles de la circulation routière, à une peine privative de liberté de trente-cinq mois, sous déduction de la détention préventive, la révocation des sursis précédents étant confirmée. Le 5 février 2009, le Tribunal fédéral a rejeté, dans la mesure de sa recevabilité, le recours déposé par A.X._ à l'encontre de l'arrêt du 10 mars 2008 (cause 6B_540/2008).
A.c Le 10 octobre 2003, A.X._ a été rendu attentif qu'en raison de son comportement, il était possible qu'une interdiction d'entrée en Suisse et au Liechtenstein soit prononcée à son encontre.
Le 24 mars 2004, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a indiqué qu'il lui manquait des éléments pour statuer sur la demande d'autorisation de séjour formée par A.X._. Le 28 février 2005 et le 27 juin 2005, celui-ci a demandé au Service cantonal de statuer sur sa demande d'autorisation de séjour, indiquant qu'il avait changé et qu'il voulait montrer le bon exemple à sa fille.
Le 15 août 2006, après s'être enfui du centre où il avait été placé pour soigner sa dépendance aux stupéfiants, A.X._ s'est rendu au Kosovo auprès de son père malade, qui est finalement décédé. Le 13 octobre 2006, il a déposé une demande de visa pour la Suisse. De retour en Suisse, il a été incarcéré le 13 août 2007.
Le 28 avril 2008, le Service cantonal a informé A.X._ qu'il avait l'intention de refuser de lui délivrer une autorisation de séjour en raison des condamnations prononcées à son encontre. Cette procédure a été suspendue en août 2008 jusqu'à ce que le Tribunal fédéral se prononce sur le recours déposé à l'encontre du jugement du 10 mars 2008.
Le 5 mars 2009, A.X._ a de nouveau demandé au Service cantonal de lui délivrer une autorisation de séjour.
Le 13 mars 2009, il a été libéré conditionnellement.
B. Par décision du 23 mars 2009, le Service cantonal a refusé de délivrer une autorisation de séjour en faveur de A.X._.
A.X._ et son épouse B.X._ ont recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois.
Par arrêt du 12 octobre 2009, le Tribunal cantonal a rejeté le recours. Il a retenu en bref que les intérêts privés des recourants ne l'emportaient pas sur l'intérêt public à ce que A.X._ ne séjourne plus en Suisse, dès lors que le recourant avait non seulement enfreint l'ordre public (art. 17 al. 2 LSEE), mais réalisait aussi un motif d'expulsion au sens de l'art. 10 al. 1 LSEE.
C. A.X._ déclare déposer un recours de droit administratif, subsidiairement un recours de droit public, auprès du Tribunal fédéral. Il conclut à l'annulation de l'arrêt du 12 octobre 2009 et à l'octroi et à d'un permis de séjour.
Par ordonnance du 20 novembre 2009, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif déposée par A.X._.
Le Service cantonal et le Tribunal cantonal ont été invités à produire leur dossier sans échange d'écritures.

Considérant en droit:
1. Le litige porte sur le droit du recourant d'obtenir une autorisation de séjour. La demande d'autorisation de séjour ayant été déposée par le recourant avant l'entrée en vigueur, le 1er janvier 2008, de la loi fédérale sur les étrangers du 16 décembre 2005 (LEtr; RS 142.20), le cas demeure régi par l'ancien droit (cf. art. 126 al. 1 LEtr), à savoir la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE). Le fait que l'autorité cantonale n'a statué qu'après l'entrée en vigueur de la LEtr n'y change rien (cf. arrêt 2C_745/2008 du 24 février 2009 consid. 1.2). Il est non plus sans incidence que le recourant ait déposé une nouvelle demande en mars 2009, dès lors que celle-ci n'a pas pour effet de créer une procédure distincte de celle découlant de sa demande initiale sur laquelle il n'avait pas encore été statué. Partant, la cause est régie par l'ancien droit.
2. 2.1 Le recourant a faussement qualifié son recours, utilisant la terminologie figurant dans la loi fédérale d'organisation judiciaire abrogée depuis l'entrée en vigueur, le 1er janvier 2007, de la loi fédérale sur le Tribunal fédéral. Cette erreur ne saurait lui porter préjudice, à condition que son écriture remplisse les conditions formelles de la voie de droit ouverte (<ref-ruling> consid. 1.2 p. 302 s.; <ref-ruling> consid. 3.1 p. 399), en l'occurrence le recours en matière de droit public.
2.2 Aux termes de l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit.
2.2.1 Il découle de l'art. 17 al. 2 LSEE que le conjoint d'un étranger possédant l'autorisation d'établissement a droit à l'autorisation de séjour aussi longtemps que les époux vivent ensemble. Dès lors que l'épouse du recourant est titulaire d'une autorisation d'établissement et qu'il a été constaté que le couple, depuis la mise en liberté du recourant, vivait ensemble, celui-ci a en principe droit à une autorisation de séjour. Par conséquent, le recours en matière de droit public est recevable au regard de l'art. 83 let. c ch. 2 LTF (arrêt 2C_651/2008 du 20 avril 2009 consid. 1.3). Il en va de même sous l'angle de l'art. 8 CEDH, également invoqué par le recourant, dès lors que celui-ci peut se prévaloir de relations familiales intactes et effectivement vécues avec son épouse et son enfant (cf. <ref-ruling> consid. 3.1 p. 285 s.; arrêt 2C_738/2008 du 15 avril 2009 consid. 1.4). Il convient de préciser que le point de savoir si le recourant peut, compte tenu de sa situation, bénéficier d'un titre de séjour sur la base des dispositions précitées relève du fond et non de la recevabilité (cf. arrêt 2C_490/2009 du 2 février 2010 destiné à la publication consid. 1.2).
2.2.2 En revanche, le recourant ne peut se prévaloir de l'art. 13 let. f de l'ancienne ordonnance limitant le nombre des étrangers du 6 octobre 1986 (ci-après: OLE; RO 1986 p. 1791 ss et les modifications ultérieures) en vertu duquel une autorisation de séjour peut, à titre exceptionnel, être délivrée dans un cas personnel d'extrême gravité ou en raison de considérations de politique générale. En effet, la voie du recours en matière de droit public n'est pas ouverte contre les décisions en matière de droit des étrangers qui concernent les dérogations aux conditions d'admission (art. 83 let. c ch. 5 LTF). Partant, l'art. 13 let. f OLE ne peut pas être invoqué dans le cadre d'un recours en matière de droit public, comme c'était le cas auparavant, dans le cadre du recours de droit administratif (sur ce point, cf. <ref-ruling> ss; ALAIN WURZBURGER, Commentaire de la LTF n. 59 ad art. 83). Dans la mesure où le recourant soutient que sa situation relève d'un cas d'extrême gravité au sens de l'art. 13 let. f OLE, son recours n'est donc pas recevable.
2.3 Sous cette réserve, il y lieu d'entrer en matière sur le présent recours qui remplit les autres conditions de recevabilité du recours en matière de droit public (<ref-law>).
3. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral, qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>). Le recours ne peut critiquer les constatations de fait que si ceux-ci ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Enfin, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
Il ne sera donc pas tenu compte des pièces nouvelles produites par le recourant devant le Tribunal fédéral et qui ne résultent pas de l'arrêt entrepris. En outre, dans la mesure où le recourant se fonde sur ces éléments nouveaux pour invoquer, de manière appellatoire, des faits ne ressortant pas de l'arrêt attaqué, sans indiquer en quoi les constatations cantonales seraient manifestement inexactes ou arbitraires, son recours n'est pas recevable. Le Tribunal fédéral n'a du reste aucun motif de s'écarter d'office des faits tels que décrits dans la décision entreprise (cf. art. 105 al. 1 et 2 LTF).
4. Le recourant conteste le refus des autorités de lui octroyer une autorisation de séjour, en soutenant en substance que, depuis quelque temps, son comportement est irréprochable, qu'il ne dépend pas des services sociaux et qu'il a sa famille ainsi que toutes ses attaches en Suisse. La décision attaquée équivaut, selon lui, à une ingérence injustifiée dans son droit au regroupement familial découlant de l'art. 8 CEDH.
4.1 Le droit à une autorisation de séjour ou d'établissement fondé sur l'art. 17 al. 2 LSEE n'est pas absolu. Il s'éteint si l'ayant droit a enfreint l'ordre public (art. 17 al. 2 4ème phrase LSEE), en particulier s'il existe un motif d'expulsion au sens de l'art. 10 al. 1 LSEE. Cette dernière disposition prévoit notamment que l'étranger peut être expulsé de Suisse ou d'un canton s'il a été condamné par une autorité judiciaire pour crime ou délit (let. a) ou si sa conduite, dans son ensemble, et ses actes permettent de conclure qu'il ne veut pas ou n'est pas capable de s'adapter à l'ordre établi dans le pays qui lui offre l'hospitalité (let. b). Les conditions d'extinction ou du refus du droit à l'autorisation de séjour pour atteinte à l'ordre public selon l'art. 17 al. 2 LSEE sont moins strictes que celles qui sont prévues pour la perte du droit à l'autorisation de séjour du conjoint étranger d'un ressortissant suisse selon l'art. 7 al. 1 LSEE, lorsqu'il existe un motif d'expulsion (arrêts 2C_738/2008 du 15 avril 2009 consid. 2; 2C_381/2008 du 14 janvier 2009 consid. 2.1). Même dans un tel cas, une pesée des intérêts en présence s'impose, la mesure devant respecter le principe de la proportionnalité. Lorsque le refus d'octroyer, respectivement de prolonger, une autorisation de séjour se fonde sur la commission d'une infraction, la peine infligée par le juge pénal est le premier critère à prendre en considération pour évaluer la gravité de la faute et procéder à la pesée des intérêts (<ref-ruling> consid. 4.2 p. 23). Selon la jurisprudence, une condamnation à deux ans de privation de liberté constitue la limite à partir de laquelle, en général, il y a lieu de refuser l'autorisation de séjour, du moins quant il s'agit, comme en l'espèce, d'une demande d'autorisation initiale (<ref-ruling> consid. 4.3 p. 23 et les arrêts cités).
4.2 La réglementation prévue par l'art. 8 CEDH est similaire: le droit au respect de la vie familiale (par. 1) n'est en effet pas absolu, en ce sens qu'une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH, pour autant que celle-ci soit "prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale, ou à la protection des droits et libertés d'autrui". Il y a également lieu ici de procéder à une pesée des intérêts en présence (cf. <ref-ruling> consid. 2e, p. 639; <ref-ruling> consid. 2, p. 5/6).
4.3 Condamné pénalement à de nombreuses reprises depuis son arrivée en Suisse en 2003, le recourant n'a pas seulement violé l'ordre public au sens de l'art. 17 al. 2 LSEE, mais réalise également les motifs d'expulsion prévus à l'art 10 al. 1 let. a et b LSEE. Il s'est vu infliger plusieurs peines privatives de liberté, la plus longue s'élevant à trente-cinq mois. Il a notamment commis des infractions graves à la LStup, soit un domaine dans lequel l'intérêt public à des mesures d'éloignement prédomine (cf. <ref-ruling> consid. 4a/aa p. 527). Le recourant qui, en février 2005, promettait aux autorités de police des étrangers de s'amender, a persévéré dans la voie de la délinquance, de sorte que les sursis qui lui avaient été octroyés les 26 octobre 2004 et 10 mars 2005 ont finalement été révoqués. Il existe donc un intérêt public évident à refuser au recourant le droit de séjourner en Suisse. Le fait que, depuis mars 2009, celui-ci n'a plus eu affaire à la justice pénale, est certes positif, mais un comportement correct de quelques mois ne peut avoir pour effet d'effacer toutes les années de délinquance qui ont précédé. Il ressort des constatations cantonales qui lient le Tribunal fédéral (cf. supra consid. 3) que le recourant a gardé des attaches fortes dans son pays d'origine et que les années passées en Suisse ont été entrecoupées de nombreux retours au Kosovo, de sorte que la décision attaquée n'a pas pour résultat de l'envoyer vivre dans un pays qui lui est inconnu. Certes, le refus de séjourner en Suisse risque d'avoir des conséquences sur la vie familiale du recourant, dès lors qu'il est concevable que son épouse et son enfant ne le suivent pas à l'étranger. Il ne s'agit cependant pas de statuer selon des convenances personnelles, mais uniquement de peser les intérêts en présence (cf. <ref-ruling> consid. 4.2 p. 23). Dans ce contexte, il convient de relativiser cette séparation, car, depuis leur mariage en 2003, le couple a vécu une vie familiale interrompue par de nombreuses séparations, en raison des voyages du recourant au Kosovo et de ses incarcérations. Il n'est au demeurant pas d'emblée exclu pour l'épouse de suivre son mari, dès lors qu'elle est originaire de la même région que le recourant, qu'elle y a passé son enfance, puisqu'elle n'est arrivée en Suisse qu'à l'âge de quatorze ans et qu'enfin l'enfant du couple, né en 2003, est encore jeune. L'ensemble de ces circonstances ne révèle pas que les intérêts privés du recourant, ainsi que ceux de son épouse et de son enfant à pouvoir continuer à vivre ensemble en Suisse seraient à ce point prépondérants qu'ils justifieraient, malgré les infractions à répétition commises par le recourant, sanctionnées par des peines privatives de liberté de plus de deux ans, l'octroi d'une autorisation de séjour.
En lui refusant une telle autorisation, les juges cantonaux n'ont donc violé ni la LSEE ni l'art. 8 CEDH.
5. Au vu de ce qui précède, le recours ne peut qu'être rejeté, dans la mesure de sa recevabilité. Les frais seront mis à la charge du recourant qui succombe (<ref-law>). Il ne sera pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux participants à la procédure, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral des migrations.
Lausanne, le 17 mars 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Müller Rochat