Faits:
A. A.a Ressortissant d'ex-Yougoslavie né le 3 février 1977, X._ est arrivé en Suisse avec ses parents le 1er décembre 1991. Sa demande d'asile a été définitivement rejetée le 23 mai 1995. L'intéressé a épousé le 24 mai 1996 une Italienne au bénéfice d'une autorisation d'établissement et a obtenu une autorisation de séjour au titre du regroupement familial. Les époux se sont séparés plusieurs fois à partir du 8 décembre 1999 et ils ont divorcé le 3 juin 2005.
A.b X._ a fait l'objet de différentes condamnations pénales. Ainsi, il s'est vu infliger les peines suivantes:
- sept mois d'emprisonnement avec sursis pendant deux ans pour vol en bande, tentative de vol en bande, dommages à la propriété et voies de fait, par jugement du Tribunal correctionnel du district de Lausanne du 26 novembre 1999;
- 340 fr. d'amende pour avoir logé des étrangers en situation illégale, par prononcé préfectoral du 6 septembre 2002;
- cinq jours d'emprisonnement avec sursis pendant deux ans et 600 fr. d'amende pour ivresse au volant et conduite d'un véhicule sans permis, par ordonnance de condamnation du Juge d'instruction de l'arrondissement de Lausanne du 6 décembre 2002;
- douze mois d'emprisonnement, avec expulsion du territoire suisse pour une durée de cinq ans et révocation du sursis accordé le 6 décembre 2002, pour vol en bande, tentative de vol en bande, dommages à la propriété, violation de domicile et contravention à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (loi sur les stupéfiants, LStup; RS 812.121), par jugement du Tribunal correctionnel de la Côte du 24 janvier 2006, confirmé par arrêt de la Cour de cassation du Tribunal cantonal vaudois du 10 mars 2006.
Le 27 novembre 2007, le Grand Conseil vaudois a rejeté la demande de grâce présentée par X._.
A.c Le 7 août 2007, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a refusé de renouveler l'autorisation de séjour de X._ en raison de ses condamnations pénales, de sa situation financière obérée et de son instabilité professionnelle. Par arrêt du 31 décembre 2008, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a confirmé cette décision.
B. Le 3 février 2009, X._ a épousé Y._, une compatriote titulaire d'une autorisation d'établissement qui était son amie intime depuis 2003, voire 2000. Un fils issu de cette relation est né le 13 décembre 2005 et a été reconnu par son père le 26 octobre 2007. La mère avait déjà une fille née en 2000 d'une précédente union.
Le 18 juin 2009, X._ a déposé une demande d'autorisation de séjour au titre du regroupement familial. Le 1er octobre 2009, il a confirmé cette requête.
Le 1er mars 2010, le Service cantonal a refusé l'autorisation de séjour sollicitée pour des motifs préventifs de protection de l'ordre et de la sécurité publics.
C. X._ a alors porté sa cause devant le Tribunal cantonal qui, par arrêt du 11 février 2011, a rejeté le recours et confirmé la décision du Service cantonal du 1er mars 2010.
D. Le 16 mars 2011, X._ a formé un recours en matière de droit public au Tribunal fédéral contre l'arrêt du Tribunal cantonal du 11 février 2011. Il conclut, sous suite de frais et dépens, principalement à ce que l'arrêt attaqué soit réformé en ce sens que le refus d'octroyer une autorisation de séjour au titre du regroupement familial soit annulé, que ladite autorisation lui soit accordée et que le délai lui ayant été imparti pour quitter la Suisse soit annulé. Subsidiairement, il demande que l'arrêt entrepris soit annulé, la cause étant renvoyée à l'autorité cantonale de dernière instance pour nouvelle décision dans le sens des considérants. X._ requiert l'assistance judiciaire.
Le Tribunal cantonal et le Service cantonal ont renoncé à répondre au recours.
L'Office fédéral des migrations n'a pas déposé de déterminations dans le délai imparti à cette fin.
E. Par ordonnance du 28 mars 2011, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif contenue dans le recours.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43 et la jurisprudence citée).
1.1 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit.
1.1.1 L'art. 43 al. 1 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) dispose que le conjoint étranger du titulaire d'une autorisation d'établissement a droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité, à condition de vivre en ménage commun avec lui.
Le recourant a épousé une compatriote au bénéfice d'une autorisation d'établissement. Il n'est pas contesté qu'il fait ménage commun avec sa femme, en tout cas depuis sa sortie de prison le 23 juin 2009. Par conséquent, le présent recours est recevable, à cet égard, par rapport à l'art. 83 let. c ch. 2 LTF.
1.1.2 Un étranger peut, selon les circonstances, se prévaloir de l'art. 8 par. 1 CEDH, qui garantit le respect de la vie privée et familiale (comme d'ailleurs l'art. 13 al. 1 Cst. également invoqué par le recourant), pour s'opposer à l'éventuelle séparation de sa famille. Encore faut-il, pour pouvoir se réclamer de cette disposition, que la relation entre l'étranger et une personne de sa famille ayant le droit de résider durablement en Suisse (sur cette notion, cf. <ref-ruling> consid. 1.3.1 p. 145 s.; <ref-ruling> consid. 3.1 p. 285) soit étroite et effective (cf. <ref-ruling> consid. 5 p. 269; <ref-ruling> consid. 5.3.1 p. 211). D'après la jurisprudence, les relations familiales qui peuvent fonder, en vertu de l'art. 8 par. 1 CEDH, un droit à une autorisation de police des étrangers sont avant tout les rapports entre époux ainsi qu'entre parents et enfants mineurs vivant ensemble (<ref-ruling> consid. 1.3.2 p. 146; <ref-ruling> consid. 1d/aa p. 65; <ref-ruling> consid. 1d p. 261).
Il est admis que le recourant vit avec sa femme, titulaire d'une autorisation d'établissement, et son fils. Son recours est donc aussi recevable, sous l'angle de l'art. 8 par. 1 CEDH, au regard de l'art. 83 let. c ch. 2 LTF.
1.2 Pour le surplus, le recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); en outre, il a été déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Par conséquent, il est en principe recevable.
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral et du droit international (cf. art. 95 let. a et b ainsi que 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>), en particulier en violation de l'interdiction de l'arbitraire (<ref-ruling> consid. 2.1 p. 450). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (cf. <ref-law>). Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 3 p. 104; <ref-ruling> consid. 5.2.2 p. 322). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 3 p. 104 s.; <ref-ruling> consid. 5.2.2 p. 322).
Bien que le recourant se plaigne d'une constatation manifestement inexacte des faits, il s'en prend en réalité non pas tant à l'établissement des faits qu'à leur appréciation juridique. Il s'agit là d'une question de droit, que le Tribunal fédéral revoit librement (cf. arrêt 2C_853/2010 du 22 mars 2011 consid. 3).
3. L'art. 51 al. 2 let. b LEtr dispose que les droits prévus en particulier à l'art. 43 LEtr s'éteignent s'il existe des motifs de révocation au sens de l'art. 62 LEtr.
3.1 D'après l'art. 62 let. b LEtr, l'autorité compétente peut révoquer une autorisation de séjour si l'étranger a notamment été condamné à une peine privative de liberté de longue durée. Selon la jurisprudence, une peine privative de liberté est de longue durée lorsqu'elle dépasse un an d'emprisonnement (<ref-ruling> consid. 4.2 p. 379 ss et 4.5 p. 383), indépendamment du fait qu'elle ait été prononcée avec sursis (complet ou partiel) ou sans sursis (arrêt 2C_48/2011 du 6 juin 2011 consid. 6.1). En outre, la peine privative de liberté de longue durée au sens de cette disposition ne peut résulter de l'addition de peines plus courtes (arrêt 2C_915/2010 du 4 mai 2011 consid. 3.1; cf. aussi ATF 2C_415/2010 du 15 avril 2011 consid. 2.3.6).
En l'occurrence, il ressort de l'arrêt entrepris que le recourant a fait l'objet de plusieurs condamnations à des peines privatives de liberté qui ne peuvent pas être cumulées dans l'application de l'art. 62 let. b LEtr (ATF 2C_415/2010 du 15 avril 2011 consid. 2). La plus longue est une peine de douze mois d'emprisonnement, qui se situe à l'extrême limite, mais ne peut pas encore être qualifiée de longue durée selon la jurisprudence. Dès lors, le motif de révocation contenu dans cette disposition n'est pas réalisé (cf. arrêt 2C_915/2010 du 4 mai 2011 consid. 3.1).
En l'occurrence, il ressort de l'arrêt entrepris que le recourant a fait l'objet de plusieurs condamnations à des peines privatives de liberté qui ne peuvent pas être cumulées dans l'application de l'art. 62 let. b LEtr (ATF 2C_415/2010 du 15 avril 2011 consid. 2). La plus longue est une peine de douze mois d'emprisonnement, qui se situe à l'extrême limite, mais ne peut pas encore être qualifiée de longue durée selon la jurisprudence. Dès lors, le motif de révocation contenu dans cette disposition n'est pas réalisé (cf. arrêt 2C_915/2010 du 4 mai 2011 consid. 3.1).
3.2 3.2.1 Selon l'art. 62 let. c LEtr, l'autorité compétente peut révoquer une autorisation de séjour si l'étranger attente de manière grave et répétée à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse.
L'art. 80 al. 1 let. a de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201) précise qu'il y a notamment atteinte à la sécurité et à l'ordre publics en cas de violation de prescriptions légales ou de décisions d'autorités. La sécurité et l'ordre publics sont menacés lorsque des éléments concrets indiquent que le séjour en Suisse de la personne concernée conduit selon toute vraisemblance à une atteinte à la sécurité et à l'ordre publics (art. 80 al. 2 OASA).
On relèvera que les conditions de révocation d'une autorisation pour atteinte à la sécurité et à l'ordre publics par le conjoint d'un détenteur d'une autorisation d'établissement sont moins strictes que celles qui sont prévues pour le conjoint d'un ressortissant suisse. Dans ce dernier cas, l'atteinte doit être "très grave" (art. 63 al. 1 let. b LEtr; arrêt 2C_273/2010 du 6 octobre 2010 consid. 3.2, in ZBl 112/2011 p. 96). D'après le Message du 8 mars 2002 concernant la loi sur les étrangers, il peut exister un motif de révocation d'une autorisation d'établissement - donc à plus forte raison d'une autorisation de séjour - lorsqu'une personne a violé de manière répétée, grave et sans scrupule la sécurité et l'ordre publics par des comportements relevant du droit pénal et montre ainsi qu'elle n'a ni la volonté ni la capacité de respecter à l'avenir le droit (FF 2002 3564 ch. 2.9.2). Tel est ainsi le cas lorsque les actes individuels ne justifient pas en eux-mêmes une révocation mais que leur répétition montre que la personne concernée n'est pas prête à se conformer à l'ordre en vigueur (arrêt 2C_915/2010 du 4 mai 2011 consid. 3.2.1; cf. aussi MARC SPESCHA, in Migrationsrecht, 2e éd. 2009, n° 7 ad art. 62 LEtr).
D'une façon générale, la pratique développée sous l'empire de l'ancienne loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113), en vigueur jusqu'au 31 décembre 2007, reste valable pour l'application des différents motifs de révocation (arrêts 2C_915/2010 du 4 mai 2011 consid. 3.2.1 et 2C_793/2008 du 27 mars 2009 consid. 2.1). L'art. 9 al. 2 let. b LSEE prévoyait la révocation de l'autorisation de séjour notamment lorsque la conduite de l'étranger donnait lieu à des plaintes graves. L'art. 10 al. 1 let. b LSEE, qui autorisait à expulser un étranger de Suisse si sa conduite, dans son ensemble, et ses actes permettaient de conclure qu'il ne voulait pas s'adapter à l'ordre établi dans le pays qui lui offrait l'hospitalité ou qu'il n'en était pas capable, correspondait davantage au nouveau droit. Selon l'art. 16 al. 2 du règlement d'exécution du 1er mars 1949 de la loi fédérale sur le séjour et l'établissement des étrangers (RSEE; RO 1949 I 232), en vigueur jusqu'au 31 décembre 2007, l'expulsion pouvait paraître fondée notamment si l'étranger contrevenait gravement ou à réitérées reprises à des dispositions légales ou à des décisions de l'autorité. Ces dispositions ont une teneur semblable à celle des art. 62 let. c LEtr et 80 al. 1 let. a OASA mentionnés ci-dessus. Dès lors, la jurisprudence établie à propos de l'art. 10 al. 1 let. b LSEE peut en principe être appliquée dans le cadre du nouveau droit et permet de mieux cerner la notion d'atteinte grave ou répétée à la sécurité et l'ordre publics en Suisse (arrêt 2C_915/2010 du 4 mai 2011 consid. 3.2.1; cf. aussi ANDREAS ZÜND/LADINA ARQUINT HILL, Beendigung der Anwesenheit, Entfernung und Fernhaltung, in Ausländerrecht, 2e éd. 2009, p. 326 s. n. 8.29).
3.2.2 A l'âge adulte, le recourant a commis des délits qui lui ont valu une peine de sept mois d'emprisonnement, selon jugement du 26 novembre 1999, ce qui a amené le Service cantonal à lui adresser un très sérieux avertissement le 8 décembre (recte: novembre) 2000. Malgré cette condamnation et l'avertissement précité, le recourant est retombé dans la délinquance en 2003 (recte: 2002) et 2004. Il a été condamné en 2006 à la peine de douze mois d'emprisonnement, accompagnée d'une mesure d'expulsion pour une durée de cinq ans. Il a exercé son activité délictuelle sur plusieurs années et dans des domaines très variés. En effet, il a été condamné notamment pour vol en bande, dommages à la propriété, violation de domicile, voies de fait, contravention à la loi sur les stupéfiants, ivresse au volant, conduite d'un véhicule sans permis ainsi que violation du droit des étrangers. Dès lors que l'intéressé a été condamné pour voies de fait, on ne saurait le suivre quand il prétend qu'il n'a commis que des atteintes à des biens matériels et qu'il n'a jamais fait preuve d'une quelconque violence à l'égard de ses victimes. Le comportement du recourant tombe assurément sous le coup de l'art. 62 let. c LEtr, compte tenu de la répétition de ses infractions et de leur gravité, attestée par des condamnations à sept et douze mois d'emprisonnement prononcées entre 1999 et 2006. Du reste, ce comportement a conduit les autorités à ne pas renouveler l'autorisation de séjour du recourant en août 2007, décision confirmée par le Tribunal cantonal le 31 décembre 2008 et entrée en force. Il convient à présent de se demander si le mariage du recourant postérieurement à ces décisions justifie de lui conférer une nouvelle autorisation de séjour, ce qui relève avant tout de la pesée des intérêts examinée ci-après.
4. 4.1 Comme sous l'empire de la LSEE, même lorsqu'un motif de refuser une autorisation de séjour est réalisé, le prononcé d'un tel refus ne se justifie que si la pesée des intérêts à effectuer dans le cas d'espèce fait apparaître la mesure comme proportionnée. Il convient alors de prendre en considération, dans la pesée des intérêts publics et privés en présence, le degré d'intégration respectivement la durée du séjour effectué en Suisse ainsi que le préjudice que l'intéressé et sa famille auraient à subir en raison de la mesure (art. 96 al. 1 LEtr; arrêt 2C_915/2010 du 4 mai 2011 consid. 3.3.1; cf. aussi <ref-ruling> consid. 4.3 p. 381 au sujet de l'application de l'art. 62 let. b LEtr). Cette pesée des intérêts se confond largement avec celle qui doit être effectuée lors de la mise en oeuvre de l'art. 8 CEDH, de sorte qu'il y sera procédé à cette occasion (cf. consid. 5.2, ci-dessous), le recourant soulevant également la violation de cette disposition.
4.2 Le droit au respect de la vie privée et familiale garanti par l'art. 8 par. 1 CEDH n'est pas absolu. Une ingérence dans l'exercice de ce droit est possible selon l'art. 8 par. 2 CEDH. L'application de cette disposition suppose une pesée des intérêts en présence et l'examen de la proportionnalité de la mesure (<ref-ruling> consid. 4.3 p. 381). Il faut notamment tenir compte de la situation du membre de la famille qui peut rester en Suisse et dont le départ à l'étranger ne peut être exigé sans autre (<ref-ruling> consid. 2.1 p. 155; <ref-ruling> consid. 4.2 p. 23).
5. 5.1 Le recourant fait valoir qu'il a été condamné au total à "une peine cumulée qui dépasse à peine une année et demie de prison" dont il n'a purgé que trois mois qui ont transformé sa mentalité et son existence. Il met en avant un séjour légal en Suisse de près de vingt ans. En outre, il invoque sa situation personnelle (libération conditionnelle, travail) et familiale (cohabitation avec son fils, sa femme et la fille de celle-ci) pour se plaindre d'une violation des garanties découlant des art. 8 CEDH et 13 Cst.
La portée de l'art. 13 Cst. n'étant pas plus étendue que celle de l'art. 8 CEDH, comme le reconnaît du reste le recourant, il suffira d'examiner ses griefs sous l'angle de cette dernière disposition.
5.2 Au moment où l'arrêt attaqué a été rendu, le recourant résidait en Suisse depuis plus de dix-neuf ans, ce qui est incontestablement long. Malgré ce long séjour en Suisse, le Tribunal cantonal a relevé que le recourant ne s'était pas bien intégré dans ce pays. L'intéressé n'avait pas effectué de formation professionnelle et il avait travaillé irrégulièrement, généralement dans le cadre de missions temporaires. Durant ses périodes d'inactivité, il avait rencontré des personnes peu recommandables avec lesquelles il avait commis des délits. Le Tribunal cantonal a tenu compte du fait que le recourant disposait dorénavant d'un emploi, tout en soulignant que sa situation financière était obérée et en rappelant qu'en août 2007, des actes de défaut de biens pour un montant de 97'524 fr. avaient été délivrés à ses créanciers. Il a ajouté que l'intéressé ne prétendait pas avoir commencé à rembourser ses dettes. En sa faveur, les juges cantonaux ont pris en considération que le recourant avait "une vie de famille exemplaire" et qu'il avait pris conscience de la nécessité de changer de mode de vie. Cependant, ils ont aussi rappelé qu'avant son activité délictueuse de "2003-2004", l'intéressé bénéficiait déjà d'un emploi stable et qu'il partageait déjà la vie de son épouse actuelle. Ils ont souligné que ces conditions favorables sur les plans professionnel et affectif ne l'avaient pas empêché de retomber dans la délinquance, de sorte qu'on ne pouvait pas exclure le risque de récidive. Quant à l'obtention de la libération conditionnelle, elle n'avait rien d'extraordinaire, mais correspondait à l'évolution normale qu'on pouvait attendre de tout détenu. Cette appréciation n'est pas critiquable et l'on ne saurait suivre le recourant qui veut y voir une resocialisation hors norme, permettant d'écarter tout risque de récidive. Au demeurant, on rappellera que le Grand Conseil vaudois a rejeté sa demande de grâce.
Le Tribunal cantonal a reconnu que le retour du recourant dans sa patrie où il avait vécu quatorze ans poserait certainement quelques problèmes de réadaptation et qu'il en irait de même pour son épouse si elle le suivait au Kosovo, dont elle était toutefois aussi originaire et où elle avait passé dix-huit ans. Il a estimé que celle-ci avait certainement envisagé cette hypothèse, puisqu'elle avait épousé le recourant alors qu'il ne bénéficiait plus d'une autorisation de séjour. Certes, l'intéressé prétend que son épouse n'a jamais imaginé qu'il pourrait retourner au Kosovo avec ou sans sa famille. On ne peut le suivre, dès lors que son épouse était au courant de sa situation. En effet, elle ne pouvait pas ignorer le passé pénal de son futur mari lorsqu'elle l'a épousé, d'autant qu'elle avait été impliquée dans une partie de l'activité délictueuse de celui-ci. Elle a donc pris le risque de devoir vivre sa vie de couple à l'étranger (cf. arrêt 2C_651/20009 du 1er mars 2010 consid. 4.3). Quant aux enfants, les juges cantonaux ont considéré qu'à leur âge - cinq ans pour le fils et dix ans pour la belle-fille du recourant -, ils pourraient surmonter les difficultés résultant d'un départ de Suisse, en raison de l'équilibre qu'ils trouveraient au sein de leur famille.
Au regard de l'ensemble des circonstances, force est de constater que la pesée des intérêts effectuée par les juges cantonaux en application tant de la LEtr que de l'art. 8 CEDH n'est pas critiquable.
6. 6.1 Le recourant invoque indirectement l'arrêt Reneja (<ref-ruling>, cité in <ref-ruling> consid. 4.4 p. 382) et fait valoir que l'ensemble de ses peines est inférieur à la limite de deux ans établie alors par le Tribunal fédéral.
La jurisprudence Reneja - qui demeure valable sous la LEtr (<ref-ruling> consid. 4.4 p. 382 s.) - s'applique au conjoint étranger d'un ressortissant suisse. Selon elle, une condamnation à deux ans de privation de liberté constitue la limite à partir de laquelle, en général, il y a lieu de refuser l'autorisation de séjour, quand il s'agit d'une première demande d'autorisation ou d'une requête de prolongation d'autorisation déposée après un séjour de courte durée.
On a parfois appliqué cette jurisprudence par analogie au conjoint étranger du titulaire d'une autorisation d'établissement, en procédant à une pesée des intérêts plus stricte (arrêts 2A.23/2002 du 8 avril 2002 consid. 2.3 et 2A.42/2001 du 11 mai 2001 consid. 3.2), mais elle n'est pas pertinente en l'occurrence. Dans l'arrêt Reneja, on a fixé à deux ans de privation de liberté la limite à partir de laquelle une autorisation de séjour n'est pas accordée, bien qu'on ne puisse pas exiger du conjoint suisse qu'il quitte son pays. Il en va autrement ici, puisque l'intéressé n'est pas marié à une Suissesse, mais à une de ses compatriotes. En outre, on peut attendre de la femme du recourant qu'elle retourne avec lui dans leur patrie commune, où elle a d'ailleurs passé toute sa jeunesse, puisqu'elle y a vécu jusqu'à dix-huit ans. Et ce d'autant plus que, comme on l'a rappelé ci-dessus (consid. 5.2), lorsqu'elle s'est mariée, elle savait que le recourant n'obtiendrait peut-être pas d'autorisation de séjour, en raison de son comportement délictueux.
6.2 Le recourant se prévaut de l'arrêt Emrah Emre rendu le 22 mai 2008 par la Cour européenne des droits de l'homme. Toutefois, cette jurisprudence ne lui est d'aucun secours, car on n'est pas en présence d'un étranger ayant passé toute son enfance en Suisse et dont les délits sont en partie des actes de délinquance juvénile.
7. Au vu de ce qui précède, il convient de rejeter le recours.
Les conclusions du recourant étaient dépourvues de toute chance de succès, de sorte qu'il convient de lui refuser l'assistance judiciaire (<ref-law>). Succombant, le recourant doit supporter les frais judiciaires qui seront fixés compte tenu de sa situation financière (art. 65 et 66 al. 1 LTF).
Il n'y a pas lieu d'allouer des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 28 juillet 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Dupraz