Faits:
A. Ressortissant serbe né en 1975 au Kosovo, X._ est entré en Suisse en 1997 accompagné de Y._ et de leur fils Z._, né en 1996. Leur demande d'asile a été rejetée, mais la décision de renvoi fixée au 31 août 1997 n'a pas pu être exécutée faute de documents de voyage. X._ a par la suite été mis au bénéfice d'une admission provisoire collective, puis individuelle en 1999, respectivement en 2001, en raison de son appartenance à une minorité ethnique du Kosovo.
X._ et Y._ ont eu trois autres enfants nés en 2000, 2002 et 2004. Le couple s'est séparé en 2004. En octobre 2004, la Justice de paix du canton de Vaud a retiré, à titre préprovisionnel, le droit de garde des enfants du couple à leur mère et l'a confié au Service cantonal de protection de la jeunesse, avec pour mission de placer les enfants dans un foyer. L'autorisation donnée en 2007 à l'enfant Z._ de vivre chez son père s'est soldée par un échec; il a été placé dans un foyer dès novembre 2008. En juin 2010, Z._ est retourné vivre auprès de sa mère, auprès de laquelle habitent actuellement les trois cadets; il passe ses week-ends et vacances auprès de son père, qui a, en 2010, entamé des démarches - actuellement suspendues - pour obtenir l'autorité parentale conjointe sur son fils aîné.
X._ a occupé divers emplois entre 1999 et 2004, et a disposé d'une autonomie financière d'août à novembre 2003 et de mai à août 2004. Pour le surplus, il a obtenu des prestations d'assistance.
En Suisse, X._ a été condamné:
- en 2001, à 50 fr. d'amende avec délai d'épreuve pour la radiation d'un an, pour infraction à la Loi fédérale sur les armes, les accessoires d'armes et les munitions (LArm; RS 514.54);
- en 2004, à 1'500 fr. d'amende pour violation simple et grave des règles de la circulation routière, à 10 jours d'arrêts avec sursis pendant un an et 500 fr. d'amende avec délai d'épreuve d'un an pour circulation malgré le retrait du permis de conduire (LCR; RS 741.01), ainsi qu'à une amende de 50 fr. pour avoir dissimulé des revenus alors qu'il était au bénéfice de l'aide sociale;
- en 2005, à 5 jours d'emprisonnement pour violation grave des règles de la circulation routière. Une plainte pénale déposée par une victime de lésions corporelles provoquées lors d'une altercation en mai 2005 a été retirée par celle-ci, X._ étant toutefois condamné aux frais de justice en 2007;
- en 2006, à une amende de 100 fr. pour avoir hébergé une ressortissante étrangère en séjour illégal en Suisse;
- en 2007, à une amende de 400 fr. pour infraction à la LCR, ainsi qu'à une peine de trois jours-amende avec sursis pendant deux ans et à une amende de 100 fr. pour nouvelle infraction à la LArm;
- en 2008, à une peine pécuniaire de 15 jours-amende pour infraction à la LArm avec révocation du sursis accordé en 2007 concernant une autre violation de la LArm, ainsi qu'à une peine privative de liberté de substitution de deux jours convertissant une peine pécuniaire/amende impayée de 180 fr. infligée en 2007;
- le 10 février 2008, par jugement de la Cour d'assises correctionnelles de Mendrisio (TI), à une peine privative de liberté de 16 mois pour agression, vol, dommage à la propriété et lésions corporelles simples, infractions survenues en 2008. Cette peine a été assortie du sursis pendant quatre ans par arrêt de la Cour de cassation du Tribunal d'appel du Tessin le 7 janvier 2010.
X._ a bénéficié d'une ordonnance de non-lieu en 2010 dans le cadre de lésions corporelles simples qui seraient survenues en décembre 2009.
Le 22 mai 2009, X._ a épousé la ressortissante serbe A._, qui est au bénéfice d'un permis d'établissement.
B. Après avoir donné à X._ la possibilité de s'exprimer, le Service cantonal a, par décision du 30 mars 2010, refusé de lui délivrer une autorisation de séjour pour regroupement familial, annonçant que, dès l'entrée en force de sa décision, il proposerait à l'Office fédéral de révoquer son admission provisoire.
Par arrêt du 27 octobre 2010, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a rejeté le recours formé par X._ contre la décision du Service cantonal, laquelle a été confirmée.
C. Le 29 novembre 2010, X._ a déposé au Tribunal fédéral un recours en matière de droit public contre l'arrêt du Tribunal cantonal du 27 octobre 2010. Il demande, sous suite de frais et dépens, principalement, d'admettre le recours, d'annuler l'arrêt querellé et de le modifier "en ce sens que le recours de X._ est admis et la décision du Service [cantonal] annulée". Subsidiairement, il demande l'annulation de l'arrêt du Tribunal cantonal et le renvoi de la cause à cette autorité pour qu'elle "admette le recours et renvoie le dossier au Service [cantonal] en l'invitant à délivrer une autorisation de séjour à X._".
Le Service cantonal et le Tribunal cantonal renoncent à se déterminer sur le recours, tandis que l'Office fédéral conclut à son rejet.
Par ordonnance présidentielle du 6 décembre 2010, le Tribunal fédéral a admis la demande d'effet suspensif déposée par le recourant.
Considérant en droit:
1. Comme le refus d'octroi de l'autorisation de séjour litigieuse fait suite à une procédure ouverte après l'entrée en vigueur, le 1er janvier 2008, de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), le cas doit être examiné à la lumière du nouveau droit (art. 126 al. 1 LEtr a contrario).
2. 2.1 Selon l'art. 83 let. c ch. 2 LTF, le recours est irrecevable contre une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. En l'espèce, le recourant a épousé une ressortissante serbe au bénéfice d'une autorisation d'établissement. Il peut donc se prévaloir d'un droit à séjourner en Suisse en vertu de l'art. 43 al. 1 LEtr. En outre, les enfants qu'il a eus avec sa première épouse se trouvent en Suisse, de sorte qu'il peut a priori aussi se prévaloir de l'art. 8 CEDH. Il s'ensuit que le recours échappe à l'exception prévue à l'art. 83 let. c ch. 2 LTF, le point de savoir si, dans le cas d'espèce, le recourant peut effectivement bénéficier d'une autorisation de séjour sur la base des dispositions précitées étant une question qui ne relève pas de la recevabilité, mais du fond (ATF 136 II 177 consid. 1.2 p. 180).
2.2 Pour le surplus, le recours est dirigé contre une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal cantonal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Il a été formé en temps utile (art. 100 al. 1 et 45 al. 1 LTF) et dans les formes prescrites (art. 42 LTF) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF). Par conséquent, il est recevable en tant que recours en matière de droit public.
2.3 Dans la mesure, toutefois, où il tend à l'annulation de la décision rendue le 30 mars 2010 par le Service cantonal, le recours est irrecevable, étant donné l'effet dévolutif du recours au Tribunal cantonal (arrêt 2C_270/2009 du 15 janvier 2010 consid. 2.3, non publié aux ATF 136 II 78). Seule la décision de dernière instance cantonale peut être attaquée devant le Tribunal fédéral (art. 86 al. 1 let. d LTF).
3. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'art. 106 al. 2 LTF. Aux termes de cet alinéa, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant. L'acte de recours doit, sous peine d'irrecevabilité, contenir un exposé succinct des droits ou principes constitutionnels violés et préciser en quoi consiste la violation (ATF 136 II 304 consid. 2.5 p. 314). En outre, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. art. 105 al. 1 LTF), à moins que ces faits n'aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (cf. art. 105 al. 2 LTF). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. ATF 136 II 101 consid. 3 p. 104 s.).
4. Le recourant se plaint d'une violation de l'art. 43 en relation avec les art. 51 et 62 LEtr, ainsi que de l'art. 8 CEDH. En substance, il aurait droit à une autorisation de séjour de par son mariage avec une titulaire d'un permis d'établissement, la peine privative de liberté de 16 mois à laquelle il a été condamné ne saurait être considérée comme une peine de longue durée en raison du sursis dont elle est assortie et l'art. 8 CEDH s'opposerait à la séparation d'avec sa famille.
5. L'art. 51 al. 2 let. b LEtr établit que les droits prévus à l'art. 43 LEtr s'éteignent s'il existe des motifs de révocation au sens de l'art. 62 LEtr. Tel est notamment le cas si l'étranger a été condamné à une peine privative de liberté de longue durée (cf. let. b), s'il attente de manière grave ou répétée à la sécurité et l'ordre publics en Suisse (let. c) ou si lui-même ou une personne dont il a la charge dépend de l'aide sociale (let. e). De jurisprudence constante, une peine privative de liberté est de longue durée lorsqu'elle dépasse la durée d'un an (ATF 135 II 377 consid. 4.2 p. 379 ss). A ce titre, peu importe que cette peine ait été prononcée avec sursis complet ou partiel, respectivement sans le sursis (arrêts 2C_651/2009 du 1er mars 2010 consid. 4.1.2; 2C_578/2009 du 23 février 2010 consid. 2.2).
Comme la Cour de cassation du Tribunal d'appel du Tessin a, en 2010, confirmé la condamnation du recourant à une peine privative de liberté de 16 mois, tout en l'assortissant d'un sursis, le motif de refus fondé sur les art. 51 al. 2 let. b et 62 let. b LEtr est rempli. Nul n'est donc besoin de trancher la question de savoir si, compte tenu des nombreuses condamnations du recourant et de sa dépendance partielle à l'assistance sociale, celui-ci tombe de surcroît sous le coup des motifs de révocation figurant aux lettres c et e de l'art. 62 LEtr.
6. 6.1 En présence d'un motif permettant de dénier une autorisation de séjour au recourant, il faut encore examiner si, au terme d'une pesée des intérêts, cette mesure apparaît comme proportionnée aux circonstances (art. 5 al. 2 Cst.; 96 LEtr). Il convient donc de prendre en considération la gravité de la faute commise, le degré d'intégration, respectivement la durée du séjour effectué en Suisse, et le préjudice que l'intéressé et sa famille auraient à subir en raison de la mesure (ATF 135 II 377 consid. 4.3 p. 381; arrêt 2C_515/2009 du 27 janvier 2010 consid. 2.2). Quand le refus d'octroyer une autorisation de séjour se fonde sur la commission d'une infraction, la peine infligée par le juge pénal est le premier critère servant à évaluer la gravité de la faute et à procéder à la pesée des intérêts en présence (arrêts 2C_651/2009 du 1er mars 2010 consid. 4.2; 2C_418/2009 du 30 novembre 2009 consid. 4.1). Lorsque l'autorité cantonale effectue une pesée des intérêts, le Tribunal fédéral ne revoit celle-ci qu'avec retenue (arrêt 2C_758/2010 du 22 décembre 2010 consid. 6.2).
6.2 La nécessité de procéder à un examen de la proportionnalité de la mesure querellée découle aussi, de manière semblable à la pesée des intérêts à effectuer sous l'angle de la LEtr (cf. arrêt 2C_651/2009 du 1er mars 2009 consid. 4.2), du droit au respect de la vie privée et familiale. Un étranger peut, selon les circonstances, se prévaloir de l'art. 8 par. 1 CEDH pour s'opposer à l'éventuelle séparation de sa famille; cela présuppose que l'étranger entretienne une relation étroite et effective avec une personne de sa famille ayant le droit de résider durablement en Suisse (ATF 135 I 143 consid. 1.3.1 p. 145 s.). Cependant, ce droit conventionnel n'est pas absolu; une ingérence dans son exercice est possible aux conditions de l'art. 8 par. 2 CEDH. La question de savoir si, dans un cas d'espèce, les autorités de police des étrangers sont tenues d'accorder une autorisation de séjour fondée sur l'art. 8 CEDH doit donc aussi être résolue sur la base d'une pesée de tous les intérêts publics et privés en présence (ATF 133 II 6 consid. 5.5 p. 22 s.; arrêt 2C_508/2009 du 20 mai 2010 consid. 4.2).
6.3 En l'espèce, le Tribunal cantonal a soupesé en détail les différents éléments pertinents.
6.3.1 L'arrêt attaqué constate ainsi, en défaveur du recourant: son arrivée en Suisse alors qu'il était déjà âgé de 22 ans et avait passé toute son enfance et son adolescence à l'étranger; ses nombreux antécédents pénaux depuis 2001 qui, en 2008, ont culminé avec sa condamnation à une peine privative de liberté de 16 mois pour agression, vol, dommage à la propriété et lésions corporelles simples; l'aide sociale que le recourant a perçue sur de longues périodes, étant précisé que l'attestation fournie par un exploitant de tea-room de l'engager à plein temps au cas où le recourant obtiendrait une autorisation de séjour, alors même qu'il lui serait d'ores et déjà possible d'exercer une activité lucrative du fait de son admission provisoire, a été considérée sans arbitraire comme un "document de complaisance". Les juges cantonaux ont aussi retenu que ses quatre enfants, avec lesquels il ne fait plus ménage commun depuis 2004 et ne semble - concernant les trois cadets - pas avoir de contacts suivis, et sur lesquels il n'exerce pas la garde, n'ont aucun droit de présence assuré en Suisse. Ils ont de plus évoqué la possibilité pour le recourant d'exercer, le cas échéant, un droit de visite depuis l'étranger. En outre, le Tribunal cantonal a relevé que l'épouse du recourant, titulaire d'un permis d'établissement et également originaire de Serbie, avait épousé ce dernier alors qu'il avait déjà été condamné à plusieurs reprises, dont à une peine de 16 mois d'emprisonnement, de sorte qu'elle avait pris le risque de devoir vivre sa vie de couple à l'étranger au cas où elle ne supporterait pas de vivre éloignée de son mari (cf. arrêt 2C_418/2009 du 30 novembre 2009 consid. 5.2).
Plaide, au contraire, en faveur du recourant, qui vit en Suisse depuis 1997, le fait que, à teneur de documents médicaux, son fils aîné Z._, né en 1996, serait "en proie à de grandes angoisses de séparation d'avec son père (...) qui entravent son développement psycho-affectif", de sorte que l'éloignement à terme de son père "pourrait avoir des conséquences négatives sur cet adolescent déjà fragilisé". Le Tribunal cantonal a toutefois relativisé cet élément en doutant de la capacité du recourant "d'offrir à son fils le cadre sécurisant et exemplaire qu'on pourrait lui souhaiter". Du reste, Z._ a déjà vécu avec son père à partir de 2007, ce qui n'a pas empêché les autorités de le placer dans un foyer dès novembre 2008, en raison des difficultés scolaires de l'enfant et du manque de collaboration des parents.
6.3.2 A la lumière de ces éléments, le Tribunal cantonal a, en considérant qu'il ne se justifiait pas d'accorder une autorisation de séjour au recourant, procédé à une juste pesée des intérêts non seulement au regard de l'importance accordée aux infractions pénales commises et de l'intensité de l'intégration familiale du recourant, mais aussi au sujet du retour de celui-ci dans son pays d'origine. Le recourant ne conteste d'ailleurs pas les éléments pris en compte, se bornant, de façon appellatoire, à minimiser ceux qui ont été retenus en sa défaveur et à mettre en évidence les seuls points pouvant lui être favorables.
Contrairement à ce que soutient le recourant, les violations graves et/ou répétées des règles de la circulation routière ne sauraient (toutes) passer pour des "bagatelles". Hormis son absence de pertinence au regard de l'art. 62 let. b LEtr, l'affirmation selon laquelle la peine privative de 16 mois prononcée pour des infractions encore récentes se situerait "très légèrement en dessus de la limite inférieure posée par la jurisprudence" frôle la témérité. Qui plus est, il convient de suivre les juges cantonaux lorsqu'ils soulignent la réitération des infractions et "la propension à la violence" que relèvent les "multiples condamnations (et encore plus nombreuses plaintes) pour agression, lésions corporelles et autres menaces".
Quant aux conséquences d'une séparation du recourant d'avec son fils aîné, la pondération qu'a effectuée le Tribunal cantonal, qui n'a pas nié l'affection que Z._ porte à son père, ne prête pas le flanc à la critique au vu notamment de l'incapacité du recourant d'offrir un environnement cadrant à son enfant alors que ce dernier vivait avec lui. Enfin, l'argument par lequel le recourant semble sous-entendre que le Tribunal cantonal aurait confirmé le refus de l'autorisation de séjour au motif que celui-ci ne pouvait, en raison de l'admission provisoire dont il bénéficie (cf. art. 83 ss LEtr), pas entraîner son renvoi automatique de Suisse, ne relève pas de l'application du droit. Au demeurant, aucun élément du dossier ne permet de l'étayer.
6.4 Il s'ensuit que le refus d'octroi de l'autorisation de séjour opposé au recourant respecte en tous points le principe de la proportionnalité et est conforme tant à l'art. 51 al. 2 let. b (en relation avec les art. 62 let. b et 96 LEtr) qu'à l'art. 8 par. 2 CEDH.
7. Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Succombant, le recourant doit supporter les frais de justice (art. 65 et 66 al. 1 LTF). Il ne sera pas alloué de dépens (art. 68 al. 1 et 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 22 mars 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Le Greffier:
Karlen Chatton