Faits :
A.
A._, ressortissant kosovar né en 1978, a séjourné à plusieurs reprises sans autorisation en Suisse. En juin 2009, il a épousé une ressortissante italienne, qu'il a rejointe dans notre pays en novembre suivant. Il a partant été mis au bénéfice d'une autorisation de séjour.
A._ a trois enfants issus d'un premier lit, C._, D._ et B._, nés respectivement en avril 2000, octobre 2001 et octobre 2006. Les enfants sont venus en Suisse en août 2012 et y ont obtenu une autorisation de séjour au titre du regroupement familial. Par la suite, leur mère les a rejoints illégalement.
A._ a été condamné:
-en juillet 2011, à 41 jours-amende à 120 fr. avec sursis et à 1'800 fr. d'amende pour conduite en état d'ivresse;
-en septembre 2011, à 15 jours-amende à 120 fr. pour conduite sans permis malgré un retrait;
-en novembre 2011, à 20 jours-amende à 60 fr. avec sursis pour emploi d'étrangers sans autorisation;
-en janvier 2014, à 80 jours-amende à 40 fr. pour conduite en état d'ivresse;
-en octobre 2015, à 120 jours-amende à 50 fr. pour emploi répété d'étrangers sans autorisation;
-en juin 2017, à 50 jours-amende à 30 fr. pour conduite en état d'ivresse;
-en septembre 2017, à 140 jours-amende à 50 fr. et à une amende de 500 fr. pour lésions corporelles simples qualifiées, voies de fait, injure et contrainte commises en 2015, provoquant en particulier un traumatisme crânien à son fils aîné;
-en février 2018, à peine privative de liberté de 30 jours pour conduite sans permis;
-en juin 2018, à 40 jours-amende à 50 fr. et à une amende de 150 fr. pour conduite sans permis et accompagnement non autorisé d'une course d'apprentissage;
-en décembre 2018, à 20 jours-amende à 30 fr. pour violation grave des règles de la circulation routière;
-en décembre 2019, à une peine (d'ensemble) privative de liberté de cinq mois pour dommage à la propriété, la liberté conditionnelle octroyée en février 2017 (suite à la conversion de la peine d'octobre 2015) ayant été révoquée.
A la suite de plusieurs interventions policières, il a été constaté en 2016 que les époux faisaient ménage séparé. En raison de la présence des enfants en Suisse, le Service de la population du canton de Vaud (ci-après : le Service cantonal) s'est toutefois déclaré, en août 2017, favorable à la poursuite du séjour en Suisse d'A._.
B.
Par décision du 29 juin 2018, le Secrétariat d'État aux migrations (ci-après : SEM) a refusé d'approuver la prolongation de l'autorisation de séjour d'A._. S'agissant des enfants, il a estimé que ceux-ci n'auraient pas de mal à s'adapter à un retour dans leur pays d'origine. Il a également émis des doutes sur l'existence, pendant trois ans, d'une communauté conjugale.
A._ et ses enfants ont recouru contre cette décision auprès du Tribunal administratif fédéral, qui a statué le 17 juin 2020. S'agissant de C._ et de D._, il a constaté qu'ils étaient devenus majeurs avant que le SEM ne rende sa décision et que, partant, cette autorité aurait dû examiner leur situation de manière indépendante de celle de leur père, et non pas de manière accessoire. S'agissant d'A._, le Tribunal administratif fédéral a confirmé la décision du SEM. Quant à B._, mineur, son sort devait suivre celui de son père, qui en avait la garde. Par conséquent, le Tribunal administratif fédéral a partiellement admis le recours, annulé la décision du 29 juin 2018 du SEM concernant C._ et D._, adressant son arrêt au Service cantonal pour nouvel examen de leur situation, et confirmé ladite décision pour le surplus.
C.
Agissant par la voie du recours en matière de droit public, A._et son fils B._ demandent au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif et l'octroi de l'assistance judiciaire, principalement, de réformer l'arrêt attaqué en ce sens que leurs autorisations de séjour soient prolongées; subsidiairement, d'annuler l'arrêt attaqué et de renvoyer la cause au Tribunal administratif fédéral pour nouvelle décision dans le sens des considérants.
Par ordonnance du 19 août 2020, le Président de la Cour de céans a admis la requête d'effet suspensif contenue dans le recours.
Le Tribunal administratif fédéral a renoncé à se déterminer et s'en tient à son arrêt. Le SEM a conclu au rejet du recours. Le Service cantonal a renoncé à se déterminer.

Considérant en droit :
1.
1.1. Le recourant 1 se prévaut d'un droit à obtenir la prolongation de son autorisation de séjour, fondé sur l'art. 50 al. 1 let. b de la loi fédérale du 16 décembre 2005 sur les étrangers et l'intégration (LEI; RS 142.20; intitulée loi fédérale sur les étrangers [LEtr] avant le 1er janvier 2019), selon lequel, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité subsiste à certaines conditions. Dès lors qu'il n'est pas d'emblée exclu que celles-ci soient remplies et que la question de savoir si elles le sont relève du fond, son recours échappe à la clause d'irrecevabilité de l'art. 83 let. c ch. 2 LTF (<ref-ruling> consid. 1.1 p. 332 et les références). Le droit du recourant 2 découle de celui du recourant 1, qui en a la garde (art. 8 CEDH; arrêts 2C_686/2019 du 3 octobre 2019 consid. 1.1; 2C_154/2018 du 17 septembre 2019 consid. 1.1), de sorte que le recours est également recevable en ce qui concerne le recourant 2. La voie du recours en matière de droit public est donc ouverte.
1.2. Le recours, dirigé contre une décision finale (<ref-law>), rendue par le Tribunal administratif fédéral (<ref-law>), a par ailleurs été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>) par les recourants, qui ont qualité pour agir (cf. <ref-law>). Il convient donc d'entrer en matière.
2.
2.1. Saisi d'un recours, le Tribunal fédéral applique le droit d'office (<ref-law>). Toutefois, et conformément à l'<ref-law>, il ne connaît de la violation des droits fondamentaux que si ce grief a été invoqué et motivé.
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>), hormis dans les cas visés à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377). La partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées (cf. <ref-law>). Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 p. 375). Le Tribunal fédéral ne peut par ailleurs pas tenir compte de faits ou de moyens de preuve survenus postérieurement au prononcé de la décision entreprise (<ref-ruling> consid. 1.2 p. 23).
3.
Le litige porte sur le droit des recourants à poursuivre leur séjour en Suisse. Le recourant 1 vit séparé de son épouse, de nationalité italienne. La question de la poursuite du séjour en Suisse des recourants ne relève partant plus de l'ALCP, mais de la législation ordinaire sur les étrangers et en particulier de l'art. 50 LEI, qui s'applique dès lors que l'époux vit toujours en Suisse (cf. <ref-ruling> consid. 4.7 p. 10 s.). Compte tenu des dispositions transitoires (art. 126 al. 1 LEI), il sera ci-après fait référence à la LEtr, qui demeure applicable et dont l'art. 50 a une teneur légèrement différente de celle de l'art. 50 LEI.
4.
Selon l'art. 50 al. 1 LEtr, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 subsiste si l'union conjugale a duré au moins trois ans et que l'intégration est réussie (let. a) ou si la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures (let. b).
4.1. En l'espèce, le Tribunal administratif fédéral a d'abord exclu que le recourant 1 puisse se prévaloir de l'art. 50 al. 1 let. a LEtr pour prolonger son autorisation de séjour en Suisse. Le point de savoir si l'union conjugale avait duré trois ans pouvait rester ouvert, puisque le recourant 1 ne pouvait de toute manière pas se prévaloir d'une intégration réussie dans notre pays.
4.1.1. Pour qu'il existe un droit au séjour en vertu de l'art. 50 al. 1 let. a LEtr, la condition d'une union conjugale d'une durée d'au moins de trois ans et celle d'une intégration réussie doivent être remplies cumulativement (<ref-ruling> consid. 3.5.3 p. 295). S'agissant de la condition de l'intégration réussie, le Tribunal administratif fédéral a correctement exposé les contours de la notion tels qu'ils ont été définis par la jurisprudence (cf. par exemple les arrêts 2C_642/2020 du 16 novembre 2020 consid. 5.2; 2C_527/2020 du 15 octobre 2020 consid 3.1; 2C_364/2017 du 25 juillet 2017 consid. 6.1 à 6.4). Il en découle que l'intégration réussie s'examine à l'aune de critères, parmi lesquels figurent notamment le point de savoir si l'étranger respecte l'ordre juridique suisse, les décisions des autorités, ses obligations de droit public (impôts, assurance-maladie) et privés, en particulier s'il fait l'objet de poursuites, étant précisé que, dans l'examen de ces critères, les autorités compétentes disposent d'un large pouvoir d'appréciation.
4.1.2. Il ressort des faits constatés que le séjour du recourant 1 en Suisse est émaillé de condamnations pénales, notamment pour emploi d'étrangers sans autorisation, conduite sans permis malgré un retrait, conduite en état d'ivresse ou autres infractions graves à la législation sur la circulation routière. Les peines successives qui lui ont été infligées n'ont pas eu d'impact positif sur son comportement. On relèvera par exemple qu'après avoir été condamné, en février 2018, à peine privative de liberté de 30 jours pour conduite sans permis, il a encore récidivé et a été condamné, en juin 2018, pour conduite sans permis et accompagnement non autorisé d'une course d'apprentissage. Il a par ailleurs été condamné pour lésions corporelles simples qualifiées, voies de fait, injure et contrainte commises, ainsi que, récemment, pour dommage à la propriété (cf. supra consid. A). Comme l'ont relevé à bon droit les juges précédents, ce parcours pénal dénote une incapacité flagrante à respecter l'ordre juridique suisse. Ceux-ci ont du reste souligné que la dernière ordonnance pénale rendue à l'encontre du recourant 1 retient que le pronostic est totalement défavorable et que les peines pécuniaires n'ont pas le moindre impact sur son comportement. A cela s'ajoute que le recourant 1 fait l'objet de poursuites, estimées à environ 130'000 fr., qui résultent de primes d'assurances et d'impôts non payés, et que l'arrêt attaqué ne fait état d'aucun élément propre à faire apparaître qu'il pourrait se prévaloir d'une intégration sociale ou professionnelle particulière dans notre pays, ce qu'il ne prétend au demeurant pas. Il n'a en outre pas annoncé sa séparation aux autorités, ce fait n'ayant été découvert qu'en 2016, à la suite d'interventions policières. En pareilles circonstances, on ne peut reprocher au Tribunal administratif fédéral d'avoir jugé que le recourant 1 ne pouvait pas se prévaloir de l'art. 50 al. 1 let. a LEtr pour prolonger son séjour en Suisse. Les recourants ne formulent du reste aucun grief à l'encontre de l'arrêt attaqué sur ce point.
4.2. Le Tribunal administratif fédéral a ensuite estimé que la poursuite du séjour des recourants en Suisse ne s'imposait pas pour des raisons personnelles majeures au sens de l'art. 50 al. 1 let. b et al. 2 LEtr. Les recourants le contestent, faisant en substance valoir qu'un retour du recourant 2 au Kosovo n'est pas exigible au vu de son âge et son intégration en Suisse, et que le droit du recourant 1 de prolonger son séjour en Suisse découlerait de celui du recourant 2.
4.2.1. Selon l'art. 50 al. 1 let. b LEtr, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité subsiste si la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures. Selon l'art. 50 al. 2 LEtr, il y a notamment raisons personnelles majeures lorsque la réintégration sociale dans le pays de provenance semble fortement compromise. A cet égard, des difficultés de réintégration sociale dans le pays de provenance peuvent être constitutives de raisons personnelles majeures. Pour que cela soit le cas, cette réintégration doit, conformément au texte de l'art. 50 al. 2 LEtr, sembler "fortement compromise". La question n'est donc pas de savoir s'il est plus facile pour la personne concernée de vivre en Suisse, mais uniquement d'examiner si, en cas de retour dans le pays d'origine, la réintégration sociale, au regard de la situation personnelle, professionnelle et familiale de l'étranger, serait fortement compromise (<ref-ruling> consid. 6 p. 403; <ref-ruling> consid. 3.2.3 p. 350; <ref-ruling> consid. 5.3). Lorsque des enfants sont concernés, il faut tenir compte des effets qu'entraînerait pour eux un retour forcé dans le pays d'origine. Lorsqu'un enfant se trouve en début d'adolescence, période essentielle du développement personnel et scolaire, un soudain déplacement du centre de vie peut constituer un véritable déracinement et s'accompagner de grandes difficultés d'intégration. Ces éléments ne sont cependant pas suffisants, à eux seuls, pour faire obstacle au renvoi de la famille, en particulier si l'adolescent n'a pas encore entrepris des études ou une formation professionnelle qu'il ne pourrait mener à terme dans le pays d'origine et qu'il parle la langue du pays d'origine (cf. arrêts 2C_647/2016 du 2 décembre 2016 consid. 3.4 et les références; 2C_75/2011 du 6 avril 2011 consid. 3.4). Certes, dans l'arrêt 2C_448/2020 du 29 septembre 2020, le Tribunal fédéral a admis le renvoi de deux adolescents qui avaient commencé un apprentissage. Le contexte était toutefois particulier, dès lors que ces jeunes ne séjournaient que depuis environ deux ans et demi en Suisse lorsque l'autorisation de séjour avait été accordée et qu'ils retournaient dans leur pays d'origine accompagnés de leurs deux parents (cf. consid. 3.4.2 de l'arrêt).
4.2.2. En l'espèce, le Tribunal administratif fédéral a nié que le recourant 1 puisse se prévaloir de raisons personnelles majeures pour prolonger son séjour en Suisse. Il n'avait pas créé avec notre pays des attaches à ce point étroites qu'il serait devenu étranger à son pays d'origine. Il avait en revanche passé au Kosovo les années essentielles pour la formation de sa personnalité et pour son intégration sociale et culturelle. Il n'y avait donc pas lieu de penser qu'il serait confronté à des difficultés de réadaptation insurmontables en cas de retour au Kosovo, où il avait notamment travaillé en tant que maçon, où il se rendait régulièrement et où il entretenait visiblement de bonnes relations avec sa famille, notamment sa mère. S'agissant du recourant 2, le Tribunal administratif fédéral a relevé qu'à son arrivée en Suisse à l'âge de 6 ans, il avait connu des difficultés dans l'apprentissage du français, que ses enseignants l'ont qualifié d'imaginatif, soulignant toutefois qu'il ne respectait ou n'écoutait pas toujours les consignes, que ses commentaires étaient souvent hors sujet, qu'il n'acceptait pas la sanction et n'assumait pas les conséquences de ses actes. Il a aussi été constaté que le recourant 2 ne semblait pas être connu des forces de police et qu'il n'alléguait pas avoir d'activités sociales particulières. Au vu de son âge, le Tribunal administratif fédéral a reconnu que, pour le recourant 2, un retour au Kosovo pourrait être source de difficultés. Il a toutefois estimé que son processus d'intégration en Suisse n'était pas encore à ce point profond et irréversible qu'un retour dans son pays d'origine ne puisse plus être envisagé. Son bagage scolaire était en effet constitué de connaissances d'ordre général et il parlait l'albanais, en particulier avec sa mère qui ne parlait pas le français. Il pourrait en outre bénéficier du soutien de ses parents, ainsi que de celui des membres de sa famille. Enfin, sous l'angle du bien de l'enfant, s'il ressortait du dossier que le recourant 1 aurait régulièrement frappé ses enfants par le passé et que la curatelle éducative instaurée en 2016 en faveur de ses fils avait été révoquée, faute de succès, ces éléments pouvaient être relativisés, dès lors que les autorités compétentes n'avaient pas estimé utile d'éloigner les enfants du père en 2016 et constaté que celui-ci n'avait plus été violent depuis lors.
4.2.3. A juste titre, les recourants ne soutiennent pas que le recourant 1 pourrait se prévaloir de raisons personnelles majeures pour prolonger son séjour en Suisse. Aucun élément constaté dans l'arrêt attaqué ne laisse en effet supposer que sa réintégration sociale au Kosovo soit fortement compromise. Ils font en revanche valoir que les juges précédents ont abusé de leur pouvoir d'appréciation et fait preuve d'arbitraire, parce qu'ils auraient nié que le recourant 2 soit bien intégré en Suisse uniquement à cause de ses difficulté scolaires passées et des appréciations que des enseignants ont formulées à son endroit.
Ce grief est vain. Contrairement à ce que les recourants allèguent, les juges précédents n'ont pas retenu que le recourant 2 n'était pas intégré. Par ailleurs, s'il est vrai qu'ils ont rendu compte des difficultés scolaires que le recourant 2 a rencontrées par le passé, ainsi que des appréciations d'enseignants à son sujet, il ne ressort pas de l'arrêt attaqué que ces éléments aient joué un rôle dans l'appréciation générale de sa situation. Les juges précédents ont bien au contraire expressément souligné qu'ils ne minimisaient pas les difficultés auxquelles cet adolescent pourrait être confronté à son retour au Kosovo, estimant toutefois qu'au vu de l'état d'avancement de sa scolarité, son processus d'intégration n'était pas encore à ce point profond et irréversible qu'un retour dans son pays d'origine pour y vivre avec son père ne puisse plus être envisagé. Ce faisant, les juges précédents n'ont pas abusé de leur pouvoir d'appréciation et le résultat auquel ils sont parvenus est conforme à la jurisprudence du Tribunal fédéral qui a été rappelée ci-dessus (consid. 4.2.1).
C'est partant en vain que les recourants invoquent le parcours scolaire "hors norme" de B._, en produisant du reste une pièce postérieure à l'arrêt attaqué d'emblée irrecevable (consid. 2.2 ci-dessus). Au surplus, lorsqu'ils soutiennent qu'un retour au Kosovo exposerait le recourant 2 à des difficultés insurmontables, les recourants substituent leur propre appréciation à celle des juges précédents de manière purement appellatoire, ce qui n'est pas admissible.
4.2.4. Au vu de ce qui précède, le recourant 1 ne peut rien tirer de la situation du recourant 2 pour obtenir la prolongation de son autorisation de séjour et celle de ce dernier en vertu de l'art. 50 al. 1 let. b LEtr. Le sort du recourant 2, mineur, suit celui de son père qui en a la garde (arrêt 2C_1111/2015 du 9 mai 2016 consid. 1.1 et les références).
5.
Ce qui précède conduit au rejet du recours. Les recourants n'ayant pas rempli le formulaire à l'appui de leur demande d'assistance judiciaire, tout en payant l'avance de frais, celle-ci ne sera pas accordée (<ref-law>). Les frais judiciaires seront mis à la charge du recourant 1 (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant 1.
4.
Le présent arrêt est communiqué à la représentante des recourants, au Tribunal administratif fédéral, Cour VI, au Secrétariat d'Etat aux migrations et au Service de la population du canton de Vaud.
Lausanne, le 12 janvier 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Vuadens