Faits :
A.
X._, ressortissant serbe né en 1980, est arrivé en Suisse le 30 juin 1991 avec ses parents et sa soeur. Il est au bénéfice d'une autorisation d'établissement. Il a un fils, né en 2009 ou 2010, qui vit en Serbie avec sa mère, ex-épouse de l'intéressé. Selon ses déclarations, X._ a suivi une formation de peintre en bâtiment pendant deux ans, formation qu'il n'a pas terminée. Il s'est rendu à plusieurs reprises dans son pays d'origine ces dernières années.
X._ a fait l'objet de quatre condamnations pénales. Il a ainsi été sanctionné, le 5 juin 2007, à une peine pécuniaire de 10 jours-amendes à 80 francs, avec sursis pendant deux ans, et à une amende de 560 francs pour contravention et délit à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup ou la loi sur les stupéfiants; RS 812.121); le 7 janvier 2008, à une peine privative de liberté de six mois, avec sursis pendant deux ans, le sursis accordé le 5 juin 2007 étant révoqué, pour le même type de délit; le 8 août 2008, à une peine pécuniaire de 90 jours-amendes à 20 francs, le sursis accordé le 7 janvier 2008 étant révoqué, pour lésions corporelles simples, violence ou menace contre les autorités et les fonctionnaires et contraventions à la loi sur les stupéfiants, et le 13 janvier 2014, à une peine privative de liberté de 21 mois, peine partiellement complémentaire à celle prononcée le 7 janvier 2008, et à une amende de 250 francs, pour vol, tentative de vol, dommages à la propriété, utilisation frauduleuse d'un ordinateur, recel, infraction à la loi fédérale du 20 juin 1997 sur les armes, les accessoires d'armes et les munitions (loi sur les armes, LArm; RS 514.54), infraction et contravention à la loi sur les stupéfiants.
Par ordonnance du 12 août 2014, le juge d'application des peines a libéré conditionnellement X._ à compter du 23 août 2014, fixé le délai d'épreuve à un an, ordonné une assistance de probation pendant le délai d'épreuve et ordonné des contrôles d'abstinence aux produits stupéfiants pendant le délai d'épreuve.
Le Chef du Département de l'économie et du sport du canton de Vaud (ci-après: le Chef du Département de l'économie) a révoqué, le 31 mars 2015, l'autorisation d'établissement de X._ et lui a imparti un délai immédiat pour quitter la Suisse.
B.
Par arrêt du 14 octobre 2015, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de X._. Il a en substance jugé que les conditions pour la révocation de l'autorisation d'établissement étaient remplies, que l'intéressé présentait un risque de récidive et que l'intérêt public à l'éloigner de Suisse l'emportait sur l'intérêt privé de celui-ci à y demeurer.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 14 octobre 2015 du Tribunal cantonal, de maintenir son permis d'établissement et de lui adresser un avis comminatoire, subsidiairement, de révoquer son permis d'établissement et de lui octroyer une autorisation de séjour.
Le Chef du Département de l'économie se rallie à la position du Tribunal cantonal. Ledit tribunal a renoncé à se déterminer et se réfère aux considérants de l'arrêt attaqué. Le Secrétariat d'Etat aux migrations conclut au rejet du recours.

Considérant en droit :
1.
Le recours en matière de droit public est recevable contre les décisions relatives, comme en l'espèce, à une autorisation d'établissement parce qu'il existe en principe un droit au maintien de cette autorisation (<ref-ruling> consid. 1.2.1 p. 4). La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF.
Au surplus, le recours remplit les conditions des art. 42 al. 2 et 82 ss LTF.
2.
Il n'est pas contesté que la condition de la peine privative de longue durée de l'art. 63 al. 1 let. a LEtr en lien avec l'art. 62 let. b de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr ou la loi sur les étrangers; RS 142.20), qui permet la révocation de l'autorisation d'établissement, est remplie, le recourant ayant été condamné à une peine privative de liberté de 21 mois. Savoir si le recourant remplit en plus les conditions de l'art. 63 al. 1 let. b LEtr n'est pas pertinent.
3.
Le recourant invoque une violation des principes de proportionnalité et d'égalité, ainsi que de l'art. 8 CEDH.
3.1. La question de savoir si le recourant bénéficie du droit ancré à l'art. 8 par. 1 CEDH peut rester indécise, cette disposition pouvant être restreinte en application de l'art. 8 par. 2 CEDH; à cet égard, l'examen sous l'angle de cet article se confond avec celui imposé par l'art. 96 LEtr et suppose une pesée de tous les intérêts en présence (<ref-ruling> consid. 2.2.2 p. 20; <ref-ruling> consid. 4.3 p. 381).
3.2. La révocation de l'autorisation d'établissement ne se justifie que si la pesée globale des intérêts à effectuer fait apparaître la mesure comme proportionnée (cf. <ref-ruling> consid. 2.2.1 p. 19; <ref-ruling> consid. 4.2 p. 380; arrêt 2C_655/2011 du 7 février 2012 consid. 10.1). Exprimé de manière générale à l'art. 5 al. 2 Cst. et découlant également de l'art. 96 LEtr, invoqué par le recourant, le principe de la proportionnalité exige que la mesure prise par l'autorité soit raisonnable et nécessaire pour atteindre le but d'intérêt public ou privé poursuivi (cf. <ref-ruling> consid. 3.2 p. 91 s.; <ref-ruling> consid. 4.2 p. 380).
Lors de cet examen, il y a lieu de prendre en considération la gravité de la faute commise, le temps écoulé depuis l'infraction, le comportement de l'auteur pendant cette période, le degré de son intégration, la durée du séjour en Suisse, ainsi que le préjudice que l'intéressé et sa famille auraient à subir du fait de la mesure (<ref-ruling> consid. 2.2.1 p. 19; <ref-ruling> consid. 4.3 p. 381). La peine infligée par le juge pénal est le premier critère servant à évaluer la gravité de la faute et à procéder à la pesée des intérêts (arrêts 2C_910/2015 du 11 avril 2016 consid. 5.2). Lors d'infractions pénales graves, il existe, sous réserve de liens personnels ou familiaux prépondérants, un intérêt public digne de protection à mettre fin au séjour d'un étranger afin de préserver l'ordre public et à prévenir de nouveaux actes délictueux, le droit des étrangers n'exigeant pas que le public demeure exposé à un risque même faible de nouvelles atteintes à des biens juridiques importants. Le comportement correct de l'étranger durant l'exécution de sa peine ne permet pas sans autre de conclure à sa reconversion durable (<ref-ruling> consid. 4.3 p. 24). La durée de présence en Suisse d'un étranger constitue un autre critère très important. Plus cette durée est longue, plus les conditions pour prononcer l'expulsion administrative doivent être appréciées restrictivement (cf. ATF <ref-ruling> consid. 4.4 et 4.5 p. 382 s.). La révocation de l'autorisation d'établissement d'un étranger qui séjourne depuis longtemps en Suisse doit se faire avec une retenue particulière, mais n'est pas exclue en cas d'infractions graves ou répétées même en présence d'un étranger né en Suisse et qui y a passé l'entier de sa vie. On tiendra alors particulièrement compte de l'intensité des liens de l'étranger avec la Suisse et des difficultés de réintégration dans son pays d'origine (<ref-ruling> consid. 2.2.1 p. 19 ss; <ref-ruling> consid. 2.3.1 p. 33 ss; <ref-ruling> c onsid. 3.2.2 p. 287).
3.3. Le recourant a été condamné pénalement à quatre reprises et la dernière peine a été fixée à 21 mois de privation de liberté pour vol, tentative de vol, dommages à la propriété, utilisation frauduleuse d'un ordinateur, recel, infraction à la loi sur les armes et à la loi sur les stupéfiants; auparavant, il avait été condamné à 90 jours-amendes pour lésions corporelles simples, violence ou menace contre les autorités et les fonctionnaires et contraventions à la loi sur les stupéfiants. Ainsi, contrairement à ce que prétend le recourant, il s'en est pris à un bien juridique extrêmement important, à savoir l'intégrité physique (cf. <ref-ruling> consid. 3.3 p. 303), sans compter qu'il a été condamné pour une infraction à la loi sur les armes. En outre, l'intéressé a violé la loi sur les stupéfiants; or, le Tribunal fédéral se montre particulièrement rigoureux quant aux infractions en relation avec les stupéfiants. Le fait que l'intéressé consommait de la drogue peut appeler une certaine tolérance puisqu'en effet la commission d'infractions qui sont en étroite relation avec la toxicomanie du délinquant peut, selon les circonstances, atténuer cette rigueur (<ref-ruling> consid. 5.3 p. 125 s. et les références citées); rien dans les faits de l'arrêt attaqué ne démontre cependant l'existence de ce lien pour les infractions commises. Que l'intéressé ait été sanctionné pour des délits et des contraventions et non pas des infractions graves n'est pas pertinent: cet élément, à savoir la nature des fautes commises, a déjà été pris en compte dans le cadre de la fixation de la peine. De plus, comme le relève le Tribunal cantonal, le recourant était un voleur très actif qui a récidivé à de multiples reprises durant l'enquête pénale, y compris après sa libération conditionnelle en 2009. L'intéressé a ainsi démontré ne pas avoir appris de ses erreurs, et son attitude devant les juges pénaux a témoigné de sa difficulté à s'amender. Un risque de récidive ne saurait ainsi être exclu; à cet égard, on soulignera que le délai d'épreuve accompagnant sa libération conditionnelle n'est arrivé à échéance que le 23 août 2015 et que, pendant ce délai, l'intéressé a bénéficié d'une assistance de probation et a dû se soumettre à des contrôles d'abstinence aux produits stupéfiants. Quant à la jurisprudence "Reneja" (<ref-ruling>) invoquée par le recourant, il faut rappeler que, d'une part, elle est applicable au conjoint étranger d'un ressortissant suisse, ce qui n'est pas le cas du recourant et que, d'autre part, la peine privative de liberté de deux ans ne constitue pas une limite absolue mais a été fixée à titre indicatif (<ref-ruling> consid. 2.3 p. 148 s.).
En ce qui concerne l'intérêt privé du recourant à demeurer en Suisse, le tribunal de céans souligne qu'il est arrivé dans notre pays en 1991 à l'âge de dix ans. Il y a donc passé toute son adolescence et sa vie de jeune adulte. Il ne semble pas pour autant s'être intégré à la société suisse. Il n'y est en effet, selon ses propres termes, que "plutôt intégré sur le marché du travail, étant inscrit dans plusieurs entreprises de travail temporaire". Il a une formation de peintre en bâtiment mais n'a pas de certificat fédéral de capacité. L'arrêt attaqué ne mentionne pas qu'il aurait des liens sociaux particulièrement intenses en Suisse.
Son ex-femme (avec laquelle il dit ne plus avoir de contact) et son fils sont établis en Serbie; or, selon l'arrêt entrepris, le recourant aurait fait part de sa volonté de se rapprocher de celui-ci. En outre, il a séjourné dans son pays d'origine à de nombreuses reprises, comme constaté par le Tribunal cantonal (timbres d'entrée et de sortie de la douane apposés sur son passeport, demande de déclaration d'établissement déposée en vue d'aller remplir ses obligations militaires en Serbie de février 2005 à janvier 2006, certificat médical d'un docteur de Belgrade du 29 août 2013 qui atteste que l'intéressé a suivi une cure de désintoxication du 10 au 24 janvier 2012). Il en parle donc la langue et en connaît les us et coutumes. Ces éléments, ainsi que sa formation de peintre, faciliteront une réintégration qui ne devrait pas être insurmontable; ce d'autant plus que le recourant est encore, à 35 ans, relativement jeune.
3.4. Compte tenu de l'ensemble des circonstances, en particulier de la gravité des infractions commises, en faisant primer l'intérêt public à éloigner le recourant de Suisse sur l'intérêt privé de celui-ci à pouvoir continuer à y résider, le Tribunal cantonal n'a pas violé les art. 96 al. 1 LEtr et 8 par. 2 CEDH. Le recourant ayant en effet persisté à commettre des délits malgré les peines prononcées avec sursis, qui constituaient autant d'avertissements à son endroit, force est de retenir qu'il continue à représenter une menace pour l'ordre public helvétique. Partant, il n'y a pas lieu de commuer la mesure de révocation de l'autorisation d'établissement en un simple avertissement (art. 96 al. 2 LEtr), comme le requiert le recourant.
4.
Le recourant se plaint de la violation du principe d'égalité (art. 8 Cst.) et invoque à cet effet deux arrêts du Tribunal cantonal; dans le premier une peine privative de liberté de 3 ans avait été prononcée à l'encontre de l'intéressée détentrice d'une autorisation de séjour (PE.2013.0194) et, dans le second cas, la peine du détenteur d'une autorisation d'établissement était de 33 mois (PE.2013.0130).
En comparant ces affaires à la sienne, le recourant oublie que la pesée des intérêts ne se fait pas uniquement en fonction de la peine infligée mais qu'il s'agit de prendre en considération toutes les circonstances du cas. Or, la lecture du premier arrêt démontre une situation différente de celle du recourant, notamment sur le plan de l'intégration professionnelle et sociale de la personne en cause qui étaient très bonnes; de plus, les faits reprochés remontaient à 7 ans et, depuis lors, l'intéressée avait eu un comportement irréprochable. La seconde affaire n'est pas non plus comparable à celle du recourant: premièrement, le cas relevait de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses États membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681) et, deuxièmement, ce n'est pas sous l'angle de la proportionnalité que le recours a été admis mais sous celui de l'<ref-law> puisqu'il a été jugé que le recourant ne représentait plus une menace actuelle suffisamment grave pour justifier une mesure d'ordre public.
Quant à l'argument suivant lequel le recourant n'est qu'un délinquant souffrant de toxicomanie qui ne pourrait être comparé à des cas d'étrangers ayant commis des crimes de sang, il n'est pas pertinent puisque, comme cela a été jugé ci-dessus, les infractions commises doivent faire primer l'intérêt public à l'éloigner de la Suisse, conformément au droit fédéral et conventionnel applicables (cf. consid. 3).
Partant, l'arrêt attaqué ne viole pas le principe d'égalité et le grief est rejeté.
5.
Le recourant conclut subsidiairement à ce qu'une autorisation de séjour lui soit octroyée, une fois son autorisation d'établissement révoquée.
Une telle possibilité a déjà été niée par la jurisprudence, à tout le moins lorsque le motif de révocation de l'autorisation d'établissement est lié à la condamnation de l'étranger à une peine privative de liberté de longue durée (arrêt 2C_580/2015 du 4 mars 2016 consid. 6 et les arrêts cités).
6.
Au regard de ce qui précède, le recours est rejeté.
Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué à la mandataire du recourant, au Département de l'économie et du sport, ainsi qu'au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, de même qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 19 juillet 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Zünd
La Greffière : Jolidon