Faits :
A.
A.a. A._, ressortissant du Kosovo possédant également la nationalité serbe, est né le 7 juillet 1994 à B._. Il a bénéficié d'une autorisation de séjour, puis d'une autorisation d'établissement qui a été régulièrement renouvelée. Il est célibataire et sans enfant. Entre 2008 et 2012, il a été condamné à sept reprises, en tant que mineur, pour différentes infractions (vol, voies de fait, extorsion, dommage à la propriété, lésions corporelles simples, complicité de brigandage, port sans autorisation d'une arme, consommation de stupéfiants, etc.).
Par la suite, outre une peine pécuniaire de 40 jours amende à 40 fr. et une amende de 400 fr. résultant d'un jugement du 20 août 2013, A._ a été condamné, le 18 novembre 2015, à une peine privative de liberté de trois ans; les faits commis étaient semblables à ceux pour lesquels il avait déjà été sanctionné.
Le Service de la population et des migrations du canton du Valais (ci-après: le Service de la population) a, en date du 21 juillet 2016, révoqué l'autorisation d'établissement de l'intéressé.
A.b. Le Tribunal du IIIe arrondissement pour le district de B._ a, par jugement du 20 février 2018, prononcé à l'égard de A._ une peine privative de liberté de deux ans, cumulée à une amende de 1'000 fr., pour abus de confiance, tentative de vol, vol, dommages à la propriété, utilisation frauduleuse d'un ordinateur, contrainte, violation de domicile, désagréments causés par la confrontation à un acte d'ordre sexuel, vols d'usage, possession illicite d'armes et consommation de stupéfiants; les sursis accordés précédemment ont alors été révoqués; ledit tribunal a renoncé à expulser l'intéressé de Suisse.
En date du 30 mai 2018, le Conseil d'Etat du canton du Valais (ci-après: le Conseil d'Etat) a confirmé la décision du 21 juillet 2016 du Service de la population.
B.
Par arrêt du 23 novembre 2018, le Tribunal cantonal du canton du Valais (ci-après: le Tribunal cantonal) a rejeté le recours de A._. Il a uniquement examiné la proportionnalité de la décision attaquée et a en substance estimé que le fait que l'intéressé était né en Suisse et qu'il y vivait depuis 24 ans avec sa famille était contrebalancé par les dix condamnations infligées entre 2008 et 2018, dont deux avaient abouti à des peines privatives de liberté de deux et trois ans, sanctionnant des comportements qui avaient enfreint sept domaines du droit pénal. Le Tribunal cantonal a également souligné qu'il n'était pas relevant que le juge pénal ait renoncé à l'expulsion car celui-ci n'avait pu prendre en compte qu'une infime partie des infractions commises par l'intéressé (seul un vol en lien avec une infraction de domicile avait été perpétré après l'entrée en vigueur de la disposition topique) qui étaient retenues dans la décision administrative.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, outre l'assistance judiciaire, d'annuler l'arrêt du 23 novembre 2018 du Tribunal cantonal et de réformer la décision querellée en ce sens qu'il est renoncé à révoquer son autorisation d'établissement et que le renvoi est nul et de nul effet.
Le Conseil d'Etat et le Service de la population concluent au rejet du recours. Le Tribunal cantonal a renoncé à se déterminer.
Par ordonnance du 3 janvier 2019, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif.

Considérant en droit :
1.
1.1. Le recours en matière de droit public, déposé en temps utile (<ref-law>) et en la forme prévue (<ref-law>) à l'encontre d'un arrêt final (<ref-law>) rendu, dans une cause de droit public (<ref-law>), par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF), par l'intéressé qui a la qualité pour recourir (<ref-law>), est recevable.
1.2. En tant que le recourant demande la réforme de la décision du 21 juillet 2016 du Service de la population, sa conclusion est irrecevable, compte tenu de l'effet dévolutif complet du recours auprès de la dernière instance cantonale (<ref-ruling> consid. 1.2 p. 543).
1.3. Le recourant a produit, devant le Tribunal fédéral, des pièces nouvelles, à savoir un contrat de travail du 11 novembre 2018 et un certificat médical du 12 décembre 2018. Le Service de la population a fait de même. Le tribunal de céans ne peut, toutefois, pas tenir compte de faits ou de moyens de preuve survenus postérieurement au prononcé de la décision entreprise, c'est-à-dire de véritables nova (<ref-law>; <ref-ruling> consid. 3.1.2 p. 123).
2.
Le recourant invoque une violation de l'art. 63 al. 3 LEtr (RS 142.20), intitulée, depuis le 1er janvier 2019, loi fédérale sur les étrangers et l'intégration (LEI; RO 2017 6521).
2.1.
2.1.1. La mise en oeuvre de l'art. 121 al. 3 à 6 Cst. relatif au renvoi des étrangers criminels a notamment eu pour conséquence l'introduction de l'art. 63 al. 3 LEI. En vigueur depuis le 1er octobre 2016 (RO 2016 2329), cette nouvelle disposition prévoit qu'est illicite toute révocation de l'autorisation d'établissement fondée uniquement sur des infractions pour lesquelles un juge pénal a déjà prononcé une peine ou une mesure mais a renoncé à prononcer une expulsion.
2.1.2. L'<ref-law>, entré en vigueur à la même date (RO 2016 2329), fixe un catalogue d'infractions (al. 1 let. a à o) qui oblige le juge pénal à expulser, pour une durée de cinq à quinze ans, l'étranger qui est condamné pour l'une d'elles, quelle que soit la quotité de la peine prononcée.
Néanmoins, selon l'<ref-law>, ledit juge peut exceptionnellement renoncer à une expulsion lorsque celle-ci mettrait l'étranger dans une situation personnelle grave et que les intérêts publics à l'expulsion ne l'emportent pas sur l'intérêt privé de l'étranger à demeurer en Suisse; à cet égard, le juge tiendra compte de la situation particulière de l'étranger qui est né ou qui a grandi en Suisse. Cette situation est qualifiée de cas de rigueur ("Härtefall", "caso di rigore").
L'<ref-law> ne s'applique qu'aux infractions commises après le 1er octobre 2016 (arrêt 6B_1043/2017 du 14 août 2018 consid. 3.1.2). Lorsqu'il examine s'il est en présence d'un cas de rigueur, le juge pénal doit procéder à une pesée des intérêts, afin de déterminer lequel de l'intérêt public à l'expulsion ou de l'intérêt privé de l'étranger à rester en Suisse l'emporte. Dans ce cadre, selon la jurisprudence, le juge pénal examine le risque de récidive au regard de l'ensemble du comportement de l'intéressé. A cet effet, il prend en compte les comportements délictueux de l'étranger antérieurs à l'entrée en vigueur de l'<ref-law> (arrêt 6B_651/2018 du 17 octobre 2018 consid. 8.3.3; cf. également arrêt 6B_1043/2017 susmentionné consid. 3.2.2).
2.2. En l'espèce, l'autorité pénale, dans son jugement du 20 février 2018, a constaté que le recourant avait commis des infractions tombant sous le coup de l'<ref-law> et que celui-ci était donc sujet à l'expulsion. Il a ensuite analysé s'il s'agissait d'un cas de rigueur (<ref-law>) et, pour ce faire, il a notamment pris en compte tous les comportements délictueux de l'intéressé, y compris ceux commis avant le 1er octobre 2016. Cela signifie qu'à partir de ce jugement, l'autorité administrative respectivement l'autorité judiciaire administrative n'était plus compétente pour révoquer l'autorisation d'établissement du recourant et prononcer son renvoi de Suisse pour les faits que le juge pénal devait prendre en considération dans son examen du cas de rigueur. Retenir le contraire reviendrait à réintroduire le dualisme entre les autorités pénale et administrative qui existait sous l'ancien droit avec l'expulsion judiciaire, ce que le législateur a précisément voulu éviter (cf. Message du 26 juin 2013 concernant une modification du code pénal et du code pénal militaire [FF 2013 5440 ad art. 62 et 63 LEI]). C'est dans cet esprit que le législateur a prescrit, aux art. 63 al. 3 et 62 al. 2 LEI, que toute révocation fondée uniquement ("nur", "solo motivo") sur des infractions pour lesquelles un juge pénal a déjà prononcé une peine ou une mesure, mais a renoncé à prononcer une expulsion est illicite. En conséquence, lorsque le juge pénal a, dans sa décision le 20 février 2018, décidé de ne pas ordonner l'expulsion judiciaire du recourant, il a procédé à une appréciation d'ensemble du comportement de celui-ci. Partant, le juge administratif n'avait ensuite plus la compétence pour révoquer l'autorisation du recourant sur la base des mêmes éléments d'appréciation. Le fait que le Tribunal cantonal a estimé que c'était à tort que le cas de rigueur avait été retenu par le Tribunal du IIIe arrondissement pour le district de B._ ne l'autorisait donc pas à revoir et corriger cet élément en révoquant l'autorisation d'établissement du recourant, sous peine de réintroduire le dualisme susmentionné.
Cela étant, si un fait nouveau devait survenir après le jugement pénal renonçant à l'expulsion (s'il s'avérait par exemple que le recourant avait menti pour obtenir son autorisation), l'autorité administrative pourrait alors tenir compte du comportement délictueux du recourant pour lequel celui-ci a déjà été condamné, à savoir, en l'espèce, les infractions commises avant le 1er octobre 2016 et celles pour lesquelles le juge pénal a renoncé à l'expulsion lors de la pesée des intérêts.
2.3. Il découle de ce qui précède qu'en révoquant l'autorisation d'établissement du recourant, alors que le Tribunal du IIIe arrondissement pour le district de B._, dans son jugement du 20 février 2018, avait renoncé à l'expulser, les juges précédents ont violé l'art. 63 al. 3 LEI.
3.
Le recours est admis et l'arrêt du 23 novembre 2018 du Tribunal cantonal est annulé.
Succombant dans l'exercice de ses attributions officielles sans que son intérêt patrimonial ne soit en cause, le Service de la population ne peut pas être condamné au paiement des frais de justice (art. 66 al. 1 et 4 LTF). Le recourant, qui obtient gain de cause avec l'assistance d'un avocat, a droit à des dépens à la charge du canton du Valais (art. 68 al. 1 et 2 LTF). La demande d'assistance judiciaire devient ainsi sans objet. Me Richard-Xavier Posse est désigné comme avocat d'office (<ref-law>) et les dépens lui seront directement versés. La cause est renvoyée au Tribunal cantonal, afin qu'il se prononce à nouveau sur les frais et dépens de la procédure qui s'est déroulée devant lui (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis et l'arrêt du 23 novembre 2018 du Tribunal cantonal est annulé.
2.
Il n'est pas perçu de frais judiciaires.
3.
Une indemnité de 3'000 fr., à verser à titre de dépens à Me Richard-Xavier Posse qui est désigné comme avocat d'office du recourant, est mise à la charge du canton du Valais.
4.
La demande d'assistance judiciaire est sans objet.
5.
La cause est renvoyée au Tribunal cantonal, afin qu'il se prononce à nouveau sur les frais et dépens de la procédure qui s'est déroulée devant lui.
6.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et des migrations, au Conseil d'Etat et au Tribunal cantonal du canton du Valais, Cour de droit public, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 18 novembre 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Jolidon