Faits : A. A._, ressortissant kosovar né en 1986, est arrivé en Suisse le 28 février 1993. Il y a rejoint son père, sa soeur et ses frères, installés dans le pays depuis 1986. Il a été mis au bénéfice d'une autorisation d'établissement. Il a obtenu un CFC de carrossier en 2008 et travaille depuis cette année-là pour la même entreprise en tant que tôlier en carrosserie. Il vit actuellement à B._, en Valais, avec sa seconde épouse, née en Macédoine, mais de nationalité suisse, avec qui il s'est marié le 28 septembre 2017 au Kosovo. Dans l'intervalle, le 2 juin 2000, A._ a été condamné par le Tribunal des mineurs de Sion à deux journées de travail d'intérêt général pour vol d'usage d'un véhicule et conduite de ce dernier sans permis et avant l'âge requis. Le 4 mars 2004, il a à nouveau été condamné par ce même tribunal à une peine de détention de quatorze jours, avec sursis pendant un an, pour complicité de délit manqué de viol et exhibitionnisme. A la suite de ces condamnations, le Service de la population et des migrations du Canton du Valais (ci-après : le Service cantonal) lui a adressé, le 21 mars 2005, un avertissement, attirant son attention sur le fait que de nouvelles condamnations pénales pourraient justifier la révocation de son autorisation d'établissement. Le 9 janvier 2008 ainsi que le 15 décembre 2009, l'Office du Juge d'instruction du Valais central a condamné A._ à des peines de vingt et dix jours-amende avec sursis, toutes deux assorties d'une amende de 300 fr., pour violation grave des règles de la circulation routière, respectivement pour dommages à la propriété. Par jugement du 20 avril 2015, le Tribunal du II ème arrondissement pour les districts d'Hérens et de Conthey a condamné A._ à une peine privative de liberté de quatre ans pour mise en danger de la vie d'autrui, viol, contrainte sexuelle, lésions corporelles simples, contrainte et dommages à la propriété, tous commis le 14 février 2010. À la suite d'un appel déposé par l'intéressé, le Tribunal cantonal du Canton du Valais a, en date du 30 juin 2016, réformé le jugement précité en ce sens qu'il a reconnu A._ coupable de tentative de viol au lieu de viol, réduit sa condamnation à trois ans de peine privative de liberté, dont vingt-quatre mois avec sursis assorti d'un délai d'épreuve de deux ans, et confirmé pour le reste le jugement attaqué. Le Tribunal fédéral a rejeté un recours successif formé contre cet arrêt en date du 16 août 2017 (cause 6B_1185/2016). B. Par décision du 22 janvier 2018, le Service cantonal a révoqué l'autorisation d'établissement de A._ et prononcé son renvoi de Suisse, l'invitant à quitter le pays au 1 er mars 2018. A._ a formé recours contre la décision du Service cantonal auprès du Conseil d'Etat du Canton du Valais. Celui-ci a rejeté ledit recours et confirmé la décision attaquée en date du 20 mars 2019. Par arrêt du 19 décembre 2019, la Cour de droit public du Tribunal cantonal du Canton du Valais (ci-après : le Tribunal cantonal) a rejeté le recours déposé successivement par l'intéressé contre la décision du Conseil d'Etat du 20 mars 2019. C. Par mémoire du 27 janvier 2020, A._ (ci-après : le recourant) dépose un recours en matière de droit public au Tribunal fédéral contre l'arrêt précité. Outre l'octroi de l'effet suspensif à son recours, il demande la réforme de l'arrêt attaqué en ce sens que son autorisation d'établissement ne soit pas révoquée, mais prolongée, et qu'il ne soit pas renvoyé de Suisse. Il conclut, à titre subsidiaire, à l'annulation de l'arrêt querellé et au renvoi de l'affaire au Tribunal cantonal pour nouvelle décision dans le sens des considérants. Par ordonnance du 28 janvier 2020, le Président de la Cour de céans a octroyé l'effet suspensif au recours. Le Tribunal cantonal a renoncé à se déterminer sur le recours. Il en va de même du Conseil d'Etat valaisan et du Service cantonal qui ont renoncé à déposer des observations sur celui-ci, tout en concluant à son rejet.