Faits : A. A.a. A._, ressortissant italien, est né en 1973 à B._, dans le canton de Vaud, de parents d'origine italienne, dont il est le fils unique. Il est divorcé et n'a pas d'enfant. Il vit en Suisse depuis sa naissance au bénéfice d'une autorisation d'établissement. A.b. A._ a suivi toute sa formation scolaire et professionnelle dans le canton de Vaud. Il a terminé un apprentissage d'électricien radio-TV en 1994. Après une période sans emploi s'étalant d'août 1994 à février 1998, il a travaillé, durant trois ans, auprès de plusieurs employeurs pour des durées diverses, allant d'un à dix-huit mois. Il a ensuite exercé une activité indépendante entre 2001 et 2002, pour un revenu total de 15'000 fr., avant d'être employé successivement par trois entreprises actives dans le domaine des assurances les deux années suivantes. En 2004, 2008 et 2009, il a fondé trois sociétés à responsabilité limitée dont il est devenu associé-gérant. Ces sociétés, qui avaient toutes pour but le courtage en assurance, ont été déclarées en faillites après quelques années. A partir de 2010, A._ a à nouveau été sans activité lucrative, sauf entre janvier et juillet 2013, période durant laquelle il a travaillé pour deux employeurs différents, à raison de trois mois chacun. A.c. Dans l'intervalle, A._ a été condamné, le 16 mars 2007, par le Juge d'instruction de l'Est vaudois pour diffamation à une peine pécuniaire de dix jours-amende avec sursis, assortie d'un délai d'épreuve de deux ans. Le 6 septembre 2011, il a également été condamné par le Ministère public de l'arrondissement de l'Est vaudois pour délit contre la loi fédérale sur l'assurance-vieillesse et survivants à une peine pécuniaire de 120 jours-amende avec sursis, assortie d'un délai d'épreuve de deux ans. Le 24 mars 2017, le Tribunal correctionnel de la Côte, dans le canton de Vaud, a condamné A._ à une peine privative de liberté de cinq ans et à une amende de 500 fr., en raison de diverses infractions commises entre juillet 2013 et mai 2016 (abus de confiance, brigandage, escroquerie par métier, abus de carte-chèques et de cartes de crédit, abus de cartes-chèques et de cartes de crédit par métier, diminution effective de l'actif au préjudice de créanciers, violation de l'obligation de tenir une comptabilité, blanchiment d'argent, délit contre la loi fédérale sur les armes, délit et contravention à la loi fédérale sur les stupéfiants). Ledit jugement a été confirmé le 25 septembre 2017 par arrêt de la Cour d'appel pénale du Tribunal cantonal de l'Etat de Vaud. A._ a été incarcéré dans différentes prisons de l'Etat de Vaud depuis son arrestation, qui a eu lieu le 2 mai 2016. La fin de la peine a été fixée au 6 mai 2021, mais une libération conditionnelle est possible depuis le 31 août 2019. Le 11 février 2019, le transfert de l'intéressé en secteur ouvert des Etablissements de la plaine de la l'Orbe a été autorisé. B. Par décision du 19 février 2019, le Département de l'économie, de l'innovation et du sport de l'Etat de Vaud (ci-après: le Département cantonal) a révoqué l'autorisation d'établissement du recourant et prononcé son renvoi de Suisse en lui impartissant un "délai immédiat pour quitter la Suisse dès sa libération, conditionnelle ou non". A._ a interjeté recours auprès de la Cour de droit administratif et public du Tribunal cantonal de l'Etat de Vaud (ci-après : le Tribunal cantonal) contre la décision précitée du Département cantonal. Le Tribunal cantonal a rejeté ledit recours par arrêt du 8 juillet 2019. C. Le 9 septembre 2019, A._ (ci-après: le recourant) dépose un recours en matière de droit de public auprès du Tribunal fédéral. Outre l'octroi de l'effet suspensif à son recours et le bénéfice de l'assistance judiciaire, il demande la modification de l'arrêt du Tribunal cantonal du 9 juillet 2019 en ce sens que son autorisation d'établissement ne soit pas révoquée, ni son renvoi de Suisse prononcé. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité intimée pour nouvelle décision dans le sens des considérants, le cas échéant après complément d'instruction. Le Président de la Cour de céans a admis la requête d'effet suspensif. Le Département cantonal et le Service de la population de l'Etat de Vaud ont renoncé à se déterminer sur le recours formulé. Le Tribunal cantonal en a fait de même, renvoyant aux considérants de son arrêt.