Faits : A. A.a. A._, ressortissant croate né en 1974 en Bosnie-Herzégovine, est arrivé dans le canton de Fribourg en janvier 1992. En raison de son mariage avec une ressortissante suisse en mars 1994, il a obtenu une autorisation de séjour, avant de recevoir une autorisation d'établissement quelques années plus tard. Lui et son épouse ont divorcé le 22 novembre 2001. Durant la période susmentionnée, A._ a été condamné plusieurs fois : le 9 février 1999 à deux mois d'emprisonnement pour abus de confiance et vol, le 10 juin 1999 à dix jours d'emprisonnement et 300 fr. d'amende, avec sursis, pour abus de confiance et insoumission et le 1 er octobre 2001, par jugement par défaut, à neuf mois d'emprisonnement pour abus de confiance, vol, dommages à la propriété, escroquerie, obtention frauduleuse d'une prestation et tentative de contrainte. Le dernier jugement révoquait le précédent sursis accordé le 10 juin 1999 et prononçait l'expulsion de l'intéressé pour une durée de cinq ans avec sursis pendant trois ans. A.b. Par la suite, après avoir bénéficié d'une libération conditionnelle le 29 mai 2002 avec délai d'épreuve de deux ans, A._ s'est installé dans le canton de Vaud. En décembre 2005, il s'est marié avec une ressortissante marocaine, avant de divorcer en février 2010. Dans l'intervalle, A._ s'est vu infliger, par jugement du 13 février 2007, une peine pécuniaire de dix-jours-amende, avec sursis, ainsi qu'une amende de 800 fr. pour conduite d'un véhicule automobile sans permis et en incapacité de conduire. A.c. En 2011, il a épousé une ressortissante du Monténégro qui l'a rejoint en Suisse. Une fille et un garçon sont nés de cette union, respectivement en 2013 et 2015. Le couple s'est séparé en décembre 2016. Dans l'intervalle, par jugement du 31 mai 2011, A._ a été condamné à une peine pécuniaire de 30 jours-amende avec sursis, assorti d'un délai d'épreuve de cinq ans. Il s'est également vu infliger une peine de 180 jours-amende, avec sursis et délai d'épreuve de cinq ans, pour abus de confiance, vol, escroquerie et utilisation frauduleuse d'un ordinateur par jugement du 6 septembre 2012. Il a enfin été condamné par ordonnance pénale du 7 septembre 2012 à un travail d'intérêt général de 320 heures, avec sursis, et à une amende de 800 fr. pour conduite en état d'ébriété, opposition ou dérobade aux mesures visant à déterminer l'incapacité de conduire et conduite d'un véhicule sans permis de conduire. A.d. Par jugement du 1 er septembre 2017, le Tribunal correctionnel de la Broye et du Nord vaudois a condamné A._ à une peine privative de liberté de 42 mois, sous déduction de 157 jours de détention provisoire, pour lésions corporelles simples, abus de confiance, escroquerie par métier, obtention frauduleuse d'une prestation de peu d'importance, recel, injure et menaces. Il a également révoqué les sursis accordés par les précédents jugements du 31 mai 2011 et du 6 septembre 2012. Les infractions pour lesquelles l'intéressé a été condamné avaient été commises entre le 1 er janvier 2011 et le 31 décembre 2016. A._ a retiré l'appel qu'il avait déposé auprès de la Cour d'appel pénale du Tribunal cantonal contre le jugement du 1 er septembre 2017. Dès lors, l'appel joint du Ministère public de l'arrondissement du Nord vaudois, concluant au rejet de l'appel du prévenu et à ce que ce dernier soit condamné à une peine privative de liberté de quatre ans, a été déclaré caduc (cf. art. 105 al. 2 LTF). B. Par décision du 9 avril 2019, le Département de l'économie, de l'innovation et du sport de l'Etat de Vaud (ci-après: le Département cantonal) a révoqué l'autorisation d'établissement de A._. Il a prononcé son renvoi de Suisse en lui ordonnant de quitter immédiatement le pays dès sa libération, conditionnelle ou non. Il a retenu que l'intéressé avait été condamné à une peine privative de liberté de 42 mois, laquelle constituait un motif de révocation de son autorisation d'établissement. Il a en outre relevé que les agissements délictueux ayant donné lieu à ladite condamnation représentaient une atteinte très grave à la sécurité et à l'ordre publics qui justifiait également la révocation de l'autorisation d'établissement en question. La décision fait au surplus état des condamnations pénales prononcées à l'encontre de l'intéressé dès 2007. Statuant sur recours de A._, la Cour de droit administratif et public du Tribunal cantonal de l'Etat de Vaud a, par arrêt du 10 juillet 2019, annulé la décision du Département cantonal précitée. C. Par mémoire daté du 11 septembre 2019, le Secrétariat d'Etat aux migrations a déposé, le 6 septembre 2019, un recours en matière de droit public auprès du Tribunal fédéral. Il conclut à l'annulation de l'arrêt du Tribunal cantonal du 10 juillet 2019 et demande le renvoi de la cause à cette autorité pour qu'elle statue sur le bien-fondé de la décision du Département cantonal du 9 avril 2019 révoquant l'autorisation d'établissement de A._. Appelé à se prononcer, le Service de la population de l'Etat de Vaud conclut à l'admission du recours, se ralliant à son argumentation, ainsi qu'à ses conclusions. Le Tribunal cantonal a déposé de brèves observations sur le recours, à l'instar de A._ (ci-après : l'intimé), qui a conclu à son rejet en date du 20 janvier 2020, après avoir obtenu le bénéfice de l'assistance judiciaire par ordonnance présidentielle du 2 décembre 2019. Le SEM a répliqué.