Faits :
A.
X._, ressortissant algérien né en 1965, s'est marié le 21 septembre 1992 en Algérie avec A._, une compatriote. Un enfant est né de cette union le 10 août 1997. Leur divorce a été prononcé le 19 septembre 2001 par un tribunal algérien. La garde de l'enfant a été attribuée à sa mère.
Selon ses propres déclarations, X._ est parti en France en 2004 et y a rencontré en 2005 B._, ressortissante suisse née au Maroc en 1963. L'intéressé est ensuite venu en Suisse avec cette dernière le 28 mai 2008 sans visa ni autorisation de séjour.
Lors de la procédure préparatoire du mariage, les fiancés ont dû démontrer que X._ était célibataire. Il a produit à cet effet le jugement de divorce algérien avec l'indication que celui-ci était définitif et exécutoire. Le mariage a finalement été célébré le 15 octobre 2009, à Lausanne. L'intéressé a été mis au bénéfice d'une autorisation de séjour par regroupement familial le 20 mai 2008, qui a été régulièrement renouvelée jusqu'au 14 octobre 2014. Le 15 octobre 2014, il s'est vu octroyer une autorisation d'établissement.
B.
Le 17 décembre 2014, l'Office fédéral des migrations (ODM, devenu Secrétariat d'Etat aux migrations [SEM]) a transmis au Service de la population du canton de Vaud (ci-après: le Service cantonal), comme objet de sa compétence, une lettre de dénonciation datée du 21 novembre 2014, rédigée par un avocat à Alger, expliquant que l'intéressé s'était remarié avec A._ en 2010, malgré son mariage avec une ressortissante suisse. En annexe à cette lettre a été produit un jugement du Tribunal El Harrach d'Alger du 27 mars 2014 qui homologuait le mariage coutumier (fatiha) célébré le 23 avril 2010, entre A._ et X._, sur la base d'une enquête diligentée par le Ministère public au cours de laquelle deux témoins ont attesté avoir assisté audit mariage. Bien que régulièrement cité à comparaître, l'intéressé ne s'est pas présenté à l'audience, le jugement précité du 27 mars 2014 a ainsi été rendu par défaut (<ref-law>).
Le 26 janvier 2016, le Service cantonal a informé l'intéressé qu'il avait l'intention de proposer au Chef du Département de l'économie, de l'innovation et du sport du canton de Vaud (ci-après: le Département) de révoquer son autorisation d'établissement compte tenu des circonstances précitées. Le 15 mars 2016, le Service cantonal a suspendu la procédure de révocation de l'autorisation d'établissement jusqu'à droit connu dans la procédure algérienne d'opposition formée par l'intéressé contre le jugement rendu le 27 mars 2014 par le Tribunal d'El Harrach.
Le 28 avril 2017, l'intéressé a communiqué au Service cantonal que l'opposition qu'il avait formulée contre le jugement susmentionné avait été rejetée le 19 mai 2016 et que l'appel interjeté contre ce dernier jugement avait subi le même sort (arrêt du 17 février 2017). Il précisait avoir déposé un recours en cassation contre l'arrêt précité, en relevant qu'il n'était pas certain qu'il obtienne gain de cause (<ref-law>).
Par décision du 28 août 2017, le Chef du Département a révoqué l'autorisation d'établissement de l'intéressé et prononcé son renvoi de Suisse en lui impartissant un délai de trois mois pour quitter le pays.
Dans un courrier du 12 septembre 2017, le SEM a indiqué à l'intéressé que la naturalisation facilitée lui était refusée au motif que celui-ci était bigame et que cela était contraire à l'ordre public en Suisse.
Par arrêt du 31 juillet 2018, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de X._ interjeté contre la décision du Département du 28 août 2017.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, principalement, la réforme de l'arrêt du Tribunal cantonal du 31 juillet 2018 en ce sens que son autorisation d'établissement soit maintenue; subsidiairement, il conclut à l'annulation de l'arrêt attaqué et le renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants.
Par ordonnance du 20 septembre 2018, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif.
Le Tribunal cantonal renonce à se déterminer sur le recours et se réfère aux considérants de l'arrêt attaqué. Le Département se rallie à la position du Tribunal cantonal. Le SEM ne s'est pas déterminé.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 116).
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il est recevable contre les décisions révoquant, comme en l'espèce, une autorisation d'établissement, parce qu'il existe en principe un droit au maintien de cette autorisation (<ref-ruling> consid. 1.2.1 p. 4). La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF. Partant, la voie du recours en matière de droit public est ouverte.
1.2. Déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre une décision finale (<ref-law>) rendue par une autorité cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>), est recevable.
2.
Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377). La partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées (cf. <ref-law>). A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 5.1 p. 356; <ref-ruling> consid. 6.2 p. 288).
La décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (cf. <ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 4.3 p. 62; <ref-ruling> consid. 2.1 p. 9).
3.
L'objet du litige concerne la révocation de l'autorisation d'établissement du recourant fondée sur l'art. 62 al. 1 let. a de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), en lien avec l'art. 63 al. 1 let. a LEtr, au motif que celui-ci aurait dissimulé aux autorités suisses des faits essentiels lors de la procédure qui l'a conduit à obtenir une autorisation d'établissement, à savoir le mariage coutumier qu'il aurait célébré avec une ressortissante algérienne le 23 avril 2010 et qui a été homologué par un tribunal d'Alger le 27 mars 2014.
4.
Sans remettre en question l'existence du jugement précité du 27 mars 2014, homologuant un mariage coutumier, le recourant fait en substance valoir qu'il n'a été mis au courant de ce mariage qu'à la lecture du courrier du Service cantonal du 26 janvier 2016 l'informant qu'une révocation de son autorisation d'établissement était envisagée. Il prétend que ce mariage résulterait d'une machination de son ex-épouse. Dans ce cadre, il se plaint d'arbitraire dans l'établissement des faits, alléguant qu'ils ont été constatés de manière incomplète et inexacte.
4.1. Le recourant reproche au Tribunal cantonal d'avoir retenu que les persécutions dont il aurait fait l'objet par son ex-épouse n'étaient pas établies, alors qu'il avait déposé diverses pièces allant dans ce sens (annonce de son agression par son ex-belle famille à l'ambassade de Suisse à Alger le 24 juillet 2010, demande de confidentialité des données du 22 juillet 2011 adressée à sa commune de domicile et dépôt d'une plainte pour fausses déclarations et faux témoignages dirigée contre son ex-épouse et les deux témoins qui ont attesté de son mariage coutumier). Il estime en outre que les juges cantonaux n'ont à tort pas pris en compte la dénonciation d'août 2013, qui aurait été déposée par son ex-épouse, auprès du Service cantonal et qui indiquait qu'il avait épousé sa femme suissesse alors qu'il était encore marié avec cette première. Un tel écrit démontrait selon lui les démarches malveillantes et contradictoires effectuées par son ex-épouse.
En l'occurrence, le recourant n'indique pas en quoi les persécutions dont il prétend avoir fait l'objet seraient à même d'influencer le sort de la cause. Il faut en effet relever que la question litigieuse porte sur le point de savoir si le recourant savait qu'il était marié en Algérie lors de la délivrance de son autorisation d'établissement, ce qu'a retenu le Tribunal cantonal, et non si le mariage en cause était voulu par l'intéressé ou si celui-ci résultait d'une manoeuvre de son ex-épouse destinée à lui nuire. C'est d'ailleurs ce qu'indiquent les juges cantonaux lorsqu'ils retiennent que le recourant avait connaissance de ce mariage et que "même s'il fallait admettre que [celui-ci] n'[avait] pas consenti à cette union, il aurait dû en faire part aux autorités suisses".
Ce qui précède s'applique également aux questions relatives au caractère effectivement vécu de la bigamie et, dans ce cadre, au nombre de séjours passés par le recourant dans son pays d'origine. De tels éléments ne sont pas déterminants pour l'issue du litige. Il en va de même de la procédure de divorce engagée par le recourant en Algérie, ainsi que du courrier du 24 juillet 2010, que celui-ci aurait adressé à l'Ambassade de Suisse à Alger et dans lequel il aurait précisé avoir été agressé par des membres de son ex-belle-famille. En effet, ces éléments ne s'opposent ni à l'existence d'un mariage coutumier, célébré en avril 2010 et homologué en mars 2014, ni à la connaissance de ces faits par le recourant lors de la procédure d'octroi d'autorisation d'établissement.
Par ailleurs, les juges cantonaux n'ont pas versé dans l'arbitraire en ne donnant pas un poids significatif à la dénonciation de son ex-épouse d'août 2013, dans la mesure où celle-ci n'était ni datée, ni signée. En outre, cette dénonciation n'ayant à l'époque, de façon regrettable, pas été communiquée au recourant, ce dernier ne pouvait pas partir de l'idée que son mariage en Algérie était connu des autorités suisses. Au demeurant, cette dénonciation anonyme ne faisait pas état d'un nouveau mariage en avril 2010, mais d'un " acte de divorce fabriqué ". Cette dernière allégation ne suffisait pas à remettre en question le jugement de divorce du 19 septembre 2001, déjà communiqué aux autorités suisses dans le cadre de la procédure de préparation au mariage avec une Suissesse. Dans ces circonstances, on ne peut pas retenir, comme le laisse entendre le recourant, que le Service cantonal avait connaissance de sa bigamie lors de l'octroi de son autorisation d'établissement.
4.2. Le recourant fait également valoir que le Tribunal cantonal a indiqué à tort qu'il avait déposé sa demande de naturalisation facilitée le 14 juillet 2017, alors qu'une telle demande avait été, selon lui, formulée en août 2015, comme l'attestait le courrier du SEM du 19 août 2015, joint à son recours, qui accusait réception d'une demande de naturalisation de la part du recourant.
Les juges cantonaux ont retenu que "l'ensemble du dossier laisse présager que le recourant s'est dépêché d'atteindre son objectif, celui de pouvoir résider durablement en Suisse. Il s'est marié, et a obtenu son autorisation de séjour, puis son autorisation d'établissement et a demandé sa naturalisation au plus vite. Il a requis la nationalité suisse le 14 juillet 2017 alors qu'il savait qu'il risquait de perdre son autorisation d'établissement, le [Service cantonal] l'ayant averti de ses intentions le 16 janvier 2016."
En l'occurrence, le document du SEM du 19 août 2015 produit par le recourant, bien que nouveau, est recevable, puisque la question du moment du dépôt de la demande de naturalisation ne s'est posée qu'à la lecture de l'arrêt attaqué. Cette pièce nouvelle résultait donc de la décision de l'autorité précédente (<ref-law>). Cela étant, on ne voit pas en quoi le moment d'un tel dépôt serait déterminant pour l'issue du litige qui ne concerne que la révocation de l'autorisation d'établissement et le recourant ne l'explique pas. Au demeurant, la formulation de la demande en août 2015, plutôt qu'en juillet 2017, comme semble l'avoir mentionné à tort le Tribunal cantonal, ne fait que renforcer la thèse de l'autorité précédente selon laquelle le recourant aurait cherché à obtenir au plus vite le droit de résider durablement en Suisse.
4.3. Le recourant fait également valoir que les juges cantonaux ont considéré à tort qu'il devait être au courant de la procédure en homologation du jugement coutumier, puisqu'il avait conservé une adresse en Algérie et qu'il aurait dû être informé par ses proches de la citation à comparaître effectuée par voie d'affichage. Il fait valoir sur ce point que, depuis la mort de sa grand-mère en 2003, il n'y a plus aucun membre de sa famille qui vit à l'adresse précitée et qu'aucun de ses proches n'habitait dans la région où l'affichage a été effectué.
Le Tribunal cantonal a retenu que "tous les jugements indiquent une adresse du recourant en Algérie, adresse qu'il a lui-même utilisée dans le cadre des différentes procédures qu'il a introduites. Cette adresse doit ainsi être considérée comme étant active. L'intéressé a certes été cité à comparaître à son procès en homologation de son mariage par voie d'affichage; il aurait toutefois dû en être informé par ses proches, à qui il a notamment rendu visite en 2010 selon ses propres allégations".
En l'espèce, il ressort des faits de l'arrêt entrepris et du dossier cantonal que le recourant a indiqué l'adresse à Alger, qui selon lui était celle de sa grand-mère, comme étant l'adresse à laquelle il résidait sur les documents suivants fournis aux autorités algériennes: la plainte adressée au Procureur de la République le 2 février 2016, l'opposition formée le 4 février 2016 à l'encontre du jugement du 27 mars 2014, ainsi que la requête d'appel déposée le 7 août 2016. Sur la requête de divorce du 7 septembre 2017 formulée par le recourant était indiquée son adresse en Suisse, avec l'indication qu'il " élisait domicile en la demeure de sa grand-mère ", à savoir à l'adresse à Alger mentionnée dans les documents précités (<ref-law>). Les décisions des autorités algériennes des 27 mars 2014, 19 mai 2016 et 7 février 2017 mentionnaient également cette adresse. Dans son recours, l'intéressé n'explique pas pourquoi l'adresse de sa grand-mère a encore été transmise aux autorités algériennes jusqu'en septembre 2017 sur des documents en son nom. Sur le vu de ces éléments, le recourant ne convainc pas lorsqu'il laisse entendre que l'adresse en cause était inactive, en ce qui le concerne, depuis le décès de sa grand-mère en 2003. Le Tribunal cantonal pouvait ainsi de façon soutenable considérer que l'adresse du recourant en Algérie était encore active au moment de la procédure d'homologation du mariage coutumier en 2014. Il ne ressort pas des faits de l'arrêt entrepris que le Tribunal d'El Harrach savait à cette époque que le recourant résidait en Suisse, ni qu'il n'aurait communiqué avec celui-ci que par voie de publication (celle-ci n'étant mentionnée que pour la citation à comparaître). On peine donc à croire le recourant lorsqu'il affirme qu'il n'avait pas connaissance de la procédure en homologation engagée par sa première épouse. En outre, il ne ressort pas des faits de l'arrêt entrepris que le recourant se rendait régulièrement à Alger. L'existence d'une adresse active impliquait donc qu'une personne dans cette ville soit en mesure de relever le courrier pour l'intéressé. Il n'est donc pas non plus insoutenable de retenir, comme l'a fait le Tribunal cantonal, que des proches du recourant dans cette ville étaient également capables de prendre connaissance des éventuelles communications par voie d'affichage.
Dès lors, quel que soit le mode de notification choisi par les autorités algériennes (publication ou envoi postal à l'adresse donnée par l'intéressé à Alger), le Tribunal cantonal pouvait sans arbitraire retenir que le recourant a eu connaissance du jugement d'homologation du 27 mars 2014 avant l'octroi de son autorisation d'établissement en octobre 2014.
4.4. Le recourant critique encore le Tribunal cantonal lorsqu'il souligne que le dossier comporte des lacunes et certaines contradictions, en particulier concernant la date à laquelle il a quitté son pays d'origine.
Nonobstant le caractère appellatoire de l'argumentation du recourant sur ce point, il faut relever que malgré la présence de zones d'ombre, que les juges cantonaux ont d'ailleurs eux-mêmes relevée (consid. 4a et 4c), ils disposaient d'indices suffisants pour statuer et leur appréciation échappe à l'arbitraire.
4.5. Le grief tiré d'un établissement arbitraire des faits est dès lors mal fondé.
5.
Le recourant invoque également une violation de son droit d'être entendu, en faisant valoir qu'il a requis l'audition de témoins, notamment de son épouse et que celles-ci lui ont été refusées.
Indépendamment de la question de la motivation suffisante de ce grief, il faut reconnaître que le Tribunal cantonal pouvait sans arbitraire, à la suite d'une appréciation anticipée des preuves, ne pas donner suite aux demandes du recourant. En effet, on ne voit pas ce que l'audition de témoins, en particulier celle de l'épouse suisse de l'intéressé - seul témoin désigné dans le recours -, aurait pu apporter de plus à l'établissement des faits concernant la connaissance qu'avait le recourant du mariage coutumier, lors de la procédure d'autorisation d'établissement. Le recourant ne l'explique pas.
6.
Pour les étrangers qui, comme en l'espèce, séjournent légalement en Suisse depuis moins de quinze ans, l'art. 63 al. 1 let. a LEtr prévoit que l'autorisation d'établissement peut notamment être révoquée aux conditions de l'art. 62 al. 1 let. a LEtr, à savoir si l'étranger ou son représentant légal a fait de fausses déclarations ou a dissimulé des faits essentiels durant la procédure d'autorisation (art. 62 al. 1 let. a LEtr).
En l'occurrence, il ressort des faits retenus, non arbitrairement, par le Tribunal cantonal que le recourant savait qu'il était marié en Algérie lors de la délivrance de son autorisation d'établissement et qu'il a tu ce fait aux autorités helvétiques. Or, la bigamie est considérée comme étant contraire à l'ordre public suisse, même lorsqu'elle n'est pas sanctionnée pénalement (cf. <ref-law>; RS 311.0), en cas de mariage coutumier par exemple (arrêts 2C_465/2007 du 25 janvier 2008 consid. 4.2; 2C_702/2007 du 22 janvier 2008 consid. 5.2; tous deux, rendus sous l'empire de l'aLSEE). Il s'agit à l'évidence d'un fait essentiel au sens de l'art. 62 al. 1 let. a LEtr qui devait être communiqué aux autorités (cf. <ref-ruling> consid. 3.2 p. 267; arrêt 2C_702/2007 du 22 janvier 2008 consid. 5.2), ce qui, par ailleurs, n'empêchait pas le recourant de faire valoir ses arguments concernant les éventuels vices affectant le mariage en question.
Au demeurant, la polygamie est semble-t-il autorisée, à certaine condition, en Algérie. Le recourant n'allègue pas le contraire et les tribunaux algériens ont confirmé l'homologation du mariage coutumier du 23 avril 2010, alors que l'intéressé ne leur avait pas caché qu'il était déjà marié à une Suissesse (cf. notamment, opposition au jugement d'homologation du 27 mars 2014 et plainte du 4 février 2016; <ref-law>). On ne peut donc pas retenir que le mariage coutumier célébré le 23 avril 2010 était nul, car contraire à l'ordre public algérien, et que, partant, celui-ci n'avait pas à être annoncé par le recourant.
Le motif de révocation de l'art. 63 al. 1 let. a LEtr, en lien avec l'art. 62 al. 1 let. a LEtr, est partant donné.
7.
Le recourant invoque une violation du principe de la proportionnalité, en faisant valoir en particulier qu'il est principalement un homme au foyer et que cela ne signifie pas qu'il ne serait pas très bien intégré en Suisse.
7.1. La révocation d'une autorisation d'établissement ne se justifie que si la pesée globale des intérêts à effectuer fait apparaître la mesure comme proportionnée (cf. <ref-ruling> consid. 2.2.1 p. 19). L'examen de la proportionnalité, sous l'angle de l'art. 8 par. 2 CEDH, invoqué par le recourant, se confond avec celui imposé par l'art. 96 al. 1 LEtr (arrêt 2C_89/2018 du 16 août 2018 consid. 5.1 et les références citées), étant précisé que le recourant peut se prévaloir de l'art. 8 CEDH sous l'angle de la protection de la vie familiale, compte tenu de la relation avec son épouse, de nationalité suisse (cf. <ref-ruling> consid. 5.2.1 p. 180).
Lors de l'examen de la proportionnalité, il y a lieu de prendre en considération la gravité de l'éventuelle faute commise par l'étranger, la durée de son séjour en Suisse, son degré d'intégration, ainsi que le préjudice que l'intéressé et sa famille auraient à subir du fait de la mesure et les liens qu'il entretient encore avec son pays d'origine (<ref-ruling> consid. 2.2.1 p. 19; <ref-ruling> consid. 4.3 p. 381 s.).
7.2. En l'occurrence, la pesée globale des intérêts à laquelle a procédé le Tribunal cantonal ne prête pas le flanc à la critique. Il a pris en compte l'âge du recourant (53 ans) la durée de son séjour en Suisse (environ dix ans), son faible degré d'intégration et le manque d'attache particulière dans ce pays (pas d'activité professionnelle, ni de participation à la vie sociale et culturelle). Le choix d'être essentiellement homme au foyer et le fait de ne pas avoir été condamné pénalement ni d'émarger à l'aide social ne suffisent pas à retenir une bonne intégration. Les juges cantonaux ont également retenu qu'un retour en Algérie ne posera pas de problèmes insurmontables au recourant, celui-ci ayant passé la majeure partie de sa vie dans ce pays, dont il connaît la culture et la langue et où se trouve encore son fils. Sans négliger le fait que l'on ne pouvait pas attendre de son épouse suisse qu'elle le suive en Algérie, ils ont considéré à juste titre que son éloignement ne s'opposera pas au maintien de contacts étroits et réguliers. Au vu de ces éléments, l'autorité précédente pouvait retenir sans violer le droit fédéral que l'intérêt public à la révocation de l'autorisation d'établissement du recourant et son renvoi de Suisse était prépondérant.
8.
Les considérants qui précèdent conduisent au rejet du recours. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il ne sera pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué à la mandataire du recourant, au Département de l'économie, de l'innovation et du sport du canton de Vaud (DEIS) Secrétariat général, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et au Secrétariat d'Etat aux migrations.
Lausanne, le 17 décembre 2018
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : de Chambrier