Faits :
A.
A._, ressortissant sri lankais né en 1968, est entré en Suisse le 13 novembre 1988 pour y demander l'asile. Cette demande a été rejetée le 30 octobre 1996, mais l'intéressé a été admis provisoirement en Suisse en raison de l'impossibilité d'exécuter son renvoi au Sri Lanka. Le 11 octobre 1996, A._, qui a travaillé dans la restauration, a épousé une compatriote, née en 1970, avec laquelle il a eu trois enfants, nés en 1997, 1998 et 2001. Les membres de la famille ont été mis au bénéfice d'autorisations de séjour, puis d'établissement. Le couple s'est séparé au mois de novembre 2013.
Durant son séjour en Suisse, A._ a fait l'objet de deux condamnations pénales. Le 27 octobre 2006, il a été condamné à une peine privative de liberté de dix jours pour conduite en état d'ébriété. Le 13 juin 2016, une peine privative de liberté de 34 mois pour voies de fait qualifiées, lésions corporelles simples qualifiées, injures, menaces qualifiées et viol a été prononcée à son encontre avec un sursis de cinq ans, celui-ci ayant été subordonné à une règle de conduite consistant en un traitement ambulatoire contre les addictions, assorti d'un contrôle de l'abstinence. A._ a été détenu du 20 juin 2017 au 20 novembre 2018.
B.
Par décision du 18 mai 2018, le Département de l'économie, de l'innovation et du sport du canton de Vaud (ci-après: le Département) a révoqué l'autorisation d'établissement de A._. Celui-ci a contesté ce prononcé le 21 juin 2018 auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal). Par arrêt du 22 mars 2019, le Tribunal cantonal a admis le recours de A._, prononçant un avertissement formel à l'encontre de celui-ci.
C.
Agissant par la voie du recours en matière de droit public, le Secrétariat d'Etat aux migrations demande au Tribunal fédéral d'annuler l'arrêt du Tribunal cantonal du 22 mars 2019 et de confirmer la décision du Département du 18 mai 2018 révoquant l'autorisation d'établissement de A._.
Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de son arrêt. A._, outre l'assistance judiciaire, conclut au rejet du recours sous suite de frais et dépens. Le Département ne s'est pas déterminé.

Considérant en droit :
1.
1.1. En vertu de l'art. 14 al. 2 de l'ordonnance du 17 novembre 1999 sur l'organisation du Département fédéral de justice et police (Org DFJP; RS 172.213.1), le Secrétariat d'Etat a qualité pour recourir devant le Tribunal fédéral (<ref-law>), dans le domaine du droit des étrangers, contre des décisions cantonales de dernière instance. Infirmant la révocation de l'autorisation d'établissement de l'intimé, l'arrêt entrepris peut faire l'objet d'un recours en matière de droit public, dès lors qu'il existe potentiellement un droit, du point de vue de l'étranger intimé, au maintien de cette autorisation (<ref-ruling> consid. 1.2.1 p. 4) et que le Secrétariat d'Etat peut contester l'arrêt cantonal qui reconnaît l'existence d'un tel droit (cf. <ref-ruling> consid. 4.4.4 p. 178 et les références). La présente cause ne tombe ainsi pas sous le coup de l'art. 83 let. c ch. 2 LTF, ni d'aucune autre clause d'irrecevabilité figurant à l'<ref-law>.
1.2. Au surplus, le recours est dirigé contre une décision finale (<ref-law>) rendue dans une cause de droit public (<ref-law>) par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF). Déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, le recours est en principe recevable.
2.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
3.
3.1. Dans l'arrêt entrepris, le Tribunal cantonal a retenu que l'intimé avait été condamné à une peine privative de liberté de longue durée, justifiant la révocation de son autorisation d'établissement. Procédant ensuite à un examen de la proportionnalité de la mesure de révocation, cette autorité a considéré qu'un intérêt public important commandait le refoulement de l'intimé, dans la mesure où celui-ci avait été condamné pour des infractions commises à l'encontre de biens particulièrement importants. Le Tribunal cantonal a mis en balance cet intérêt public avec l'intérêt privé de l'intimé, prenant en particulier en compte les circonstances dans lesquelles celui-ci avait agi. Ainsi, en considérant que l'intimé était issu de la migration, que son mariage était arrangé, qu'il était dépendant à l'alcool, qu'il suivait une thérapie, que son comportement en prison n'avait suscité aucune plainte, qu'il était en Suisse depuis 30 ans, y présentait une bonne intégration et y avait presque constamment travaillé, l'autorité précédente a jugé que l'intérêt privé de l'intimé devait l'emporter sur l'intérêt public. Pour arriver à cette conclusion, elle a également relevé que la réintégration dans le pays d'origine serait très difficile et que l'intimé semblait avoir gardé des liens avec son fils cadet en Suisse.
3.2. Le recourant se plaint notamment d'une violation des art. 96 LEI (RS 142.20, respectivement dans sa version en vigueur avant le 1 er janvier 2019 [RO 2007 5437; ci-après LEtr]; cf. art. 126 LEI) et 8 CEDH. Reconnaissant avec l'autorité précédente que la condamnation à 34 mois de peine privative de liberté constitue un motif de révocation de l'autorisation d'établissement (art. 62 al. 1 let. b LEI, par renvoi de l'art. 63 al. 1 let. a LEI), le recourant est en revanche d'avis que le Tribunal cantonal a procédé à un examen de la proportionnalité qui n'est pas conforme au droit fédéral et international. Il rappelle à ce propos l'importante peine prononcée à l'encontre de l'intimé et y oppose les divers éléments retenus par l'autorité précédente en faveur de celui-ci, qu'il considère comme n'étant pas exceptionnels. S'il reconnaît que l'intimé vit en Suisse depuis 30 ans, il constate que, durant cette période, celui-ci n'a pas assimilé les valeurs de ce pays. Le recourant est également d'avis que les problèmes d'alcool de l'intimé ne sont pas une excuse, dans la mesure où celui-ci avait déjà été condamné en lien avec cette addiction par le passé et que sa prétendue prise de conscience est ainsi à tout le moins tardive. Finalement, le recourant mentionne encore une intégration qu'il considère comme étant faible et constate que l'intimé n'a pratiquement plus d'attaches familiales en Suisse.
3.3. Dans sa prise de position, l'intimé ne conteste pas la gravité de sa faute, mais la relativise en raison du contexte dans lequel les infractions ont été commises. Il relève à ce propos qu'il ne représente pas un danger pour la société, mais qu'il était un " époux ayant commis de graves erreurs et infractions à l'encontre de son épouse, dans un contexte d'importantes difficultés conjugales couplées avec une consommation problématique de consommation d'alcool chronique " (sic). Il affirme à ce propos ne jamais s'en être pris à l'intégrité physique ou sexuelle d'une femme autre que son épouse. L'intimé mentionne en outre, comme élément permettant selon lui de relativiser sa faute, le fait qu'il est issu de l'immigration, c'est-à-dire d'une autre culture. Il constate par ailleurs que la peine prononcée pour un viol se trouve au bas de l'échelle pour ce genre d'infractions. Il se targue finalement d'une prise de conscience quant à son addiction et du fait qu'il ne consomme plus d'alcool et suit une thérapie.
3.4. Le litige porte donc sur le point de savoir si c'est à bon droit que le Tribunal cantonal a retenu que la révocation de l'autorisation d'établissement de l'intimé constituait une mesure disproportionnée et, partant, annulé la décision du Département.
4.
Le Tribunal cantonal a correctement présenté le droit applicable (art. 62 al. 1 let. b par renvoi de l'art. 63 al. 2, 96 al. 1 LEtr et 8 CEDH) et la jurisprudence topique, relative notamment à la peine privative de liberté de longue durée (<ref-ruling> consid. 2.1 p. 147), de sorte qu'il y est renvoyé.
5.
En ayant été condamné à 34 mois de peine privative de liberté, l'intimé réunit les conditions de la peine privative de liberté de longue durée de l'art. 62 al. 1 let. b, par renvoi de l'art. 63 al. 2 LEtr, permettant la révocation de son autorisation d'établissement. L'intimé ne le conteste d'ailleurs pas.
6.
Seule se pose en définitive la question de savoir si la mesure de révocation de l'autorisation d'établissement prononcée par le Département et infirmée, sur recours, par le Tribunal cantonal respecte le principe de proportionnalité prévu par l'art. 96 al. 1 LEtr. On mentionnera à ce propos que l'examen de la proportionnalité de la mesure sous l'angle de l'art. 96 al. 1 LEtr se confond avec celui effectué sous l'angle de l'art. 8 par. 2 CEDH (arrêt 2C_754/2018 du 28 janvier 2019 consid. 6.1 et les références).
6.1. De jurisprudence constante, la question de la proportionnalité d'une révocation d'autorisation doit être tranchée au regard de toutes les circonstances du cas d'espèce, les critères déterminants se rapportant notamment en cas de condamnation pénale à la gravité de l'infraction, à la culpabilité de l'auteur, au temps écoulé depuis l'infraction, au comportement de celui-ci pendant cette période, au degré de son intégration et à la durée de son séjour antérieur, ainsi qu'aux inconvénients qui le menacent, lui et sa famille, en cas de révocation (cf. <ref-ruling> consid. 2.3.3 p. 34 ss; <ref-ruling> consid. 4.3 p. 381 s.; arrêt 2C_16/2018 du 31 janvier 2019 consid. 3.3). Lorsque la mesure de révocation est prononcée en raison de la commission d'une infraction, la peine infligée par le juge pénal est le premier critère à utiliser pour évaluer la gravité de la faute et pour procéder à la pesée des intérêts (cf. <ref-ruling> consid. 2.2.1 p. 19 s. et les références). La durée de séjour en Suisse d'un étranger constitue un autre critère très important. Plus cette durée est longue, plus les conditions pour prononcer l'expulsion administrative doivent être appréciées restrictivement (cf. arrêt 2C_970/2017 du 7 mars 2018 consid. 4.1 et les références). La révocation de l'autorisation d'établissement d'un étranger qui séjourne depuis sa petite enfance en Suisse doit se faire avec une retenue particulière, mais n'est pas exclue en cas d'infractions très graves, en particulier en cas de violence, de délits sexuels, de graves infractions à la loi fédérale sur les stupéfiants, ou en cas de récidive, même dans le cas d'un étranger né en Suisse et qui y a passé l'entier de sa vie (cf. arrêts 2C_308/2017 du 21 février 2018 consid. 4.3 et les références). On tiendra alors particulièrement compte de l'intensité des liens de l'étranger avec la Suisse et des difficultés de réintégration dans son pays d'origine (arrêts 2C_970/2017 du 7 mars 2018 consid. 4.1et les références).
6.2. Le 13 juin 2016, l'intimé a été condamné à une peine privative de liberté de 34 mois pour diverses infractions contre l'intégrité sexuelle et physique. Selon les faits qui ressortent de l'arrêt entrepris, il s'en est pris physiquement à son épouse à raison d'une fois par semaine en moyenne, du mois d'octobre 2012 au mois de septembre 2013, devant leurs enfants, allant même à une reprise, le 28 septembre 2013, jusqu'à la blesser à la bouche, avant de la saisir par le cou. En outre, à compter de l'année 2012 jusqu'au 11 septembre 2013, il a forcé son épouse, à quinze ou vingt reprises, à entretenir des relations sexuelles complètes avec lui, malgré les refus clairement exprimés par cette dernière, tout en l'injuriant et en l'empêchant de se dégager. A cela s'ajoute qu'entre l'année 2008 et le 11 septembre 2013, le recourant a, à plusieurs reprises, menacé de mort sa victime. Dans le jugement pénal, le tribunal a retenu que l'intimé avait récidivé en cours d'enquête et n'avait démontré aucune prise de conscience de la gravité de ses actes, ni aucun repentir. L'autorité pénitentiaire a pour sa part relevé que durant l'exécution de sa peine, l'intimé n'avait fait montre que d'une faible capacité d'introspection quant aux infractions commises sur son épouse.
La condamnation de l'intimé a ainsi été prononcée pour de très graves infractions qui peuvent sans conteste mener à la révocation d'une autorisation d'établissement, ce d'autant plus que les autorités d'exécution pénales ont constaté une prise de conscience limitée, déjà mentionnée par l'autorité de jugement pénale. On ajoutera à cela que, dans la mesure où le bien juridique menacé est important, en l'occurrence l'intégrité sexuelle et physique, le Tribunal fédéral se montre particulièrement rigoureux dans l'analyse de la proportionnalité (cf. arrêt 2C_95/2018 du 7 août 2018 consid. 5.2 et les références). En outre, cette condamnation, envers laquelle le législateur a entendu se montrer intransigeant (art. 121 al. 3 let. a Cst. et 66a al. 1 let. h CP; cf. arrêt 2C_95/2018 du 7 août 2018 consid. 5.2), sanctionne des agissements intervenus sur plusieurs années, même postérieurs à l'ouverture de la procédure pénale. L'intérêt public à l'éloignement de l'intimé est ainsi extrêmement important.
6.3. L'intérêt public à l'éloignement de Suisse de l'étranger a été mis en balance avec l'intérêt personnel de celui-ci à demeurer dans ce pays.
Il faut tout d'abord relever, avec l'autorité précédente, que la réintégration dans le pays d'origine ne sera assurément pas aisée. Cependant, l'intimé, qui parle la langue de son pays et y a passé les 20 premières années de sa vie, bénéficie d'une expérience professionnelle dans le domaine de la restauration qui lui permettra de retrouver plus facilement une activité au Sri Lanka, malgré son âge. Par ailleurs, s'il faut également saluer l'abstinence de l'intimé, son comportement qualifié d'exemplaire par le Tribunal cantonal et le fait qu'il suive une thérapie en relation avec ses problèmes d'alcool, ces éléments n'ont toutefois qu'un poids relatif dans la présente cause. Le sursis partiel à la peine privative de liberté de 34 mois n'a en effet été accordé qu'à la condition que l'intimé suive un traitement ambulatoire contre sa dépendance. Or, celui-ci ne saurait se prévaloir de son bon comportement intervenu à la suite de sa libération, ni durant la période probatoire postérieure, dès lors que durant l'exécution de sa peine, il est de toute façon attendu d'un délinquant qu'il se comporte de manière adéquate (<ref-ruling> consid. 5.5.2 p. 128 et les références). Certes, le couple de l'intimé est un couple de migrants, dont le mariage a été arrangé. Néanmoins, contrairement à ce qu'il semble penser, cela ne justifie en rien son comportement. Par ailleurs, le fait, comme il l'affirme, qu'il ne s'en soit pris qu'à sa femme, constitue un argument frôlant la témérité. La violence au sein du couple, et a fortiori plusieurs viols, ne saurait en aucun cas être considérée comme étant moins grave que de la violence envers des tiers. L'argument du Tribunal cantonal en relation avec la bonne intégration de l'intimé n'emporte pas plus la conviction. Si l'intimé se trouve en Suisse depuis 30 ans et que son intégration sur le plan professionnel peut être considérée comme étant relativement bonne, puisqu'il y a pratiquement toujours travaillé, son intégration sociale est des plus déplorable. Outre qu'il s'en est pris physiquement à son épouse et qu'il présente une importante addiction à l'alcool (semble-t-il en reddition), il a perdu tous liens avec ses enfants, à l'exception de son cadet, actuellement majeur, qu'il ne semble voir que très irrégulièrement (l'autorité précédente n'a pas retenu que le recourant voyait effectivement son fils). En outre, il ne fait valoir aucun autre lien social en Suisse. Il reconnaît d'ailleurs lui-même que la gravité de sa faute doit être relativisée en raison du fait qu'il provient d'une autre culture. Un tel argument, pour une infraction survenue près de 30 ans après l'arrivée en Suisse, démontre clairement que l'intégration de l'intimé est insuffisante.
6.4. Dans ces conditions, c'est à tort que l'autorité précédente a considéré que la mesure de révocation de l'autorisation d'établissement de l'intimé était disproportionnée. En infirmant la décision du Département, l'autorité précédente a violé l'art. 96 al. 1 LEtr. Il convient donc d'admettre le recours, d'annuler l'arrêt du Tribunal cantonal du 22 mars 2019 et de confirmer la décision du Département du 18 mai 2018.
7.
Sur le vu de ce qui précède, le recours est admis, l'arrêt du Tribunal cantonal du 22 mars 2019 est annulé et la décision du Département du 18 mai 2018 est confirmée. Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).
La demande d'assistance judiciaire de l'intimé peut en revanche être admise au vu de son indigence manifeste et du fait que ses conclusions ne paraissaient pas vouées à l'échec, compte tenu de la teneur de l'arrêt attaqué. Me Patrick Guy Dubois lui sera donc désigné comme avocat d'office, rétribué par la caisse du Tribunal fédéral, et il n'est pas perçu de frais judiciaires (art. 64 al. 1 et 2 LTF). La cause est renvoyée au Tribunal cantonal pour qu'il procède à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant lui (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis. L'arrêt du 22 mars 2019 rendu par le Tribunal cantonal est annulé et la décision du 18 mai 2018 du Département est confirmée.
2.
La demande d'assistance judiciaire est admise pour la procédure devant le Tribunal fédéral. Me Patrick Guy Dubois est désigné comme avocat d'office de l'intimé et une indemnité de 2'000 fr. lui est allouée à titre d'honoraires, à payer par la caisse du Tribunal fédéral.
3.
Il n'est pas perçu de frais judiciaires.
4.
La cause est renvoyée au Tribunal cantonal pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué au recourant, au mandataire de l'intimé, au Département de l'économie, de l'innovation et du sport et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 30 septembre 2019
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette