Faits :
A.
X._, ressortissant de Bosnie et Herzégovine né en 1957, est entré en Suisse en 1977. Il a été mis au bénéfice d'une autorisation de séjour de la part des autorités valaisannes compétentes puis d'une autorisation d'établissement, valable jusqu'au 30 novembre 2014.
Le 10 décembre 2012, X._ s'est installé avec son épouse et leurs deux enfants à Aigle (canton de Vaud). Il a demandé l'octroi d'une autorisation d'établissement dans le canton de Vaud auprès du Service cantonal de la population (ci-après: le Service cantonal).
Le 5 décembre 2013, des mesures protectrices de l'union conjugale ont été prononcées et l'épouse de X._ a obtenu la garde des enfants. Une interdiction de périmètre a été ordonnée contre l'intéressé.
Par jugement du 3 juin 2014, X._ a été condamné par le Tribunal correctionnel de l'arrondissement de l'Est vaudois à une peine privative de liberté de 42 mois pour lésions corporelles simples qualifiées, injures, menaces, séquestration, contrainte sexuelle, viol et violation du devoir d'assistance ou d'éducation commis contre son épouse, son fils et sa fille.
B.
Le 17 novembre 2014, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a rejeté la demande de changement de canton de l'intéressé, ordonnant simultanément à celui-ci de quitter le territoire du canton de Vaud et lui a imparti un délai pour regagner le territoire valaisan dès sa libération.
Par arrêt du 22 juin 2015, le Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de X._. Il a en substance retenu que les conditions de révocation de l'autorisation d'établissement de l'intéressé étaient réunies, de sorte qu'un changement de canton était exclu au sens de l'art. 37 al. 3 LEtr. Le Tribunal cantonal a ensuite estimé, sous l'angle de la proportionnalité, qu'au vu de la gravité des faits ayant conduit à la condamnation pénale, l'intérêt privé du recourant à changer de canton ne l'emportait pas sur l'intérêt public à son éloignement du canton de Vaud.
C.
Agissant par la voie du recours constitutionnel subsidiaire, X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'assistance judiciaire, principalement, de réformer l'arrêt du 22 juin 2015 du Tribunal cantonal et à ce qu'une autorisation d'établissement lui soit octroyée, et, subsidiairement, de renvoyer la cause au Tribunal cantonal pour une nouvelle décision dans le sens des considérants. Il invoque une violation du droit d'être entendu, de l'interdiction de l'arbitraire et du principe de la proportionnalité.
Le Service cantonal et le Tribunal cantonal ont renoncé à se déterminer sur le recours.

Considérant en droit :
1.
1.1. Selon l'art. 83 let. c ch. 6 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent le déplacement de la résidence dans un autre canton même si l'étranger a un droit au changement de canton (arrêt 2D_19/2014 du 2 octobre 2014 consid. 1.1 et les références citées). C'est dès lors à juste titre que l'intéressé a déposé un recours constitutionnel subsidiaire (<ref-law>), par lequel il peut faire valoir la violation de droits constitutionnels (<ref-law>), conformément aux exigences de motivation prévues par l'<ref-law> (cf. <ref-law>).
1.2. La qualité pour former un recours constitutionnel subsidiaire suppose un "intérêt juridique" à l'annulation ou à la modification de la décision attaquée (<ref-law>).
L'art. 37 al. 3 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) dispose que le titulaire d'une autorisation d'établissement a droit au changement de canton s'il n'existe aucun motif de révocation au sens de l'art. 63 LEtr. Le recourant peut ainsi faire valoir un intérêt juridique à la modification de la décision cantonale. Selon l'art. 62 let. b LEtr, applicable par renvoi de l'art. 63 al. 1 let. a LEtr, l'autorisation d'établissement peut être révoquée lorsque l'étranger a été condamné à une peine privative de liberté de longue durée. Savoir si l'autorisation sollicitée peut être refusée pour un tel motif est une question de fond et non de recevabilité (arrêts 2D_19/2014 du 2 octobre 2014 consid. 1.2 et 2D_17/2011 du 26 août 2011 consid. 1.2).
1.3. Pour le surplus, interjeté par une partie qui a succombé dans ses conclusions, le présent recours, déposé dans le délai, compte tenu des féries (art. 117 et 46 al. 1 let. b et 100 al. 1 LTF), et dans la forme (<ref-law>) prévus, est en principe recevable, puisqu'il est dirigé contre un jugement final (art. 117 et 90 LTF) rendu par un tribunal supérieur statuant en dernière instance cantonale (art. 114 et 86 al. 1 let. d et al. 2 LTF).
1.4. La conclusion tendant à l'annulation de la décision du Service cantonal du 17 novembre 2014 est toutefois irrecevable, car, eu égard à l'effet dévolutif du recours devant le Tribunal cantonal, son arrêt se substitue aux prononcés antérieurs (<ref-ruling> consid. 1.2 p. 104; arrêt 2C_97/2014 du 13 décembre 2014 consid. 1.5 non publié in <ref-ruling> et les références citées).
2.
En vertu de l'<ref-law>, applicable au recours constitutionnel subsidiaire par renvoi de l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente.
En l'espèce, le recourant reproche à l'autorité précédente de ne pas avoir tenu compte des "résultats et développement de l'expertise réalisée par la justice de paix d'Aigle dans le cadre de l'examen de l'éventuelle nécessité de prononcer une mesure de protection de l'adulte." Ce faisant, il invoque un fait qu'il n'a pas soulevé devant l'autorité cantonale par rapport à une pièce qu'il ne produit pas et qui ne ressort pas de la procédure devant le Tribunal cantonal. La Cour de céans n'en tiendra dès lors pas compte.
3.
Invoquant l'art. 29 al. 2 Cst., le recourant se plaint à plusieurs égards d'une violation de son droit d'être entendu. Il reproche au Tribunal cantonal de ne pas avoir auditionné son épouse, sa soeur et son fils majeur handicapé notamment par rapport à une reprise de la vie commune après sa libération et aux liens étroits qu'il entretiendrait avec eux. Il reproche également à l'instance précédente de ne pas avoir fait produire l'intégralité de son dossier de l'assurance-invalidité.
3.1. Tel qu'il est reconnu par l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment le droit pour l'intéressé de prendre connaissance du dossier et d'offrir des preuves pertinentes (<ref-ruling> consid. 5.1 p. 293). L'art. 29 al. 2 Cst. impose en particulier à l'autorité de donner suite à une offre de preuve lorsque celle-ci a été demandée en temps utile, dans les formes prescrites et qu'elle apparaît de nature à influer sur le sort de la décision à rendre. Il n'y a toutefois pas violation du droit à l'administration de preuves lorsque la mesure probatoire refusée est inapte à établir le fait à prouver, lorsque ce fait est sans pertinence ou lorsque, sur la base d'une appréciation non arbitraire des preuves dont elle dispose déjà, l'autorité parvient à la conclusion que les faits pertinents sont établis et que le résultat, même favorable au requérant, de la mesure probatoire sollicitée ne pourrait pas modifier sa conviction (<ref-ruling> consid. 5.3 p. 148; arrêt 2D_54/2014 du 23 janvier 2015 consid. 5.2).
S'agissant de l'appréciation des preuves et des constatations de fait, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266).
3.2. En l'espèce, l'on ne saurait reprocher au Tribunal cantonal d'avoir considéré que l'audition des membres de la famille du recourant n'aurait pas une influence déterminante sur l'issue du litige. Il ressort en effet du jugement pénal que le recourant a porté atteinte à l'intégrité physique et psychique de son épouse et de ses enfants pendant des années et de façon continue. En outre, selon les faits constatés par l'instance précédente, les enfants ont fait des "progrès spectaculaires" depuis qu'ils sont séparés du recourant et ne lui ont rendu visite en prison qu'à une seule reprise depuis sa mise en détention en janvier 2013. Quant à l'épouse du recourant, il ressort du jugement pénal que celle-ci a déclaré ne pas vouloir reprendre la vie commune avec son époux. Par ailleurs, selon l'ordonnance du juge d'application des peines refusant la libération conditionnelle, le recourant semble toujours exercer une emprise sur elle et aurait engagé un détective privé pour la suivre pendant qu'il était en détention. Dans ces conditions, le Tribunal cantonal pouvait conclure qu'une audition de celle-ci et du fils majeur handicapé n'était pas nécessaire et susceptible d'influer sur le sort de la cause au regard des éléments déjà à la disposition des juges. En ce qui concerne la soeur du recourant, le recourant soutient que son témoignage aurait été utile pour déterminer dans quelle mesure son état de santé actuel nécessitait qu'il reste sur le territoire vaudois proche de sa soeur. Il ressort du dossier que la soeur du recourant a été entendue à plusieurs reprises dans le cadre de la procédure pénale. Le recourant a par ailleurs produit un courrier dans lequel celle-ci se déclare prête à l'accueillir à sa sortie de prison en attendant qu'il trouve un logement. On ne voit dès lors pas en quoi une audition orale de la soeur devant l'instance précédente aurait été de nature à influer sur la décision à rendre.
Concernant la demande de production du dossier de l'assurance-invalidité, l'instance précédente a relevé qu'il n'était pas contesté que le recourant touchait une rente de l'assurance-invalidité et que celui-ci souffrait notamment de diabète. Elle a néanmoins considéré que le contenu du dossier de cette assurance n'était pas de nature à influer sur la décision. Le recourant ne démontre pas ce que l'apport de l'intégralité du dossier de l'assurance invalidité aurait apporté comme éléments déterminants pour l'issue du litige.
Le Tribunal cantonal pouvait dès lors, sans violer le droit d'être entendu du recourant et sur la base d'une appréciation des preuves dénuée d'arbitraire, renoncer aux réquisitions d'instruction du recourant.
Le grief du recourant est rejeté.
4.
Invoquant l'art. 9 Cst., le recourant soutient que l' "union conjugale n'est à ce jour pas déjà vidée de toute sa substance". Force est toutefois de constater que l'instance précédente n'a pas retenu que l'union conjugale était définitivement rompue. Dans le cadre de l'examen de la proportionnalité, elle a d'ailleurs précisément conclu que l'épouse, titulaire d'une autorisation d'établissement, aurait le choix de s'installer en Bosnie et Herzégovine avec son époux et ses enfants ou de rester seule en Suisse avec ses enfants (arrêt attaqué, p. 6).
S'agissant des griefs du recourant relatifs à son propre état de santé et à l' "intérêt vital" pour son fils majeur, gravement handicapé, d'avoir son père à ses côtés en Suisse, ils relèvent en réalité de la pesée des intérêts et seront examinés dans ce contexte (cf. infra consid. 5).
Dans la suite du raisonnement, le Tribunal fédéral se fondera donc exclusivement sur les faits retenus par l'instance précédente (<ref-law>).
5.
Le recourant estime qu'en lui refusant l'autorisation de s'établir dans le canton du Vaud, le Tribunal cantonal est tombé dans l'arbitraire et a violé le principe de la proportionnalité.
5.1. Une décision est arbitraire, au sens de l'art. 9 Cst., lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et reconnu, ou encore heurte de manière choquante le sentiment de la justice et de l'équité. Il ne suffit pas que sa motivation soit insoutenable; encore faut-il que la décision apparaisse arbitraire dans son résultat. A cet égard, le Tribunal fédéral ne s'écarte de la solution retenue que dans la mesure où celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motif objectif et en violation d'un droit certain. Il n'y a pas arbitraire du fait qu'une autre solution pourrait entrer en considération ou serait même préférable (<ref-ruling> consid. 7.1 p. 51, 305 consid. 4.4 p. 319; <ref-ruling> consid. 6.1 p. 379 s.; <ref-ruling> consid. 5.1 p. 22; arrêt 4A_433/2013 du 15 avril 2014 consid. 2.1).
5.2. Selon l'art. 66 de l'ordonnance fédérale du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201), les étrangers ne peuvent disposer d'une autorisation de séjour, de courte durée ou d'établissement que dans un seul canton; les autorisations sont valables sur le territoire du canton qui les a délivrées. L'étranger qui souhaite changer de canton doit requérir une autorisation de changement de canton (art. 67 al. 1 OASA). L'autorisation dans le premier canton prend fin lorsque l'étranger obtient une autorisation dans un autre canton (art. 61 al. 1 let. b LEtr). Tant qu'il ne l'obtient pas, l'autorisation d'établissement est maintenue à moins qu'elle ne soit révoquée (art. 63 LEtr).
L'art. 37 al. 3 LEtr dispose que le titulaire d'une autorisation d'établissement a droit au changement de canton s'il n'existe aucun motif de révocation au sens de l'art. 63 LEtr. En application de l'art. 63 al. 2 LEtr, l'autorisation d'établissement d'un étranger qui séjourne en Suisse légalement et sans interruption depuis plus de quinze ans peut notamment être révoquée s'il a été condamné à une peine privative de liberté de longue durée (art. 62 let. b LEtr). Par peine de longue durée, on entend, selon la jurisprudence, une peine privative de liberté de plus d'une année qui résulte d'un seul jugement pénal, indépendamment qu'elle ait été prononcée avec un sursis complet ou partiel, ou sans sursis (<ref-ruling> consid. 2.1 p. 18 s.; arrêt 2C_41/2014 du 16 juin 2014 consid. 2).
L'autorisation ne peut être refusée dans le nouveau canton au seul motif que le requérant peut rester dans l'actuel canton de domicile. Il doit exister un motif de révocation justifiant un renvoi de Suisse. Le nouveau canton est tenu d'examiner s'il existe un motif de révocation et (conditions cumulatives) si un renvoi de Suisse constituerait une mesure proportionnelle et raisonnablement exigible compte tenu de l'ensemble des circonstances (arrêts 2D_19/2014 du 2 octobre 2014 consid. 3.2; 2C_1103/2013 du 26 juillet 2014 consid. 5.2; 2C_386/2013 du 13 septembre 2013 consid. 2.2 et 2D_17/2011 du 26 août 2011 consid. 3.3). Le refus du changement de canton n'a pour effet que de renvoyer le requérant dans le canton d'origine. Il n'implique pas la perte du titre de séjour en Suisse (cf. art. 61 al. 1 let. b LEtr; arrêt 2D_19/2014 du 2 octobre 2014 consid. 3.2).
5.3. La question de la proportionnalité de la révocation d'une autorisation d'établissement doit être tranchée au regard de toutes les circonstances du cas d'espèce, les critères déterminants se rapportant notamment à la gravité de l'infraction, à la culpabilité de l'auteur, au temps écoulé depuis l'infraction, au comportement de l'auteur pendant cette période, au degré de son intégration et à la durée de son séjour antérieur, ainsi qu'aux inconvénients qui le menacent, lui et sa famille, en cas de révocation (<ref-ruling> consid. 2.2.1 p. 19; <ref-ruling> consid. 2.3.1 p. 33; <ref-ruling> consid. 2.4 p. 149; arrêt 2C_1193/2013 du 27 mai 2014 consid. 2.3). Quand la mesure de révocation est prononcée en raison de la commission d'une infraction, la peine infligée par le juge pénal est le premier critère à utiliser pour évaluer la gravité de la faute et pour procéder à la pesée des intérêts en présence. A ce propos, le Tribunal fédéral se montre particulièrement rigoureux en présence d'infractions à la législation sur les stupéfiants, d'actes de violence criminelle et d'infractions contre l'intégrité sexuelle (cf. arrêts 2D_19/2014 du 2 octobre 2014 consid. 3.3; 2C_800/2013 du 27 février 2014 consid. 3.3; 2C_565/2013 du 6 décembre 2013 consid. 3.5; 2C_238/2012 du 30 juillet 2012 consid. 2.3 et les arrêts cités). Sous réserve de liens personnels ou familiaux prépondérants, il existe un intérêt public digne de protection à mettre fin au séjour d'un étranger, afin de préserver l'ordre public et à prévenir de nouveaux actes délictueux, le droit des étrangers n'exigeant pas que le public demeure exposé à un risque même faible de nouvelles atteintes à des biens juridiques importants (<ref-ruling> consid. 2.2.1 p. 20; <ref-ruling> consid. 2.3.2 p. 31). La durée de présence en Suisse d'un étranger constitue un autre critère très important. Plus cette durée est longue, plus les conditions pour prononcer la décision de révocation doivent être appréciées restrictivement (cf. <ref-ruling> consid. 4.4 et 4.5 p. 382 s.; arrêts 2C_816/2012 du 6 mars 2013 consid. 5.1; 2C_881/2012 du 16 janvier 2013 consid. 5.1).
5.4. En l'espèce, le recourant a été condamné en juin 2014 à une peine privative de liberté de 42 mois, de sorte que le motif de révocation de l'art. 62 let. b LEtr (cum art. 63 al. 1 let. a LEtr) est rempli, ce qui n'est pas contesté. Le recourant s'en prend uniquement à l'application du principe de la proportionnalité.
Dans l'examen de la proportionnalité, les juges cantonaux ont insisté sur la gravité des infractions et le fait que le recourant avait porté atteinte à l'intégrité physique, psychique et sexuelle de son épouse ainsi qu'à l'intégrité physique et psychique de ses enfants, pendant des années et de façon continue. Ils ont considéré que le risque de récidive était important et ont conclu que le recourant présentait un "danger manifeste pour l'ordre public". Ils ont également souligné que, même s'il vivait en Suisse depuis longtemps, son intégration professionnelle et sociale était nulle. Enfin, l'instance précédente a relevé que l'épouse du recourant avait indiqué lors du procès pénal qu'elle ne souhaitait pas reprendre la vie commune avec le recourant. Quant à ses deux enfants, leur mère pouvait subvenir seule à leurs besoins, comme elle le faisait très bien depuis janvier 2013, date de la mise en détention de l'intéressé. Ceux-ci avaient d'ailleurs fait des "progrès spectaculaires" depuis qu'ils avaient été séparés de leur père, de sorte que les liens entre le recourant et ceux-ci, lesquels ont été les victimes des infractions, n'étaient pas étroits.
Le recourant ne peut être suivi lorsqu'il reproche à l'instance précédente de ne pas avoir tenu compte du fait que l'atteinte à l'intérêt public devait être considérée comme "réparée" parce que ses victimes avaient été "exclusivement" les membres de sa famille et pas des tiers indéterminés "comme c'est le cas dans un trafic de drogue" et parce que son épouse lui aurait "pardonné". Il est indiscutable que les atteintes graves que le recourant a portées à l'intégrité sexuelle, corporelle et psychique de son épouse et à l'intégrité physique et psychique de sa fille mineure ainsi qu'à celle de son fils gravement handicapé constituent des atteintes graves à l'ordre public suisse.
Le recourant ne peut davantage être suivi lorsqu'il soutient que l'instance précédente a versé dans l'arbitraire en retenant un risque de récidive élevé qui ne serait en réalité plus actuel. Contrairement à ce que soutient le recourant, les juges cantonaux ne se sont pas uniquement fondés sur le jugement pénal du 3 juin 2014 et une expertise psychiatrique du 4 mars 2013 mais également sur l'ordonnance du juge d'application des peines rendue le 22 mai 2015, soit un mois avant l'arrêt attaqué, laquelle refuse la libération conditionnelle du recourant au motif que le risque de récidive "reste manifestement élevé". Pour le surplus, dans la mesure où, sur plusieurs pages de son mémoire de recours, le recourant remet en cause le jugement pénal prononcé à son encontre, ses griefs sortent du cadre de l'examen du présent litige (cf. arrêt 2C_1052/2012 du 2 avril 2013 consid. 4.3 et les références citées).
La pesée des intérêts qui figure dans l'arrêt attaqué n'est pas arbitraire. En effet, le recourant a été condamné en 2014 à une peine totale de 42 mois de privation de liberté pour des infractions graves contre l'intégrité physique et l'intégrité sexuelle et présentait, au moment de l'arrêt attaqué, un risque de récidive élevé. Il ne s'est jamais intégré socialement et professionnellement en Suisse et est actuellement séparé de son épouse qui a la garde exclusive de leurs enfants. Dans ces circonstances, il n'est pas insoutenable de considérer que la durée de la présence du recourant en Suisse et son état de santé physique et psychique fragile ne sont pas suffisants pour contrebalancer l'intérêt public à l'éloigner de Suisse. Le grief d'arbitraire est donc rejeté.
6.
Les considérants qui précèdent conduisent au rejet du recours. Le recours auprès du Tribunal fédéral étant d'emblée voué à l'échec, l'assistance judiciaire requise en relation avec la présente procédure doit être refusée (<ref-law>). Les frais judiciaires seront donc mis à la charge du recourant, mais seront fixés en tenant compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Service de la population du canton de Vaud et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 4 décembre 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
La Greffière : Thalmann