Faits:
A. A.X._, ressortissant du Yémen né en 1970, est arrivé en Suisse le 11 janvier 2004. Il y a obtenu l'asile le 15 décembre 2004. Son épouse, B.X._, ressortissante du Yémen née en 1970, est elle entrée en Suisse le 11 mai 2005. Comme ses enfants, C._, né en 1999, D._, née en 2001, et E._, né en 2006, A.X._ est actuellement au bénéfice d'une autorisation d'établissement délivrée par le canton du Valais valable jusqu'au 30 janvier 2014. Son épouse était titulaire d'une autorisation de séjour également délivrée par le canton du Valais et valable jusqu'au 11 janvier 2011.
A.X._ et sa famille ont déposé le 19 février 2010, une demande de changement de canton pour aller s'installer dans le canton de Vaud. Ils ont emménagé le 1er mars 2010 dans un appartement situé à Clarens. Durant la procédure devant le Service de la population du canton de Vaud (ci-après: le Service de la population), A.X._ a précisé qu'il était en voie d'obtenir un diplôme d'une école hôtelière et qu'il recherchait activement une place de travail sur la Riviera vaudoise et ailleurs. Il a, notamment, produit une copie du procès-verbal d'un entretien avec son conseiller de l'Office régional de placement de Monthey-St Maurice (ci-après: l'ORP de Monthey) qui mentionnait qu'il serait plus facile pour l'intéressé de trouver un emploi sur la Riviera Vaudoise, à Lausanne ou à Genève. A.X._ a produit des copies de différents contrats de travail de durée déterminée. Le Centre social régional de Montreux a indiqué que le montant total des prestations versées à A.X._ au titre de revenu d'insertion du 1er mars au 31 juillet 2010 se montait à 19'916.70 fr.
Par décision du 24 septembre 2010, le Service de la population a refusé d'autoriser le changement de canton en faveur de A.X._ et de sa famille, subsidiairement de transformer l'autorisation de séjour de son épouse en autorisation d'établissement. Il a justifié sa décision par le fait que les intéressés bénéficiaient des prestations de l'assistance publique depuis leur arrivée dans le canton de Vaud. Il leur a imparti un délai d'un mois pour quitter le canton de Vaud.
B. A.X._ a recouru contre cette décision devant la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) et conclu à l'annulation de la décision du Service de la population "refusant le changement de canton au recourant et à sa famille". Il a fait valoir qu'il devait terminer ses études fin décembre 2010, mais qu'il était tenu d'effectuer des stages pour obtenir ses diplômes. Il a précisé que l'ORP de Monthey avait constaté qu'après six mois de recherche, il n'avait toujours pas trouvé de travail et que, sur conseil de l'ORP, il avait alors décidé de changer de canton. Il avait, ainsi, pu trouver des emplois de durée limitée. Il a ajouté que son nouvel employeur souhaitait l'engager à 100% une fois sa formation achevée fin avril 2011, produisant une lettre de la société confirmant ce fait. Dès la fin du mois d'avril 2011, il ne serait plus à l'assistance publique. Il a également précisé que ses enfants étaient scolarisés à Montreux.
Par arrêt du 4 mars 2011, le Tribunal cantonal a rejeté le recours de A.X._. Il a en substance retenu que le recourant et sa famille, bénéficiaires de l'aide sociale en Valais, avaient également dû recourir à cette aide depuis leur arrivée dans le canton de Vaud, même pendant les périodes où le recourant travaillait. Cette situation n'était pas près de s'améliorer, puisque le salaire que le recourant devait obtenir depuis mars 2011, soit 1'770 fr. net par mois pour un travail à 50%, ne suffirait pas à l'entretien de sa famille; et ce même si le recourant parvenait à augmenter son taux de travail à 100%. Le Tribunal cantonal a ensuite estimé, "sous l'angle de la proportionnalité", qu'un retour dans le canton du Valais ne devait pas poser de problèmes.
C. Agissant par la voie du recours constitutionnel subsidiaire, A.X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du 4 mars 2011 du Tribunal cantonal et de l'autoriser à s'établir dans le canton de Vaud, subsidiairement, d'annuler l'arrêt attaqué et de renvoyer la cause au Tribunal cantonal pour une nouvelle décision dans le sens des considérants. Il invoque une violation arbitraire du droit de changer de canton. L'effet suspensif a été octroyé par décision présidentielle du 6 avril 2011.
Le Service de la population et le Tribunal cantonal ont renoncé à se prononcer.

Considérant en droit:
1. 1.1 Selon l'art. 83 let. c LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent le déplacement de la résidence dans un autre canton (ch. 6 en vigueur depuis le 1er janvier 2008, RO 2006 5599); et ce même si l'étranger à un droit au changement de canton (arrêts 2C_140/2010 du 17 juin 2010 consid. 2.3 et 2C_886/2008 du 4 mai 2009 consid. 2). Ainsi, c'est à juste titre que l'intéressé a déposé un recours constitutionnel subsidiaire (art. 113 LTF).
1.2 La qualité pour former un recours constitutionnel subsidiaire suppose un "intérêt juridique" à l'annulation ou à la modification de la décision attaquée (art. 115 let. b LTF; cf. <ref-ruling>).
L'art. 37 al. 3 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) dispose que le titulaire d'une autorisation d'établissement a droit au changement de canton s'il n'existe aucun motif de révocation au sens de l'art. 63 LEtr. Le recourant peut ainsi faire valoir un intérêt juridique à la modification de la décision cantonale. L'art. 63 al. 1 let. c LEtr mentionne comme motif de révocation le fait que le requérant lui-même ou une personne dont il a la charge dépende durablement et dans une large mesure de l'aide sociale. Savoir si l'autorisation sollicitée peut être refusée pour un tel motif est une question de fond et non de recevabilité.
1.3 Pour le surplus, interjeté par une partie qui a succombé dans ses conclusions, le présent recours, déposé dans le délai (art. 117 et 100 al. 1 LTF) et dans la forme (art. 42 LTF) prévus, est en principe recevable, puisqu'il est dirigé contre un jugement final (art. 117 et 90 LTF) rendu par un tribunal supérieur statuant en dernière instance cantonale (art. 114 et 86 LTF).
2. La voie du recours constitutionnel subsidiaire n'est ouverte que pour se plaindre de la violation des droits constitutionnels (art. 116 LTF). En vertu de l'art. 106 al. 2 LTF (applicable par renvoi de l'art. 117 LTF), les griefs y relatifs doivent être invoqués et motivés de façon détaillée, sous peine d'irrecevabilité (<ref-ruling> consid. 4.1 p. 235; <ref-ruling> consid. 1.5 p. 674, 232 consid. 1.2 p. 234). Seuls les griefs du recourant répondant à ces exigences seront donc examinés.
3. Le recourant estime qu'en lui refusant l'autorisation de s'établir dans le canton de Vaud au motif qu'il avait recours à l'assistance publique, le Tribunal cantonal est tombé dans l'arbitraire et a violé son droit au changement de canton tel que garanti par l'art. 37 LEtr. Ledit Tribunal aurait conclu qu'avec son salaire l'intéressé ne pourrait se passer de l'aide sociale même s'il travaillait à 100% et la dépendance durable à l'aide sociale était une cause de révocation de l'autorisation selon l'art. 63 LEtr. Avec une telle argumentation, le Tribunal cantonal aurait perdu de vue le statut de réfugié dont bénéficie le recourant, statut qui ne permettrait pas la révocation d'une autorisation d'établissement pour un tel motif.
3.1 Une décision est arbitraire (art. 9 Cst.) lorsqu'elle contredit clairement la situation de fait, lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou lorsqu'elle heurte d'une manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 2.1 p. 211). A cet égard, le Tribunal fédéral ne s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si elle apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs ou en violation d'un droit certain. De plus, il ne suffit pas que les motifs de l'arrêt attaqué soient insoutenables, encore faut-il que ce dernier soit arbitraire dans son résultat. Il n'y a en outre pas arbitraire du seul fait qu'une autre solution que celle de l'autorité intimée paraît concevable, voire préférable (<ref-ruling> consid. 2.4 p. 5; <ref-ruling> consid. 4 p. 560; <ref-ruling> consid. 1 p. 265; <ref-ruling> consid. 4.1 p. 133).
3.2 L'octroi de l'asile comprend le droit de résider en Suisse (art. 2 al. 2 de la loi fédérale du 26 juin 1998 sur l'asile [LAsi ou la loi sur l'asile; RS 142.31]). Ainsi, quiconque a obtenu l'asile en Suisse a droit à une autorisation de séjour dans le canton où il séjourne légalement (art. 60 al. 1 LAsi). Sous réserve de condamnation pénale ou d'atteinte à la sécurité et l'ordre publics en Suisse, la personne qui a obtenu l'asile en Suisse et y séjourne légalement depuis cinq ans au moins a droit à une autorisation d'établissement (art. 60 al. 2 LAsi).
Selon l'art. 65 LAsi, le réfugié ne peut être expulsé que s'il compromet la sûreté intérieure ou extérieure de la Suisse ou s'il a porté gravement atteinte à l'ordre public; l'art. 5 étant réservé.
3.3 Selon l'art. 66 de l'ordonnance fédérale du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201), les étrangers ne peuvent disposer d'une autorisation de séjour, de courte durée ou d'établissement que dans un seul canton; les autorisations sont valables sur le territoire du canton qui les a délivrées. L'étranger qui souhaite changer de canton doit requérir une autorisation de changement de canton (art. 67 al. 1 OASA). L'autorisation prend fin lorsque l'étranger obtient une autorisation dans un autre canton (art. 61 al. 1 let. b LEtr). Comme susmentionné, l'art. 37 al. 3 LEtr prévoit que le titulaire d'une autorisation d'établissement a droit au changement de canton s'il n'existe aucun motif de révocation au sens de l'art. 63 LEtr, lequel mentionne à son al. 1 let. c la dépendance durable et dans une large mesure à l'aide sociale.
Le Message du 24 octobre 2007 concernant la loi sur les étrangers (FF 2002 3469), précise que l'existence d'un motif de révocation ou d'expulsion ne suffit pas: il faut également qu'une telle mesure soit proportionnelle et raisonnablement exigible. La nature juridique particulière de l'autorisation d'établissement est donc prise en compte (FF 2002 3547).
Il ressort également de la directive "3. Règlement des conditions de séjour», dans sa version au 1er juillet 2009, des directives «Domaine des étrangers» de l'Office fédéral des migrations, qui traite du changement de canton (ch. 3.1.8.2) qu'outre la présence d'un motif de révocation, celle-ci doit être proportionnée compte tenu de l'ensemble des circonstances. "Cependant, l'autorisation ne pourra être refusée dans le nouveau canton au seul motif que le requérant peut rester dans l'actuel canton de domicile. Il doit exister un motif de révocation justifiant un renvoi de Suisse (ancien droit: <ref-ruling>; ...). Pour cette raison, le nouveau canton est tenu d'examiner s'il existe un motif de révocation et si une expulsion de Suisse constituerait un mesure proportionnelle". La directive cite encore l'<ref-ruling> pour rappeler que, s'agissant d'un réfugié reconnu, le reproche de fainéantise ne constitue pas un motif de révocation justifiant le refus de changement de canton (ch. 3.1.8.2.3).
La doctrine reprend ces éléments de façon générale (PETER BOLZLI, in: Spescha/Thür/Zünd/Bolzli [éd.], Migrationsrecht, 2e éd., 2009, no 6 ss ad art. 37 LEtr p. 95; FELIX KLAUS, Ausländische Personen als Arbeitnehmende, in: Uebersax/Rudin/Hugi Yar/Geiser [éd.], Ausländerrecht, 2e éd., 2009; PETER UEBERSAX, Einreise und Anwesenheit, in: Uebersax/ Rudin/Hugi Yar/Geiser [éd.], op. cit., no 7.139 p. 261, no 7.153 p. 266, no 7.160 p. 267, 7.246 p. 285; ANDREAS ZÜND/LADINA ARQUINT HILL, Beendigung der Anwesenheit, Entfernung und Fernhaltung, in: Uebersax/Rudin/Hugi Yar/Geiser [éd.], op. cit., no 8.13 p. 319), tout en précisant que l'autorisation d'établissement d'un réfugié peut être annulée pour les motifs de l'art. 63 al. 1 let. b et c LEtr (PETER UEBERSAX, op. cit., no 7.160 p. 267).
4.1 Le Tribunal cantonal a refusé la demande d'autorisation de changer de canton car le recourant et sa famille, bénéficiaires de l'aide sociale en Valais, avaient également dû recourir à cette aide depuis leur arrivée dans le canton de Vaud. L'intéressé réalisait, ainsi, le motif de révocation de l'art. 63 al. 1 let. c LEtr. Il a ensuite estimé que, "sous l'angle de la proportionnalité", un retour dans le canton du Valais ne devrait pas poser de problème au recourant et à sa famille, dès lors qu'ils y avaient passé la majorité de leur séjour en Suisse, n'ayant été qu'une année dans le canton de Vaud. En outre, il existait en Valais de nombreux endroits touristiques où l'intéressé pourrait trouver du travail.
Le Tribunal cantonal voit donc dans le fait que le recourant dépende de l'aide sociale un motif de révocation de l'autorisation d'établissement de l'intéressé et, partant, d'extinction de son droit à changer de canton (art. 37 al. 3 LEtr). En cela, ledit Tribunal méconnaît la situation juridique du recourant qui est un réfugié. En effet, dans l'<ref-ruling> repris par la directive no 3 de l'Office fédéral des migrations susmentionnée (cf. supra consid. 3.3), le Tribunal fédéral a jugé que le grief de fainéantise, et donc, indirectement, le recours à l'assistance publique, ne saurait autoriser l'expulsion d'un réfugié et qu'en cela le droit d'asile limite la possibilité de révocation d'une autorisation d'établissement. Dans cet arrêt, rendu en application de l'ancien droit des étrangers et qui avait pour cadre le même contexte que celui de la présente cause, le Tribunal fédéral a d'abord constaté que le droit des étrangers (art. 10 al. 1 LSEE) prévoyait l'expulsion de façon plus large que le droit d'asile (art. 65 LAsi), le recours à l'assistance publique étant une condition d'expulsion selon le premier mais pas selon le second. Le Tribunal fédéral a alors estimé, lors de l'analyse des motifs d'expulsion, qu'on ne pouvait faire abstraction du statut de réfugié du détenteur de l'autorisation d'établissement et des conditions restrictives énoncées à l'art. 65 LAsi pour autoriser un tel acte.
Certes, cet arrêt a été rendu sous l'ancien droit des étrangers, selon lequel l'expulsion était un des motifs de fin d'autorisation (art. 9 al. 1 let. d LSEE) pour lequel le changement de canton pouvait être refusé (art. 14 al. 4 RSEE). Or, le nouveau droit ne prévoit plus l'expulsion comme un motif de révocation de l'autorisation qui permettrait de s'opposer à un changement de canton. Toutefois, l'expulsion reste la conséquence d'une révocation d'autorisation. A cet égard, la directive no 3 de l'Office fédéral des migrations (cf. supra consid. 3.3) précise d'ailleurs que, pour refuser une demande de changement de canton, il faut non seulement un motif de révocation mais également que l'expulsion de Suisse constitue une mesure proportionnelle. Dans le cas d'un réfugié, ce n'est ainsi qu'au regard des motifs restrictifs de l'art. 65 LAsi qu'il convient de décider si l'expulsion - comme conséquence de la révocation de l'autorisation - du titulaire d'un permis d'établissement se justifie (cf., à cet égard, ANDREAS ZÜND/LADINA ARQUINT HILL, op. cit., no 8.89 p. 359), les motifs prévus par l'art. 63 LEtr n'étant alors pas déterminants. On ne peut, en effet, considérer l'expulsion de Suisse d'un réfugié comme étant une mesure proportionnelle, si elle n'est pas prévue par la loi, en l'occurrence l'art. 65 LAsi. Dès lors, il n'y a pas lieu de s'écarter de cette jurisprudence.
En conséquence, comme le relève à juste titre l'intéressé, le recours à l'assistance publique, s'il permet la révocation de l'autorisation d'établissement (art. 63 al. 1 let. c LEtr), ne constitue pas un motif d'expulsion au sens de l'art. 65 LAsi et le droit au changement de canton ne pouvait lui être refusé pour ce motif. Dès lors, en méconnaissant le statut de réfugié du recourant et en se contentant d'analyser si le retour de l'intéressé dans le canton du Valais était raisonnablement exigible sans examiner si l'expulsion de Suisse était une mesure proportionnelle, le Tribunal cantonal est tombé dans l'arbitraire.
Dans la mesure où le recourant ne s'est pas vu reprocher d'autres actes que celui du recours durable et important à l'assistance publique, il n'est ainsi pas envisageable de procéder à son expulsion, de sorte qu'il n'existe aucun motif pour lui dénier le droit de changer de canton et lui refuser l'octroi d'une autorisation d'établissement dans le canton de Vaud.
5. Compte tenu de ce qui précède, le recours doit être admis, l'arrêt attaqué annulé, et l'autorisation de changement de canton, ainsi que celle d'établissement dans le canton de Vaud doivent être accordées au recourant.
Il n'y a pas lieu de percevoir de frais de justice (cf. art. 66 al. 4 LTF). Succombant, le canton de Vaud devra verser une indemnité à titre de dépens au recourant (cf. art. 68 al. 1 LTF).
L'admission du recours implique une autre répartition des frais devant l'instance inférieure. Le Tribunal cantonal réglera à nouveau le sort de ces frais.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. L'arrêt du Tribunal cantonal du canton de Vaud du 4 mars 2011 est annulé, le recourant est autorisé à prendre domicile dans le canton de Vaud et une autorisation d'établissement lui est accordée.
2. La cause est renvoyée au Tribunal cantonal pour qu'il statue à nouveau sur les frais de l'instance cantonale.
3. Il n'est pas perçu de frais judiciaires.
4. Une indemnité de 2'000 fr., à payer au recourant à titre de dépens pour la procédure fédérale, est mise à la charge du canton de Vaud.
5. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud.
Lausanne, le 26 août 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Kurtoglu-Jolidon