Faits :
A.
Par jugement du 21 février 2017, le Tribunal criminel de l'arrondissement de la Broye et du Nord vaudois a condamné X._, pour tentative de meurtre avec désistement, violation simple des règles de la circulation routière, conduite malgré une incapacité (ébriété simple), conduite d'un véhicule en état défectueux, vol d'usage d'un véhicule automobile et conduite sans autorisation, à une peine privative de liberté de sept ans, sous déduction de 401 jours de détention avant jugement, ainsi qu'à une amende de 800 francs. Il a également ordonné au prénommé de se soumettre à un traitement institutionnel des troubles mentaux au sens de l'<ref-law> et a suspendu l'exécution de la peine privative de liberté au profit de celui-ci.
Par décision du 18 juillet 2017, l'Office d'exécution des peines (ci-après : OEP) a ordonné le placement institutionnel de X._, avec effet rétroactif au 21 février 2017, au sein de la prison A._, à B._, dans l'attente d'un transfert au sein de la Colonie fermée de C._ (ci-après : C._), avec la poursuite d'un suivi psychothérapeutique auprès du Service de médecine et psychiatrie pénitentiaires (ci-après : SMPP).
B.
Par arrêt du 6 septembre 2017, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre la décision du 18 juillet 2017.
La cour cantonale a retenu les faits suivants.
B.a. X._, né en 1964, a été condamné à sept reprises, dont cinq fois entre 1982 et 1995, à des peines privatives de liberté totalisant plus de cinq ans, pour des infractions touchant notamment à la vie, à l'intégrité corporelle, au patrimoine ou à la liberté. Seule deux condamnations sont encore inscrites dans son casier judiciaire, soit l'une, en 1997, pour tentative de meurtre, vol, voies de fait et délit contre la LArm, ainsi qu'une autre, en 2005, pour vol, dommages à la propriété, menaces, violation de domicile, conducteur pris de boisson, vol d'usage, circulation malgré un retrait ou un refus du permis de conduire et utilisation sans droit d'un cycle ou d'un cyclomoteur.
A l'occasion de cette dernière condamnation, X._ a été sanctionné par une peine privative de liberté de deux ans, dont l'exécution a été suspendue au profit d'un internement, mesure levée le 23 décembre 2009 au profit d'une mesure institutionnelle (<ref-law>), laquelle a été levée le 10 avril 2015, la peine suspendue n'étant pas exécutée.
B.b. Au cours de la procédure pénale ayant conduit au jugement du 21 février 2017, X._ a été soumis à une expertise psychiatrique. Les experts ont déposé leur rapport le 15 juillet 2016. Il en ressort que le prénommé souffre de trouble mixte de la personnalité à traits émotionnellement labiles de type borderline, narcissiques et dyssociaux ainsi que d'utilisation d'alcool nocive pour la santé. Les experts ont relevé que le risque de récidive pour des actes de même nature était élevé si X._ se trouvait dans une situation similaire de perturbation psychique, livré à lui-même, sans cadre clair, solide et soutenant, ainsi qu'aux prises avec des difficultés relationnelles dans sa vie de couple avec des menaces de perte d'étayage ou d'abandon. Selon les experts, ce cadre était essentiel, car l'intéressé avait montré à maintes reprises combien il était rapidement démuni lorsqu'il était livré à lui-même, et qu'en l'absence de cadre, il ne parvenait pas à investir de manière suivie des professionnels aptes à l'étayer, ni même à solliciter leur aide lorsqu'il se sentait perdre la maîtrise de ses propres projets. Dès lors, à la moindre déstabilisation psychique, il risquait de reprendre une consommation d'alcool excessive ou de récidiver par des actes violents. Le cadre évoqué correspondait selon les experts à un cadre institutionnel en foyer psychiatrique ouvert.
B.c. Dans ses déterminations du 30 août 2017, l'OEP a évoqué le long et difficile parcours pénal de X._. Il a en particulier rappelé que dans le cadre de la mise en oeuvre de la mesure d'internement prononcée le 2 décembre 2005 par le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois ainsi que des élargissements de régime accordés, celui-ci s'était évadé de C._ à l'occasion d'une conduite le 25 avril 2007. Parti en France où il avait sombré dans l'alcool, il était revenu en Suisse à la fin du mois de juillet 2007. Par ailleurs, dans le cadre de la mise en oeuvre de la mesure thérapeutique institutionnelle prononcée le 23 décembre 2009, l'OEP avait ordonné son transfert, dès le 27 décembre 2011, au sein de la Fondation D._, après un long processus de placement visant à assurer une transition cohérente et étayante. X._ avait toutefois fugué moins de 12 jours après, soit le 8 janvier 2012, sans qu'aucun signe précurseur n'eût été détecté, et n'avait pu être interpellé que le 2 juin 2012. Par la suite, il avait à nouveau été placé au sein de la Fondation D._ dès le 21 mai 2013, mais un transfert au sein de l'Unité psychiatrique de la prison E._ avait dû être ordonné après une tentative de suicide. Enfin, ensuite de l'ordonnance du 25 mars 2015 du Juge d'application des peines ordonnant levant la mesure thérapeutique institutionnelle, l'intéressé avait intégré, le 10 avril 2015, un foyer en France, qu'il avait quitté après seulement deux mois. Neuf mois plus tard, il avait attenté à sa vie. L'OEP estimait ainsi qu'au vu des échecs des précédents placements institutionnels, des deux évasions et de la récidive persistante, tout placement en milieu institutionnel ouvert devait être soigneusement évalué. L'OEP avait pu constater l'importante impulsivité de X._, son intolérance à la frustration et une tendance à l'"auto-sabotage", qui rendaient nécessaire un accompagnement intensif dans les étapes clé devant être franchies jusqu'à une réinsertion. En outre, il était indispensable que l'intéressé démontre une certaine stabilité sur le long terme dans le cadre d'élargissements de régime progressifs, mesurés et régulièrement évalués, dans le milieu fermé, puisque les expériences antérieures avaient confirmé sa difficulté d'ancrage dans toute nouvelle structure qui n'était pas aussi encadrante que le milieu carcéral. Par ailleurs, l'OEP avait expliqué que lors de ses séjours en milieu institutionnel - soit 12 jours en 2012 et six mois en 2013 -, X._ n'était pas parvenu à solliciter activement le réseau professionnel existant pour le soutenir. Lorsque le prénommé était rattrapé par ses émotions négatives, qui survenaient immanquablement après une certaine période, en l'absence de cadre externe, il agissait contre autrui, alors que lorsqu'il était contenu par l'environnement, il agissait contre lui-même ou contre le cadre. Un tel fonctionnement obligeait l'OEP à privilégier une étape préalable afin de protéger la sécurité publique. En définitive, au vu du parcours pénal de X._, de ses évasions, de l'échec de ses placements en institution, de son nouveau passage à l'acte et du risque élevé de récidive ressortant de l'expertise psychiatrique, il était indispensable, selon l'OEP, de disposer d'un bilan actualisé de la présente incarcération avant d'envisager un placement dans un foyer spécialisé ouvert. Un plan d'exécution de la mesure devait ainsi être élaboré par l'établissement carcéral, puis validé par l'OEP. La situation devait en outre être soumise à l'appréciation de la Commission interdisciplinaire consultative concernant les délinquants dangereux (ci-après : CIC).
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 6 septembre 2017, en concluant, avec suite de frais et dépens, principalement à sa réforme en ce sens que son placement institutionnel est ordonné au sein d'un établissement spécialisé apte à ce qu'il puisse suivre un traitement institutionnel des troubles mentaux en foyer psychiatrique ouvert, cas échéant que son placement institutionnel soit ordonné au sein de la prison A._ dans l'attente d'un transfert au sein d'un établissement spécialisé apte à ce qu'il puisse suivre un traitement institutionnel de ses troubles mentaux en foyer psychiatrique ouvert. Subsidiairement, il conclut à son annulation et au renvoi de la cause à l'OEP pour nouvelle décision. Il sollicite par ailleurs le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant fait grief à la cour cantonale d'avoir arbitrairement appliqué l'art. 21 al. 2 let. a de la loi vaudoise sur l'exécution des condamnations pénales (LEP/VD; RS/VD 340.01), ainsi que d'avoir violé les art. 59 al. 2 et 3 CP.
1.1. Lorsque l'auteur souffre d'un grave trouble mental, le juge peut ordonner un traitement institutionnel si celui-ci a commis un crime ou un délit en relation avec ce trouble et s'il est à prévoir que cette mesure le détournera de nouvelles infractions en relation avec ce trouble (<ref-law>). L'<ref-law> précise que le traitement institutionnel doit s'effectuer dans un établissement psychiatrique approprié ou dans un établissement d'exécution des mesures. L'<ref-law> dispose que le traitement s'effectue dans un établissement fermé tant qu'il y a lieu de craindre que l'auteur ne s'enfuie ou ne commette de nouvelles infractions. Il peut aussi être effectué dans un établissement pénitentiaire au sens de l'<ref-law>, dans la mesure où le traitement thérapeutique nécessaire est assuré par du personnel qualifié.
L'<ref-law> subordonne le traitement dans un établissement fermé à un risque de fuite ou de récidive. Selon la jurisprudence, il doit s'agir d'un risque qualifié, puisque toutes les mesures supposent un risque de récidive (cf. <ref-law>). Le risque est qualifié quand il est concret et qu'il est hautement probable que le condamné commette d'autres infractions dans l'établissement ou en dehors de celui-ci. Il s'agit d'un danger qui ne peut être combattu que par le placement dans un établissement fermé. Conformément au principe de la proportionnalité, l'exécution de la mesure dans un établissement fermé suppose une sérieuse mise en danger de biens juridiques essentiels (arrêts 6B_319/2017 du 28 septembre 2017 consid. 1.1; 6B_845/2016 du 29 juin 2017 consid. 3.1.2; 6B_1040/2015 du 29 juin 2016 consid. 5.1).
Pour qu'un risque de fuite soit avéré, il faut que l'intéressé ait la ferme et durable intention de s'évader, en ayant recours à la force si nécessaire, et qu'il dispose des facultés intellectuelles, physiques et psychiques nécessaires pour pouvoir établir un plan et le mener à bien. Le fait que l'intéressé puisse tenter de s'enfuir sur un coup de tête et sans aucune préparation préalable ne suffit pas. Il est clair que le risque de fuite devra être lié à la peur que le condamné puisse représenter une menace envers les tiers une fois en liberté. Il s'agit ici de la dangerosité externe du prévenu (arrêts 6B_319/2017 précité consid. 1.1; 6B_1045/2013 du 14 avril 2014 consid. 2.1.1; 6B_629/2009 du 21 décembre 2009 consid. 1.2.2.2).
Le risque de récidive doit être concret et hautement probable, c'est-à-dire résulter de l'appréciation d'une série de circonstances. Il vise cette fois la dangerosité interne du prévenu. Ce sera, par exemple, le cas d'un condamné qui profère des menaces bien précises ou qui combat sciemment l'ordre de l'établissement; en revanche, l'<ref-law> ne devrait pas s'appliquer à de simples difficultés de comportement ou à l'insoumission vis-à-vis des employés de l'établissement (arrêts 6B_319/2017 précité consid. 1.1; 6B_538/2013 du 14 octobre 2013 consid. 3.1). Savoir si le risque est qualifié est une question juridique. Toutefois les questions psychiatrique et juridique sont souvent difficiles à distinguer en pratique. La tâche principale d'une expertise médicolégale est de clarifier l'état psychique de l'intéressé et de poser un pronostic (cf. arrêts 6B_1348/2017 du 22 janvier 2018 consid. 1.1.3; 6B_708/2015 du 22 octobre 2015 consid. 3.3 non publié in <ref-ruling>). Le juge ne peut s'écarter de l'appréciation d'une expertise que pour des motifs déterminants (<ref-ruling> consid. 6.1).
1.2. Selon la jurisprudence, les autorités d'exécution sont compétentes pour désigner le lieu d'exécution du traitement institutionnel, en tenant compte du risque de fuite ou de récidive (<ref-ruling> consid. 2.5 p. 10 s.). Cela étant, si un placement en milieu fermé apparaît déjà nécessaire au moment du prononcé du jugement, le juge peut et doit l'indiquer dans les considérants en traitant des conditions de l'<ref-law> (<ref-ruling> consid. 2.4.4 p. 9 et 2.5 p. 10 s.). Dans ces circonstances, il est souhaitable que le tribunal s'exprime dans les considérants de son jugement - mais non dans son dispositif - sur la nécessité d'exécuter la mesure en milieu fermé et recommande une telle modalité d'exécution, de manière non contraignante, à l'autorité d'exécution (<ref-ruling> consid. 2.5 p. 10 s.; arrêts 6B_845/2016 du 29 juin 2017 consid. 3.1.4; 6B_371/2016 du 10 février 2017 consid. 2.1).
1.3. Dans le canton de Vaud, l'art. 21 al. 2 let. a LEP/VD dispose que, dans le cas où un traitement thérapeutique institutionnel a été ordonné à l'endroit d'une personne condamnée, l'Office d'exécution des peines est compétent pour mandater l'établissement dans lequel la personne condamnée sera placée, notamment en tenant compte du risque de fuite ou de récidive (art. 59 al. 2 et 3, 60 al. 3, 61 al. 3 CP). L'art. 21 al. 4 LEP/VD précise qu'avant de prendre la décision visée à l'al. 2 let. a de cette disposition, l'Office d'exécution des peines sollicite de la Commission interdisciplinaire consultative concernant les délinquants dangereux un avis, afin d'apprécier la dangerosité que présente la personne condamnée pour la collectivité (<ref-law>).
Si le Tribunal fédéral ne revoit pas l'application du droit cantonal (cf. <ref-law> a contrario), le recourant peut néanmoins faire valoir que la mauvaise application du droit cantonal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst., ou contraire à d'autres droits constitutionnels (<ref-ruling> consid. 4.3 p. 521 s.; <ref-ruling> consid. 2.3 p. 466).
1.4. La cour cantonale a exposé que les lourds antécédents du recourant, les mises en échec successives de ses précédents séjours en milieu institutionnel ouvert, qui s'étaient tous soldés par une fuite ou un abandon, ainsi que le risque élevé de récidive mis en évidence par les experts - l'intéressé ayant notamment récidivé moins d'une année après la levée, le 10 avril 2015, d'une mesure institutionnelle -, devaient être pris en compte dans le cadre de la mise en oeuvre de la mesure thérapeutique ordonnée par jugement du 21 février 2017. En l'état, selon l'autorité précédente, un placement en secteur ouvert s'avérait manifestement prématuré au vu de la dangerosité du recourant - qui avait notamment été reconnu coupable de tentative de meurtre avec désistement -, de son instabilité psychique et de l'importance des biens juridiques menacés. Des garanties étaient ainsi nécessaires afin de préserver la sécurité publique. Il était à cet égard indispensable que le recourant démontre une stabilité sur le long terme dans le cadre de l'élargissement de son régime carcéral - puisque, comme l'avaient expliqué l'OEP et les experts, celui-ci avait toujours rencontré des difficultés lorsqu'il était dans un cadre plus léger que le milieu carcéral -, afin de palier tout nouveau risque de fuite pouvant favoriser un risque de récidive. Il convenait ainsi, avant tout transfert en milieu ouvert, d'élaborer un plan d'exécution de la mesure prévoyant les futurs élargissements de régime avec des étapes mesurées, qui devaient faire l'objet d'évaluations rigoureuses, tant comportementales, psychiatriques que criminologiques, et devaient être soumises à la CIC. L'OEP avait d'ailleurs indiqué qu'une évaluation criminologique avait déjà été requise et qu'une rencontre interdisciplinaire avait été fixée le 16 janvier 2018. Des démarches étaient également en cours afin d'obtenir un avis actualisé de la CIC.
1.5. Le recourant cite divers passages du rapport d'expertise du 15 juillet 2016 qui n'auraient, selon lui, pas été pris en considération par la cour cantonale. Son argumentation est irrecevable à cet égard, dès lors que l'intéressé ne formule aucun grief d'arbitraire dans l'établissement des faits répondant aux exigences de motivation des art. 42 al. 2 et 106 al. 2 LTF. Au demeurant, le recourant ne démontre pas en quoi l'autorité précédente aurait tiré des conclusions insoutenables dudit rapport. Si celle-ci n'a pas intégralement reproduit la discussion des experts dans l'arrêt attaqué, elle n'a pas ignoré leurs conclusions, en particulier concernant le diagnostic posé, l'existence d'un risque élevé de récidive en l'absence d'un cadre clair, solide et soutenant, ou la préconisation d'un foyer psychiatrique ouvert comme lieu du traitement institutionnel. Le recourant évoque quant à lui les motifs à l'appui desquels les experts ont recommandé un placement en milieu psychiatrique ouvert, dont il n'apparaît pas qu'ils auraient été arbitrairement ignorés par la cour cantonale.
1.6. Le recourant ne conteste pas qu'il présente un risque de fuite. A cet égard, il convient d'admettre que ce risque est avéré, dès lors que l'intéressé s'est à deux reprises, au cours des dernières années, enfui des établissements dans lesquels il avait été placé. Il avait également quitté le foyer qu'il avait intégré en France en 2015. Il ressort en outre du rapport d'expertise que le recourant a la volonté de retourner vivre en France (rapport d'expertise du 15 juillet 2016, p. 18), de sorte qu'un risque de fuite peut être tenu pour concret.
Ce risque de fuite est par ailleurs à mettre en relation avec le fait que le recourant représenterait une menace pour autrui une fois en liberté. En effet, les experts ont estimé que le risque de récidive pour des actes de même nature que ceux ayant conduit à sa condamnation - soit en particulier une tentative de meurtre - était élevé si l'intéressé se trouvait "dans une situation similaire de perturbation psychique, livré à lui-même, sans cadre clair, solide et soutenant et aux prises à des difficultés relationnelles dans sa vie de couple avec des menaces de perte d'étayage ou d'abandon". Cette situation apparaît, selon les experts, lorsque le recourant se trouve hors de tout cadre, soit notamment après une fuite. Les experts ont ainsi expliqué le mécanisme qui poussait alors l'intéressé à récidiver (rapport d'expertise du 15 juillet 2016, p. 14) :
"On observe une sorte de logique en boucle dans l'existence [du recourant] : il se comporte adéquatement lorsqu'il est dans un cadre très contenant comme le milieu carcéral. Montrant une adaptation favorable, il peut alors bénéficier d'ouvertures sous forme de sorties accompagnées ou s'inscrire dans un projet de foyer. Cependant, dès lors que le cadre s'allège sensiblement, [le recourant] lutte activement contre, y compris par des gestes auto agressifs, en lien avec sa lutte contre la dépendance et l'angoisse d'abandon. Lorsque finalement, il se retrouve sans autre cadre que celui qu'il devrait se mettre à lui-même, il sombre dans l'alcool, récidive des délits ou des actes hétéro agressifs contre la personne sur laquelle il s'appuie affectivement, ce qui lui redonne accès au lieu le plus contenant, la prison."
Il ressort de ce qui précède qu'en cas de fuite, le recourant se trouverait précisément dans une situation où le risque de récidive, en particulier concernant des actes hétéro-agressifs, serait élevé. Les experts ont d'ailleurs relevé la rapidité avec laquelle le recourant avait récidivé, pour des actes graves, après la levée de la mesure institutionnelle précédente en avril 2015. Compte tenu des constatations des experts ainsi que des nombreux antécédents du recourant, il apparaît qu'un risque de récidive qualifié existe, ce risque faisant par ailleurs peser un sérieux danger sur des biens juridiques essentiels, en particulier la vie et l'intégrité corporelle.
1.7. Le recourant reproche à la cour cantonale de s'être écartée du "point de vue" des experts psychiatres. Selon lui, l'autorité précédente aurait dû considérer qu'un placement en milieu psychiatrique ouvert était approprié. Il soutient par ailleurs qu'une mesure exécutée dans un établissement fermé serait inefficace.
Dans leur rapport du 15 juillet 2016, les experts ont certes indiqué que le lieu paraissant adapté pour un traitement institutionnel consistait dans un foyer psychiatrique ouvert. Cependant, ceux-ci ont relevé que, pour voir le risque de récidive "sensiblement atténué", il convenait d'instaurer un cadre "clair, solide et soutenant". A cet égard, ils n'ont nullement considéré, comme le soutient le recourant, qu'un séjour en milieu carcéral lui porterait préjudice ou ferait échec à la mesure, mais ont précisé que s'il avait par le passé montré "un excellent comportement dans le milieu carcéral, qui représente le cadre le plus contenant", celui-ci ne le "confront [ait] pas à la réalité extérieure et ne [pouvait] permettre d'en retirer les compétences nécessaires pour palier à ses difficultés fondamentales" (rapport d'expertise du 15 juillet 2016, p. 16 s.). On ne voit pas, partant, que les experts se seraient exprimés en défaveur d'un séjour carcéral provisoire. Ceux-ci n'ont pas davantage évoqué un besoin pressant de placer le recourant en milieu psychiatrique ouvert, à propos duquel ils ont d'ailleurs indiqué qu'il serait "difficile" à maintenir de manière prolongée, en ajoutant qu'il existait un "risque avéré" de répétition du cycle de récidive et qu'un "pronostic évolutif favorable rest[ait] réservé" (rapport d'expertise du 15 juillet 2016, p. 17).
1.8. En définitive, la cour cantonale ne s'est aucunement écartée des conclusions de l'expertise psychiatrique s'agissant de l'existence d'un risque de fuite et de récidive, dont elle a considéré qu'il était suffisamment qualifié pour justifier un placement institutionnel en milieu pénitentiaire au sens de l'<ref-law>. Cette appréciation n'est pas critiquable, étant rappelé qu'il appartient aux autorités d'exécution - non aux experts - de désigner le lieu d'exécution d'un traitement institutionnel (cf. consid. 1.2 supra). En l'occurrence, il n'apparaît pas qu'un placement du recourant dans un établissement pénitentiaire - destiné à élaborer un plan d'exécution de la mesure et à procéder à des évaluations comportementales, psychiatriques et criminologiques - aurait été exclu ni même déconseillé par les experts psychiatres.
L'autorité précédente n'a en conséquence pas violé l'art. 59 al. 2 et 3 CP en confirmant le placement institutionnel du recourant au sein de la Colonie fermée de C._, assorti d'un suivi psychothérapeutique assuré par le SMPP.
Pour le reste, le recourant ne démontre aucune application arbitraire de l'art. 21 al. 2 let. a LEP/VD, cette disposition enjoignant l'OEP de fonder son choix d'établissement notamment sur le risque de fuite ou de récidive, soit les critères également pertinents au sens de l'<ref-law>. Au demeurant, il apparaît que le placement de l'intéressé à C._ n'est en l'état que provisoire, puisqu'il ne ressort pas de l'arrêt attaqué que la CIC aurait déjà rendu l'avis - au sens de l'art. 21 al. 4 LEP/VD - que doit recueillir l'OEP avant de mandater un établissement pour l'exécution du traitement thérapeutique institutionnel.
Au vu de ce qui précède, le grief doit être rejeté dans la mesure où il est recevable.
2.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, l'assistance judiciaire doit être refusée (<ref-law>). Le recourant supportera les frais de la cause, qui seront fixés en tenant compte de sa situation économique, laquelle n'apparaît pas favorable (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 13 mars 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Graa