Faits:
A. Par jugement du 31 août 2007, le Tribunal correctionnel de l'arrondissement de Lausanne a constaté que X._ s'était rendu coupable de mise en danger de la vie d'autrui et de prise d'otage qualifiée, l'a déclaré non punissable en raison de son irresponsabilité pénale et a ordonné qu'il soit soumis à un traitement institutionnel dans un établissement psychiatrique approprié ou dans un établissement d'exécution des mesures. Sur le plan civil, il a astreint X._ à verser à Y._ un montant de 10'000 fr., avec intérêt à 5% dès le 15 janvier 2007, à titre d'indemnité pour tort moral, donnant pour le surplus acte à celle-ci de ses réserves civiles.
Statuant sur recours de X._, la Cour de cassation pénale du Tribunal cantonal vaudois l'a rejeté par arrêt du 25 octobre 2007, confirmant le jugement qui lui était déféré.
B. Cet arrêt retient, en résumé, ce qui suit.
B.a X._, né en 1981, a connu des difficultés à la pré-adolescence. A sa demande, il a été placé dans un foyer dès l'âge de 13 ans. Il a interrompu sa scolarité en 8ème année et n'a pu terminer une formation. En 2001, des troubles psychiatrique se sont révélés et il a été hospitalisé à plusieurs reprises jusqu'en 2007. Avant sa mise en détention préventive, il vivait dans un foyer à Lausanne, ne travaillant pas et bénéficiant d'une rente AI complète. Il est suivi par l'Office du Tuteur général.
B.b Le 14 janvier 2007, X._ s'est rendu dans le magasin Aperto de la gare de Lausanne en vue d'y agresser une vendeuse, dans le but d'être arrêté et emprisonné. Après avoir effectué un tour de reconnaissance, il est sorti du magasin, puis y est revenu avec un couteau de poche en main, dont la lame était déployée. Il a saisi Y._ par derrière, au niveau des épaules, et a placé le tranchant de la lame sur sa gorge en lui criant de lui remettre la caisse. Il l'a ensuite contrainte à avancer en direction du bureau du responsable du magasin, en la faisant passer de sa droite à sa gauche afin de voir le chemin. Deux clients ont alors réussi à le désarmer et à l'immobiliser.
B.c Au cours de l'enquête, X._ a été soumis à une expertise psychiatrique. Dans leur rapport du 8 mai 2007, les experts ont posé le diagnostic de schizophrénie paranoïde continue. Ils ont constaté que l'expertisé était à même d'apprécier le caractère illicite de ses actes, mais incapable de se déterminer d'après cette appréciation. Ils ont préconisé un suivi ambulatoire, reposant sur une médication neuroleptique au long cours et sur un traitement psycho-sociothérapeutique. Ils ont relevé que ce traitement pourrait devoir être précédé d'une période de traitement hospitalier.
L'un des experts a été entendu aux débats. Il a confirmé la mesure proposée, en précisant qu'une mesure thérapeutique institutionnelle avait essentiellement été écartée en raison des difficultés pratiques liées à son exécution, vu les faibles moyens actuellement à disposition.
X._ a déclaré qu'il souhaitait être placé dans une institution. Sa tutrice a estimé qu'un traitement institutionnel s'imposait, compte tenu des variations de l'état psychique de son pupille et de l'intensité de ses symptômes schizophréniques.
B.d Les juges cantonaux ont estimé que, nonobstant les conclusions de l'expertise, il se justifiait d'ordonner une mesure thérapeutique institutionnelle au sens de l'art. 59 CP, considérant qu'elle était indispensable pour favoriser l'évolution positive de l'intéressé et pour prévenir la commission de nouvelles infractions. En ce qui concerne le montant de l'indemnité pour tort moral, la cour cantonale a jugé que celui de 10'000 fr. fixé en première instance était adéquat, au vu des souffrances de la victime consécutives à l'atteinte qu'elle avait subie.
C. X._ forme un recours en matière pénale au Tribunal fédéral, pour arbitraire dans l'appréciation des preuves et violation des art. 56, 56a, 59 et 63 CP ainsi que de l'art. 49 CO. Il conclut à la réforme de l'arrêt attaqué, en ce sens qu'il soit soumis à un traitement ambulatoire selon l'art. 63 al. 2 CP et que le montant de l'indemnité pour tort moral alloué à la victime soit réduit à 3000 fr., subsidiairement à son annulation. Il sollicite l'assistance judiciaire.
L'intimée, invitée à se déterminer sur le grief relatif au montant de l'indemnité qui lui a été allouée à titre de réparation morale, a fait savoir, après l'échéance du délai imparti à cet effet, qu'elle renonçait à le faire. Pour le surplus, des déterminations n'ont pas été requises.
Considérant en droit:
1. Le recourant se plaint d'arbitraire dans l'appréciation des preuves. Il reproche aux juges cantonaux de s'être écartés, de manière inadmissible et sans motif suffisant, de l'expertise, en tant que cette dernière préconise un traitement ambulatoire.
1.1 La notion d'arbitraire a été rappelée récemment dans l'ATF 133 I 149 consid. 3.1 p. 153, auquel on peut donc se référer. En bref, une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais dans son résultat.
1.2 L'autorité cantonale n'a pas nié que les experts préconisaient un traitement ambulatoire, à l'exclusion d'une mesure thérapeutique institutionnelle, et qu'entendu à l'audience, l'un d'eux, bien qu'avec prudence, ne s'était pas départi de cette conclusion, relevant néanmoins qu'une mesure thérapeutique institutionnelle avait principalement été exclue en raison des difficultés à l'exécuter, vu les faibles moyens actuellement à disposition. Sur la base d'une appréciation du contenu de l'expertise ainsi que des déclarations faites à l'audience par le recourant et sa tutrice, elle s'est toutefois estimée fondée à s'écarter de la conclusion litigieuse, considérant qu'une mesure au sens de l'art. 59 CP était indispensable pour favoriser l'évolution positive du recourant et pour prévenir la commission de nouvelles infractions. La question est donc de savoir si elle pouvait le faire sans arbitraire.
1.3 Il résulte de l'expertise que le recourant souffre, depuis au moins 6 ans, d'un grave trouble mental, soit d'une schizophrénie paranoïde continue, qui influence grandement son comportement général. Ce trouble se traduit notamment par un contenu de pensée incohérent, des perceptions délirantes, mystiques et systématisées, des sentiments de persécution et diverses formes d'hallucinations. Il est à l'origine de l'acte commis et il existe un risque, d'importance moyenne, que le recourant commette de nouveaux actes punissables similaires. S'il n'a pas entravé l'aptitude du recourant à percevoir le caractère illicite de son acte, ce trouble a en revanche totalement altéré sa capacité d'adapter son comportement à cette perception, au point que sa responsabilité pénale au moment des faits doit être considérée comme nulle.
Toujours selon l'expertise, entre 2001 et le 11 janvier 2007, le recourant a fait l'objet de cinq hospitalisations, dont la dernière a pris fin trois jours avant les faits. Il a en outre bénéficié de plusieurs suivis ambulatoires, comportant notamment un traitement neuroleptique. A chaque fois, la relation thérapeutique s'est avérée difficile et le recourant a fini par abandonner le traitement. Ces échecs s'expliquent fondamentalement par l'anosognosie du recourant, soit son incapacité à percevoir sa pathologie et la nécessité de suivre un traitement de longue durée. Cette anosognosie rend particulièrement difficile la tenue d'un traitement suivi sans rupture, pourtant indispensable à tout progrès possible.
Pour diminuer le risque que présente le recourant, l'expertise propose un traitement psychiatrique intégré, reposant sur une médication neuroleptique de longue durée et sur un traitement psycho-sociothérapeutique, précisant qu'il pourrait devoir être précédé d'une période d'hospitalisation. Elle relève que ce traitement paraît suffisant. Elle observe néanmoins qu'un traitement, au demeurant rendu difficile par l'anosognosie du recourant, ne permet que de calmer les angoisses de ce dernier, sans empêcher des décompensations ni parvenir à effacer la symptomatologie délirante et hallucinatoire qu'il présente.
Il ressort par ailleurs de l'arrêt attaqué qu'entendu à l'audience, le recourant a lui-même déclaré qu'il souhaitait être placé en institution. Certes, cette déclaration, comme l'avaient relevé les premiers juges, ne doit sans doute pas être prise au pied de la lettre, à savoir comme l'expression d'un désir d'être soumis à une mesure thérapeutique institutionnelle au sens de l'art. 59 CP. Il reste que le recourant, qui ne le conteste d'ailleurs pas, a admis que le foyer dans lequel il séjournait avant son arrestation n'était pas suffisant et ne répondait pas à ses besoins d'encadrement. Selon l'expertise, il a du reste, par le passé, manifesté à plusieurs reprises le besoin de se mettre à l'abri dans un foyer, voire accepté une hospitalisation volontaire.
Egalement entendue, la tutrice du recourant a estimé qu'une mesure institutionnelle s'imposait, compte tenu des variations de l'état psychique de son pupille et de l'intensité de ses symptômes schizophréniques. A elle seule, cette déclaration ne suffirait certes pas à écarter l'avis des experts quant au choix de la mesure. Il était toutefois justifié d'en tenir compte comme d'un indice supplémentaire de la nécessité d'un encadrement plus rigoureux.
1.4 Au vu du contenu de l'expertise, tel qu'il vient d'être résumé et des autres indices évoqués, il n'était pas manifestement insoutenable de considérer que la mesure proposée par les experts n'apparaissait pas suffisante, mais qu'une mesure thérapeutique institutionnelle s'imposait. La mesure préconisée s'apparente aux traitements déjà entrepris, mais qui ont échoué en raison de l'incapacité du recourant, inhérente au trouble dont il souffre, de s'y soumettre de manière suivie. Or, de l'avis même des experts, aucun progrès n'est possible en l'absence d'un traitement poursuivi sans rupture et, à défaut d'un tel traitement, il existerait un risque relativement important de commission de nouveaux actes punissables similaires. Tant pour favoriser l'évolution positive du recourant que pour prévenir une nouvelle atteinte à l'intégrité physique d'autrui, un traitement effectué en milieu fermé plutôt qu'ambulatoirement semble donc nécessaire. Il n'était du moins pas arbitraire, au sens défini plus haut (cf. supra, consid. 1.1), de l'admettre et, partant, de s'écarter dans le cas d'espèce de l'expertise, en ordonnant la mesure litigieuse. Le grief doit dès lors être rejeté.
2. Le recourant invoque une violation des art. 56 al. 2 et 56a al. 1 CP en relation avec les art. 59 et 63 CP, au motif que la mesure ordonnée est disproportionnée.
2.1 L'art. 56 al. 2 CP pose le principe qu'une mesure ne peut être prononcée que si l'atteinte aux droits de la personnalité de l'auteur qui en résulte n'est pas disproportionnée au regard de la vraisemblance qu'il commette de nouvelles infractions. L'art. 56a al. 1 CP prévoit par ailleurs que, lorsque plusieurs mesures s'avèrent appropriées, mais qu'une seule est nécessaire, le juge ordonne celle qui porte les atteintes les moins graves à l'auteur. Ces dispositions concrétisent le principe constitutionnel de la proportionnalité (art. 36 al. 3 Cst.), qui exige qu'une mesure restrictive d'un droit fondamental soit apte à produire les résultats escomptés, que ceux-ci ne puissent être atteints par une mesure moins incisive et qu'il existe un rapport raisonnable entre le but visé et les intérêts compromis (ATF 132 I 49 consid. 7.2 p. 62 et les arrêts cités).
2.2 Il est à juste titre incontesté que la mesure prononcée est apte à atteindre le but visé, notamment à prévenir la réitération de nouvelles infractions similaires. Il pouvait par ailleurs être admis sans arbitraire qu'elle est nécessaire pour parvenir à ce but et qu'une autre mesure, plus précisément un traitement ambulatoire, serait à cet égard insuffisante (cf. supra, consid. 1). La nécessité de contenir le risque de récidive constaté, en particulier d'éviter de nouvelles atteintes à l'intégrité physique d'autrui, l'emporte par ailleurs sur l'intérêt du recourant à être traité ambulatoirement, d'autant plus qu'il est loin d'être certain que, le cas échéant, il se soumettra durablement et sans interruption au traitement prescrit. Le prononcé de la mesure litigieuse ne viole donc pas le principe de la proportionnalité. Le grief doit par conséquent être rejeté.
3. Le recourant conteste le montant de l'indemnité pour tort moral allouée à la victime, soit 10'000 fr., qu'il estime trop élevé et dont il demande la réduction à 3000 fr.
3.1 L'art. 49 al. 1 CO dispose que celui qui subit une atteinte illicite à sa personnalité a droit à une somme d'argent à titre de réparation morale, pour autant que la gravité de l'atteinte le justifie et que l'auteur ne lui ait pas donné satisfaction autrement.
L'ampleur de la réparation morale dépend avant tout de la gravité des souffrances physiques ou psychiques consécutives à l'atteinte subie par la victime et de la possibilité d'adoucir sensiblement, par le versement d'une somme d'argent, la douleur morale qui en résulte. En raison de sa nature, l'indemnité pour tort moral, qui est destinée à réparer un dommage qui ne peut que difficilement être réduit à une simple somme d'argent, échappe à toute fixation selon des critères mathématiques, de sorte que son évaluation en chiffres ne saurait excéder certaines limites. L'indemnité allouée doit toutefois être équitable (ATF 130 III 699 consid. 5.1 p. 704/705; 129 IV 22 consid. 7.2 p. 36). Le juge en proportionnera donc le montant à la gravité de l'atteinte subie et il évitera que la somme accordée n'apparaisse dérisoire à la victime. S'il s'inspire de certains précédents, il veillera à les adapter aux circonstances actuelles pour tenir compte de la dépréciation de la monnaie (ATF 129 IV 22 consid. 7.2 p. 36/37 et les arrêts cités).
La fixation de l'indemnité pour tort moral est une question d'application du droit fédéral, que le Tribunal fédéral examine donc librement. Dans la mesure où celle-ci relève pour une part importante de l'appréciation des circonstances, il fait toutefois preuve de retenue. Il n'intervient que si l'autorité cantonale s'est fondée sur des critères étrangers à la disposition applicable, a omis de tenir compte d'éléments pertinents ou a fixé une indemnité inéquitable parce que manifestement trop élevée ou trop faible. Comme il s'agit d'une question d'équité, et non d'une question d'appréciation au sens strict, qui limiterait sa cognition à l'abus ou à l'excès du pouvoir d'appréciation, le Tribunal fédéral examine toutefois librement si la somme allouée tient suffisamment compte de la gravité de l'atteinte ou si elle est disproportionnée par rapport à l'intensité des souffrances morales causées à la victime (ATF 130 III 699 consid. 5.1 p. 705; 129 IV 22 consid. 7.2 p. 37; 125 III 269 consid. 2a p. 273 s.).
S'agissant du montant de l'indemnité, toute comparaison avec d'autres affaires doit intervenir avec prudence, dès lors que le tort moral touche aux sentiments d'une personne déterminée dans une situation donnée et que chacun réagit différemment face au malheur qui le frappe. Une comparaison avec d'autres cas similaires peut cependant, suivant les circonstances, constituer un élément d'orientation utile (ATF 130 III 699 consid. 5.1 p. 705; 125 III 269 consid. 2a p. 274).
3.2 Selon les constatations de fait cantonales, la victime reste profondément marquée par l'agression. Au moment du jugement de première instance, soit plus de 7 mois après les faits, elle était encore totalement incapable de travailler. En état de stress post-traumatique et de dépression sévère, elle doit prendre des anxiolytiques et des somnifères. Selon ses proches, elle est devenue triste et craintive. Les premiers juges ont pu constater son désarroi et ont admis qu'elle souffrait encore, au niveau de sa vie quotidienne et familiale, des conséquences de l'agression qu'elle avait subie.
3.3 Les souffrances ainsi constatées sont certes importantes. Compte tenu de l'ensemble des circonstances, le montant de 10'000 fr. alloué est toutefois clairement trop élevé.
Comme le relève le recourant, l'agression a été de brève durée et n'a pas causé de lésions physiques à l'intimée. S'il n'est pas question de minimiser le choc subi et les conséquences pouvant résulter d'une telle atteinte, on peut se demander, au vu de l'importance et de la durée des souffrances décrites, si celles-ci sont exclusivement consécutives à l'agression. Quoiqu'il en soit, le montant octroyé est, si ce n'est équivalent, proche de celui qui est alloué dans certains cas de viol ou d'abus sexuels commis sur des enfants (cf. arrêt 6S.163/2001 consid. 2b et les références citées) ou en cas de lésions corporelles relativement graves, telles que la perte d'un oeil ou de l'ouïe, qui donnaient lieu, il y a quelques années, à une indemnité de l'ordre de 5000 à 10'000 fr. (cf. ATF 121 II 369 consid. 6c p. 377). Au regard de ces exemples et nonobstant leur valeur indicative, le montant de l'indemnité litigieuse se révèle disproportionné et doit dès lors être revu à la baisse. Tout bien pesé, un montant de 6000 fr., correspondant au double de celui qui est proposé par le recourant, apparaît équitable dans le cas d'espèce. Le grief doit dès lors être partiellement admis.
4. Au vu de ce qui précède, le recours doit être partiellement admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
Le recourant n'obtenant que partiellement gain de cause, sa requête d'assistance judiciaire ne peut être que partiellement admise (art. 64 al. 1 LTF). Il y a donc lieu de laisser une partie des frais à sa charge et de lui allouer une indemnité de dépens réduite.
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est partiellement admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision.
2. La requête d'assistance judiciaire est partiellement admise.
3. Les frais judiciaires, d'un montant réduit arrêté à 1000 fr., sont mis à la charge du recourant.
4. La caisse du Tribunal fédéral versera au mandataire du recourant une indemnité de 1500 fr. à titre de dépens partiels.
5. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de cassation pénale.
Lausanne, le 24 avril 2008
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: La Greffière
Schneider Angéloz