Faits :
A.
A._, alors sous une identité masculine, a été hospitalisé à compter du 16 février 2021, jusqu'au 27 avril 2021 (<ref-law>), au Centre hospitalier universitaire vaudois (CHUV), dans l'unité psychiatrique de Cery, à Prilly. En raison de son état clinique, il a été placé en chambre de soins intensifs. Dès son admission, il a fait part aux soignants de son souhait de bénéficier d'un régime alimentaire végane.
Le 17 février 2021, un repas non végane a été servi par erreur a l'intéressé.
Le 19 février 2021, A._ a adressé à la Direction du Département de psychiatrie du CHUV une lettre intitulée "Demande de décision constatatoire", dont la teneur était la suivante:
"Depuis 16 ans, j'ai un mode de vie végane. Les poussins mâles sont tués dans l'industrie des oeufs. Les veaux sont séparés de leur mère dans la production laitière. Les poules et vaches sont tuées dès qu'elles ne sont plus rentables. Au vu de cela, je suis pour l'interdiction de ces pratiques. Par conséquent, je demande a ce que vous constatiez que j'ai le droit de bénéficier de menus véganes équilibrés."
Le 21 février 2021, un repas non végane a à nouveau été servi par erreur a l'intéressé, ce dont il s'est plaint auprès de l'équipe soignante.
Le lendemain, la soeur de l'intéressé a écrit a la Direction du Département de psychiatrie du CHUV pour lui demander de respecter le régime végane de son frère, soulignant qu'elle avait déjà dû intervenir à plusieurs reprises par le passé lors d'une hospitalisation précédente pour qu'il ait accès à une alimentation conforme à ses idéaux.
B.
Le 24 février 2021, la Direction du Département de psychiatrie du CHUV a adressé à l'intéressé une lettre ainsi libellée:
" Monsieur,
Par la présente, nous accusons réception de vos courriers, relatifs à votre mode [de] vie végane, qui ont retenus toute notre attention.
Nous vous informons que nous faisons suivre votre demande au responsable de votre unité de soins qui reviendra vers vous pour trouver une solution. "
Le 2 mars 2021, A._ a saisi la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) d'un recours contre cette lettre qu'il qualifiait de "décision". II reprochait au CHUV de refuser de constater son droit à obtenir des "repas véganes équilibrés", en invoquant sa liberté de conscience.
Par arrêt du 20 mai 2021, le Tribunal cantonal a déclaré irrecevable le recours de l'intéressé.
C.
Agissant par la voie du recours en matière de droit public, A._, recourant sous le nom _ et sous une identité féminine (ci-après: la recourante), demande outre l'assistance judiciaire limitée aux frais, d'annuler l'arrêt précité du 20 mai 2021 et de le réformer dans le sens qu'il soit constaté qu'elle a le droit de bénéficier de menus véganes équilibrés lors de son séjour à l'hôpital, que son droit à la liberté de conscience a été violé et qu'elle a subi une discrimination eu égard à sa liberté de conscience. Subsidiairement, elle conclut au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal renonce à se déterminer et se réfère aux considérants de l'arrêt attaqué. Le CHUV, par sa Direction générale, unité des affaires juridiques, conclut au rejet du recours.

Considérant en droit :
1.
1.1. Le Tribunal fédéral examine d'office sa compétence (<ref-law> [RS 173.110]) et contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1; <ref-ruling> consid. 1).
1.2. L'arrêt attaqué a été rendu par une autorité judiciaire supérieure ayant statué en dernière instance cantonale (art. 86 al. 1 let. d et 2 LTF) dans une affaire relevant du droit public (<ref-law>), puisqu'elle porte sur un acte du CHUV, qui est rattaché au département en charge de la santé, dont il constitue l'un des services (art. 2 de la loi vaudoise du 16 novembre 1993 sur les Hospices cantonaux [LHC; RS/VD 810.11), qu'il a effectué dans l'accomplissement de ses tâches publiques. Aucune des exceptions prévues à l'<ref-law> n'étant réalisée, la voie du recours en matière de droit public au sens des <ref-law> est dès lors ouverte.
1.3. La recourante, qui attaque une décision de non-entrée en matière qui lui a été adressée, dispose d'un intérêt digne de protection à recourir contre celle-ci, limité à la question de l'entrée en matière et indépendamment de la légitimation à agir au fond (<ref-ruling> consid. 3.2; arrêt 2C_444/2021 du 19 octobre 2021 consid. 1.3; cf. HANSJÖRG SEILER, in Bundesgerichtsgesetz, 2e éd. 2015, n° 65 ad <ref-law>).
1.4. L'intéressée n'étant toutefois plus hospitalisée depuis le mois d'avril 2021, se pose la question de son intérêt actuel et pratique au recours (cf. <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.1).
1.4.1. Cet intérêt doit exister tant au moment du dépôt du recours qu'à celui où l'arrêt est rendu. Il est exceptionnellement fait abstraction de cette exigence lorsque la contestation peut se reproduire en tout temps dans des circonstances identiques ou analogues, que sa nature ne permet pas de la trancher avant qu'elle ne perde son actualité et que, en raison de sa portée de principe, il existe un intérêt public suffisamment important à la solution de la question litigieuse (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 1.3.3; <ref-ruling> consid. 1.1).
1.4.2. En l'espèce, la recourante, qui a quitté le CHUV depuis la fin du mois d'avril 2021, ne dispose plus d'un intérêt actuel à ce qu'il soit statué sur ses conditions d'hospitalisation. Il n'en demeure pas moins que le recours soulève une question qui pourrait se poser dans des termes semblables, notamment en cas de nouvelle hospitalisation, sans que le Tribunal fédéral soit en mesure de se prononcer en temps utile, en particulier si le séjour ne dure que quelques jours. Il y a partant lieu de renoncer à l'exigence d'un intérêt actuel.
1.5. Le recours a en outre été déposé en temps utile et dans les formes requises (art. 42 et 100 al. 1 LTF). Il est donc recevable, sous réserve de ce qui suit.
1.6. Le recours est dirigé contre une décision d'irrecevabilité. Contre un tel arrêt, seules les conclusions du recours tendant à l'annulation et au renvoi sont admissibles, à l'exclusion des conclusions sur le fond, lesquelles supposent que l'autorité précédente soit entrée en matière (<ref-ruling> consid. 1.2 et référence; arrêt 2C_225/2020 du 18 septembre 2020 consid. 1.6).
Dans la mesure où le recours porte sur le fond du litige, il est partant irrecevable. Les griefs liés à une violation de la liberté de conscience, de l'interdiction de toute discrimination et, dans ce cadre, d'arbitraire dans la constatation des faits ne seront partant pas examinés.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF). Sauf dans les cas cités expressément à l'<ref-law>, le recours devant le Tribunal fédéral ne peut en revanche pas être formé pour violation du droit cantonal (ou communal) en tant que tel. Il est néanmoins possible de faire valoir que la mauvaise application du droit cantonal (ou communal) constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels. Le Tribunal fédéral n'examine toutefois le moyen tiré de la violation d'une norme de rang constitutionnel que si le grief a été invoqué et motivé de manière précise (<ref-law>). Cette disposition reprend le principe d'allégation selon lequel l'acte de recours doit, sous peine d'irrecevabilité, contenir un exposé succinct des droits constitutionnels ou des principes juridiques violés et démontrer, par une argumentation précise, en quoi consiste la violation; de même, le recourant doit citer les dispositions du droit cantonal dont il se prévaut et démontrer en quoi ces dispositions auraient été appliquées arbitrairement ou d'une autre manière contraire au droit (<ref-ruling> consid. 1.2.2; <ref-ruling> consid. 2.1; <ref-ruling> consid. 1.3).
2.2. Le Tribunal fédéral lorsqu'il revoit l'interprétation et l'application du droit cantonal que sous l'angle de l'arbitraire (art. 9 Cst.) ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. Il ne suffit pas que la motivation de la décision critiquée soit insoutenable; encore faut-il que celle-ci se révèle arbitraire dans son résultat. En outre, il n'y a pas arbitraire du seul fait qu'une autre solution que celle adoptée par l'autorité intimée serait concevable, voire préférable (<ref-ruling> consid. 5.1; <ref-ruling> consid. 7.1).
3.
La recourante soutient que le courrier du CHUV du 24 février 2021 constitue une décision déclarant irrecevable sa demande tendant à constater ses droits au sens de l'art. 3 al. 1 let. c de la loi vaudoise du 28 octobre 2008 sur la procédure administrative (LPA-VD; RS/VD 173.36). Elle invoque une application arbitraire de cette disposition par l'autorité précédente.
3.1. Le Tribunal cantonal n'est pas entré en matière sur le recours de l'intéressée après avoir relevé que l'écrit en cause ne représentait pas une décision sujette à recours en se référant à l'art. 92 al. 1 en lien avec l'art. 3 al. 1 LPA-VD.
3.2. A teneur de l'art. 3 al. 1 LPA-VD, est considérée comme une décision toute mesure prise par une autorité dans un cas d'espèce, en application du droit public, et ayant pour objet de créer, de modifier ou d'annuler des droits et obligations (let. a), de constater l'existence, l'inexistence ou l'étendue de droits et obligations (let. b) ou de rejeter ou de déclarer irrecevables des demandes tendant à créer, modifier, annuler ou constater des droits et obligations (let. c).
L'art. 3 al. 1 LPA-VD définit la notion de décision de la même manière que l'art. 5 al. 1 de la loi fédérale du 20 décembre 1968 sur la procédure administrative (PA; RS 172.021; cf. BOVAY/BLANCHARD/GRISEL RAPIN, Procédure administrative vaudoise, 2ème éd., 2021, § 1.1. ad art. 3 LPA-VD). La notion de décision implique donc un rapport juridique obligatoire et contraignant entre l'autorité et l'administré. En revanche, de simples déclarations, comme des opinions, des communications, des prises de position, des recommandations et des renseignements n'entrent pas dans la catégorie des décisions, faute de caractère juridique contraignant. Pour déterminer s'il y a ou non décision, il y a lieu de considérer les caractéristiques matérielles de l'acte. Un acte peut ainsi être qualifié de décision (matérielle), si, par son contenu, il en a le caractère, même s'il n'est pas intitulé comme tel et ne présente pas certains éléments formels typiques d'une décision, telle l'indication des voies de droit (arrêt 1B_608/2019 du 11 juin 2020 consid. 3.1 et les références).
Aux termes de l'art. 92 al. 1 LPA-VD, le Tribunal cantonal connaît des recours contre les décisions et décisions sur recours rendues par les autorités administratives, lorsque la loi ne prévoit aucune autre autorité pour en connaître.
3.3. En l'occurrence, selon les faits de l'arrêt attaqué, qui lient le Tribunal fédéral (<ref-law>), l'écrit en cause du 24 février 2021 accuse réception des courriers de la recourante relatifs à son mode de vie végane et se limite à lui indiquer que ceux-ci seront transmis au responsable de son unité de soin et que celui-ci la contactera pour trouver une solution. Ce courrier a ainsi la portée d'une information et ne crée aucun rapport juridique contraignant. En particulier et contrairement à ce que soutient la recourante, cet écrit ne déclare pas irrecevable sa demande tendant à constater ses droits d'obtenir une alimentation végane et équilibrée. La présente cause diffère donc de celle examinée dans l'arrêt 1C_113/2015 du 18 septembre 2015, cité par la recourante, lequel portait sur un écrit qui constatait formellement l'existence d'une obligation pour l'intéressé (consid. 2.3).
Par conséquent, le Tribunal cantonal pouvait sans arbitraire retenir que l'écrit du 24 février 2021 ne constituait pas une décision sujette à recours au sens de l'art. 3 al. 1 LPA-VD.
4.
La recourante fait valoir que devant le Tribunal cantonal, elle avait indiqué que "l'impossibilité d'obtenir une décision judiciaire relative à cette contestation [concernant des repas non véganes ou non équilibrés reçus lors de la dernière hospitalisation] constituerait une violation du droit à un recours effectif au sens de l'art. 13 CEDH." Elle reproche à l'autorité précédente de ne pas avoir examiné ce point et y voit une violation de son droit d'être entendue.
4.1. En l'occurrence, le Tribunal cantonal répond implicitement au grief lié à l'art. 13 CEDH en relevant que la recourante aurait pu contester les erreurs concernant les repas servis et ainsi faire valoir une éventuelle violation de la CEDH par d'autres biais que celui de la décision en constatation. Une motivation implicite étant admissible (<ref-ruling> consid. 3.2.1 et les références), le grief de violation du droit d'être entendu doit être écarté.
4.2. Quant à la violation alléguée de l'art. 13 CEDH, la Cour européenne des droits de l'homme estime que le grief tiré de l'art. 13 CEDH est absorbé par l'art. 6 par. 1 CEDH (arrêt de la Cour européenne des droits de l'homme, Tabbane contre Suisse du 1er mars 2016, requête n° 41069/12, note 28). Les art. 6 (droit à un procès équitable) et 13 CEDH (droit à un recours effectif) n'offrent en principe pas de protection plus étendue que les art. 29 et 29a Cst. (<ref-ruling> consid. 1.1; arrêt 1B_608/2019 du 11 juin 2020 consid. 3.3 et l'autre référence citée), ce que la recourante ne prétend d'ailleurs pas.
Or, les garanties d'accès à la justice ancrées aux art. 29, 29a et 30 Cst. ne s'opposent pas à ce qu'une voie de droit soit assortie des conditions de recevabilité usuelles (<ref-ruling> consid. 8.2; <ref-ruling> consid. 4.3; arrêt 1B_608/2019 du 11 juin 2020 consid. 3.3). En effet, ces garanties n'empêchent pas l'autorité saisie d'un recours de refuser d'entrer en matière sur celui-ci, lorsqu'il ne satisfait pas aux exigences formelles posées (arrêt 1B_608/2019 du 11 juin 2020 consid. 3.3), ce qui est le cas lorsque, comme en l'espèce, il n'existe pas d'acte attaquable. Le grief doit partant être écarté.
5.
Enfin, la recourante souligne certes avoir expressément demandé une décision constatatoire dans son courrier du 19 février 2021, mais elle ne se prévaut pas des dispositions cantonales permettant de recourir en l'absence de décision, lorsque l'autorité tarde ou refuse de statuer (art. 74 al. 2 et 99 LPA-VD), ni ne se plaint d'un déni de justice, grief que le Tribunal fédéral n'examine pas d'office et qui doit respecter les exigences de motivation accrues de l'<ref-law> (cf. supra consid. 2.1). Au demeurant, on relèvera que l'on ne saurait reprocher au CHUV d'avoir tardé à statuer puisqu'il a réagi dans les cinq jours qui ont suivi le dépôt de la demande en indiquant à la recourante la voie choisie pour trouver une solution.
6.
Il découle de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité.
7.
Le recours étant d'emblée dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Succombant, la recourante supportera les frais judiciaires réduits (<ref-law>). Il n'est pas alloué de dépens (cf. art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge de la recourante.
4.
Le présent arrêt est communiqué au représentant de la recourante, au Centre hospitalier universitaire vaudois (CHUV) et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 9 février 2022
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
La Présidente : F. Aubry Girardin
Le Greffier : A. de Chambrier