Faits :
A.
X._ exécute trois peines privatives de liberté de respectivement trois ans, vingt jours et trois ans, soit six ans et vingt jours au total. Elle a atteint les deux tiers des peines le 10 janvier 2016, la libération définitive étant prévue pour le 16 janvier 2018.
Par ordonnance du 22 mars 2016, le Juge d'application des peines du canton de Vaud a refusé la libération conditionnelle à X._.
B.
Par arrêt du 1 er avril 2016, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours de X._.
C.
Celle-ci forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, avec suite de dépens, à son annulation et au renvoi de la cause en première instance pour qu'il soit statué dans une composition à trois juges. Elle sollicite par ailleurs l'assistance judiciaire.

Considérant en droit :
1.
Se référant notamment à l'art. 29 al. 2 Cst., la recourante se prévaut d'une composition irrégulière de l'autorité de première instance en raison d'une application arbitraire de l'art. 26 al. 2 de la loi [du canton de Vaud] du 4 juillet 2006 sur l'exécution des condamnations pénales (LEP; RSV 340.01).
1.1. La recourante ne dit pas en quoi les dispositions constitutionnelles ou conventionnelles qu'elle mentionne auraient une portée distincte par rapport à l'application arbitraire de la norme cantonale dont elle se prévaut. Ses critiques seront examinées sous ce seul angle.
1.2. Sauf dans les cas cités expressément à l'<ref-law>, la violation du droit cantonal, y compris du droit fédéral appliqué à titre de droit cantonal supplétif, ne constitue pas un motif de recours en tant que tel. La partie recourante peut uniquement se plaindre que l'application de ce droit par l'autorité précédente consacre une violation du droit fédéral au sens de l'<ref-law>, en particulier qu'elle est arbitraire (<ref-ruling> consid. 2.3 p. 387; <ref-ruling> consid. 2.2 p. 69; sur la notion d'arbitraire, v. <ref-ruling> consid. 1.2 p. 308 s.; <ref-ruling> consid. 2.1 p. 18 s.). Le Tribunal fédéral n'examine la violation des droits fondamentaux, parmi lesquels l'interdiction de l'arbitraire, que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 1.3 p. 41; <ref-ruling> consid. 2.2 p. 232). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3.1 p. 253).
1.3. L'art. 26 al. 2 LEP/VD prévoit que lorsque la durée de la peine privative de liberté prononcée à l'encontre de la personne condamnée est égale ou supérieure à six ans ou lorsqu'un internement a été ordonné à l'endroit de ladite personne condamnée, le collège des juges d'application des peines est seul compétent pour prendre une quelconque décision relative à la libération conditionnelle.
Dans le cadre de son analyse, l'autorité précédente a fait état de l'ordonnance du Conseil fédéral du 19 septembre 2006 relative au code pénal et au code pénal militaire (O-CP-CPM; RS 311.01). Aux termes de l'art. 4 de cette ordonnance, si, lors de l'exécution, il y a concours entre plusieurs peines privatives de liberté, elles sont exécutées simultanément, leur durée totale étant alors déterminante. L'<ref-law> précise que la date la plus proche de la libération conditionnelle d'une personne condamnée à des peines privatives de liberté d'une durée limitée et exécutables simultanément se détermine d'après la durée totale de ces peines. L'autorité précédente a mentionné qu'au niveau cantonal, la LEP/VD ne précise pas la manière dont il faut calculer la peine de six ans déterminante au sens de l'art. 26 al. 2 LEP/VD. Elle s'est référée au Bulletin du Grand Conseil vaudois, juin 2006 n° 343, duquel il ressort que dans le but d'éviter que des décisions dont les enjeux sont importants ne reposent sur un seul juge, celles-ci doivent être confiées à un collège des juges d'application des peines, en particulier si la peine totale est supérieure à six ans. L'autorité précédente a considéré que si les principes de droit fédéral énoncés dans le cadre de l'O-CP-CPM étaient pertinents pour l'exécution en concours de plusieurs peines, ils ne l'étaient pas lorsqu'il s'agissait de déterminer l'autorité compétente, le droit cantonal étant alors applicable. Comme l'indique la lettre de l'art. 26 al. 2 LEP/VD, le collège des juges d'application des peines est compétent lorsque « la » peine privative de liberté est supérieure à six ans. Par le choix de ce déterminant singulier, le législateur démontre avoir voulu précisément viser les cas dans lesquels une peine unique supérieure à six ans a été prononcée et non ceux dans lesquels le cumul des peines prononcées à l'encontre d'un même condamné serait supérieur à cette limite. Bien que le Bulletin du Grand Conseil ait à une reprise utilisé la notion de « peine totale », on doit comprendre de l'ensemble de ce texte que l'institution d'un collège en lieu et place d'un juge unique repose sur la volonté d'éviter que les décisions aux enjeux importants et qui pourraient être lourdes de conséquences ne reposent sur une seule personne. En adoptant la LEP/VD, la volonté du législateur était donc bien de confier à un collège de trois juges les décisions concernant des personnes condamnées à une lourde peine pour une infraction grave ou dénotant une dangerosité particulière et non celles concernant des petits délinquants multirécidivistes qui exécuteraient de façon simultanée plusieurs condamnations d'importance moindre, même si le cumul des peines devait se révéler supérieur à six ans. Pour l'autorité précédente, c'est donc bien cette interprétation qui doit être suivie, ce d'autant que si l'on devait prendre en considération le cumul de peines pour déterminer la limite de la compétence du collège, cela conduirait immanquablement à traiter de manière différente le condamné qui, par les hasards du calendrier, de l'avancement des procédures et des dates de ses condamnations successives exécuterait l'ensemble de ses peines en une fois - et qui serait dès lors soumis à l'appréciation du collège des juges d'application des peines - de celui qui, condamné aux mêmes peines mais les exécutant successivement, verrait sa cause soumise, lors de chacune de ses exécutions de peine, à l'appréciation d'un juge unique (arrêt attaqué p. 14 s.).
1.4. La recourante passe en revue les méthodes d'interprétation de la loi. Elle se contente d'opposer sa propre vision à celle retenue, dans une démarche purement appellatoire, partant irrecevable. Ni l'<ref-law> ni les dispositions de l'O-CP-CPM auxquels elle se réfère ne fournissent un quelconque appui quant à une application arbitraire de la norme cantonale concernant la composition de l'autorité contenue à l'art. 26 al. 2 LEP/VD. L'argumentaire présenté est inapte à établir en quoi l'approche de la cour cantonale serait arbitraire. Même en admettant que la solution est discutable, voire qu'une autre solution aurait été préférable, l'approche cantonale n'est pas manifestement insoutenable et ne peut donc être qualifiée d'arbitraire. Pour le surplus, la recourante n'articule aucun grief recevable quant au refus de la libération conditionnelle.
2.
Le recours doit être rejeté dans la mesure de sa recevabilité. Ses conclusions étant dépourvues de chance de succès, l'assistance judiciaire est rejetée. La recourante doit supporter les frais judiciaires, fixés en considération de sa situation financière qui n'apparaît pas favorable.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de la recourante.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 7 juin 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Nasel