Faits : A. X._ exécute trois peines privatives de liberté de respectivement trois ans, vingt jours et trois ans, soit six ans et vingt jours au total. Elle a atteint les deux tiers des peines le 10 janvier 2016, la libération définitive étant prévue pour le 16 janvier 2018. Par ordonnance du 22 mars 2016, le Juge d'application des peines du canton de Vaud a refusé la libération conditionnelle à X._. B. Par arrêt du 1 er avril 2016, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours de X._. C. Celle-ci forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, avec suite de dépens, à son annulation et au renvoi de la cause en première instance pour qu'il soit statué dans une composition à trois juges. Elle sollicite par ailleurs l'assistance judiciaire.