Faits :
A.
Condamné à une peine privative de liberté de 48 mois, notamment pour tentative de meurtre, A._ a été incarcéré à la Prison du Bois-Mermet le 19 février 2016 puis a été transféré aux Établissements de la Plaine de l'Orbe, le 7 décembre 2018. Sa détention au Bois-Mermet s'est divisée en deux phases, la première, sous le régime de la détention provisoire, jusqu'au 6 août 2018, et la seconde, du 7 août 2018 au 6 décembre 2018, sous le régime de l'exécution de peine.
Par ordonnance du 2 octobre 2018, le Tribunal des mesures de contrainte du canton de Vaud (ci-après: TMC) a constaté que les conditions dans lesquelles s'était déroulée la détention avant jugement de A._ à la prison du Bois-Mermet entre le 19 février 2016 et le 19 février 2018 n'étaient pas conformes aux dispositions légales applicables et étaient dès lors illicites.
Par ordonnance du 23 septembre 2019, le TMC a constaté que les conditions de la détention subie par A._ avant jugement, entre le 19 février 2018 et le 6 août 2018, à la Prison du Bois-Mermet étaient conformes aux dispositions légales (cause n° PC.015880-BRB).
Par ordonnance du même jour, le Juge d'application des peines a rejeté la demande déposée le 7 août 2019 par A._ et a constaté que les conditions de la détention en exécution de peine, entre le 7 août 2018 et le 6 décembre 2018, à la Prison du Bois-Mermet étaient conformes aux dispositions légales (cause n° AP19.017821-BRB).
B.
La Chambre des recours pénale du Tribunal cantonal vaudois (ci-après: CRP) a rejeté les recours formés par A._ contre les ordonnances du 23 septembre 2019, qu'elle a confirmées, par arrêts du 15 octobre 2019.
Par arrêt du 10 mars 2020, le Tribunal fédéral a admis les recours formés par A._ contre les arrêts du 15 octobre 2019, au motif que la cour cantonale avait violé son droit d'être entendu en ne prenant pas en compte le contenu de l'ordonnance du TMC du 2 octobre 2018, portant sur la période de détention entre le 19 février 2016 et le 19 février 2018 (causes 6B_103/2020 et 6B_104/2020). Le Tribunal fédéral a renvoyé les causes à l'autorité précédente pour nouvelle décision.
C.
Statuant sur renvoi par arrêt du 10 novembre 2020, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté les recours formés par A._ contre les ordonnances du 23 septembre 2019, qu'elle a confirmées.
D.
A._ forme un recours en matière pénale contre l'arrêt du 10 novembre 2020 au Tribunal fédéral et conclut, avec suite de frais, à sa réforme en ce sens qu'il est constaté que les conditions dans lesquelles s'est déroulée sa détention à la prison du Bois-Mermet du 20 février 2018 au 6 décembre 2018 étaient illicites. Il sollicite l'octroi de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant reproche à la cour cantonale d'avoir considéré que les conditions de sa détention au sein de la prison du Bois-Mermet entre le 20 février 2018 et le 6 décembre 2018 étaient licites.
1.1. Sur le plan constitutionnel, l'art. 7 Cst. prescrit que la dignité humaine doit être respectée et protégée. A teneur de l'art. 10 al. 3 Cst., la torture et tout autre traitement ou peine cruels, inhumains ou dégradants sont interdits. L'art. 3 CEDH prévoit que nul ne peut être soumis à la torture ni à des peines ou traitements inhumains ou dégradants.
En se référant à la Recommandation Rec (2006) 2 sur les Règles pénitentiaires européennes (ci-après: RPE) édictée par le Comité des ministres du Conseil de l'Europe le 11 janvier 2006, ainsi qu'au Commentaire de ces règles émanant du Comité européen pour la prévention de la torture et des peines ou traitements inhumains ou dégradants (CPT), la jurisprudence a déduit de l'art. 3 CEDH ainsi que des autres normes protégeant la dignité humaine, en droit international et en droit interne, un certain nombre de critères permettant d'évaluer si les conditions concrètes de détention se situent en deçà ou au-delà du seuil du traitement inhumain ou dégradant (arrêts 6B_1205/2018 du 22 février 2019 consid. 2.1; 6B_794/2015 du 15 août 2016 consid. 2.1). Un traitement dénoncé comme contraire à l'art. 3 CEDH doit atteindre un niveau d'humiliation ou d'avilissement supérieur à ce qu'emporte habituellement la privation de liberté. La gravité de cette atteinte est appréciée au regard de l'ensemble des données de la cause, considérées globalement, notamment de la nature et du contexte du traitement ainsi que de sa durée. Celle-ci est susceptible de rendre incompatible avec la dignité humaine une situation qui ne le serait pas nécessairement sur une courte période (<ref-ruling> consid. 6.3.4 et les arrêts cités). Sans viser à l'exhaustivité, il s'agit d'apprécier, notamment, si le lieu de détention répond à des exigences minimales quant à l'hygiène (propreté; accès aux installations de bain et de douche et aux sanitaires; protection de l'intimité), à la literie, à la nourriture (régime alimentaire; hygiène de la préparation et de la distribution; accès à l'eau potable), à l'espace au sol, au volume d'air, à l'éclairage et à l'aération, en tenant compte notamment des conditions climatiques locales et des possibilités d'effectuer des exercices à l'air libre (arrêts 6B_1205/2018 du 22 février 2019 consid. 2.1; 6B_71/2016 du 5 avril 2017 consid. 5.2; 6B_688/2015 du 19 mai 2016 consid. 7.2).
Quant, en particulier, à l'espace au sol, il sied, dans la règle, de considérer comme standard minimum une surface disponible estimée à 4 m2 par détenu dans un dortoir et à 6 m2 dans une cellule (individuelle); ces conditions d'hébergement doivent cependant être modulées en fonction des résultats d'analyses plus approfondies du système pénitentiaire; le nombre d'heures passées en dehors de la cellule doit être pris en compte; en tout état, ces chiffres ne doivent pas être considérés comme la norme. En cas de surpopulation carcérale, la restriction de l'espace de vie individuel réservé au détenu ne suffit pas pour conclure à une violation de l'art. 3 CEDH: une telle violation n'est retenue que lorsque les personnes concernées disposent individuellement de moins de 3 m2. Au-delà d'une telle surface, les autres aspects des conditions de la détention doivent être pris en compte, comme l'aération disponible, la qualité du chauffage, le respect des règles d'hygiène de base et la possibilité d'utiliser les toilettes de manière privée. Il y a lieu, par ailleurs, de considérer, quant à la surface, mais toujours dans une appréciation globale, l'espace dont bénéficie concrètement le détenu pour se mouvoir compte tenu de l'emprise au sol des installations présentes (lavabo, mobilier, etc.; sur toute la question, cf. <ref-ruling> consid. 3 ss et les références citées; cf. également arrêts 6B_71/2016 du 5 avril 2017consid. 5.2; 6B_688/2015 du 19 mai 2016 consid. 7.2).
1.2. Se prononçant sur la situation de la prison genevoise de Champ-Dollon, le Tribunal fédéral a jugé qu'en cas de surpopulation carcérale, l'occupation d'une cellule dite individuelle par trois détenus - chacun disposant d'un espace individuel de 4 m2, restreint du mobilier, - est une condition de détention difficile; elle n'est cependant pas constitutive d'une violation de l'art. 3 CEDH et ne représente pas un traitement dégradant portant atteinte à la dignité humaine des prévenus. En revanche, l'occupation d'une cellule dite triple par six détenus avec une surface individuelle inférieure à 3,83 m2 - restreinte encore par le mobilier - peut constituer une violation de l'art. 3 CEDH si elle s'étend sur une longue période et si elle s'accompagne d'autres mauvaises conditions de détention. Il faut dès lors considérer la période pendant laquelle le recourant a été détenu dans les conditions incriminées. Une durée qui s'approche de trois mois consécutifs (délai que l'on retrouve en matière de contrôle périodique de la détention provisoire ou pour des motifs de sûreté; cf. <ref-law>) apparaît comme la limite au-delà de laquelle les conditions de détention susmentionnées ne peuvent plus être tolérées (<ref-ruling> consid. 3.6.3).
Dans un arrêt de principe Mursic contre Croatie du 20 octobre 2016, la Grande Chambre de la CourEDH s'est cependant écartée de cet ordre de grandeur de 4 m2, déduit des normes établies par le CPT: désormais, la Cour retient qu'une surface de 3 m2 au sol par détenu dans une cellule collective constitue la norme minimale pertinente (arrêt CourEDH Mursic c. Croatie du 20 octobre 2016 [requête n° xxx], § 110 à § 115).
Lorsqu'un détenu dispose dans la cellule d'un espace personnel compris entre 3 et 4 m2, le facteur spatial demeure un élément de poids dans l'appréciation du caractère adéquat des conditions de détention. Il y a lieu de conclure à une violation de l'art. 3 CEDH si le manque d'espace s'accompagne d'autres mauvaises conditions matérielles de détention, notamment d'un défaut d'accès à la cour de promenade ou à l'air et à la lumière naturels, d'une mauvaise aération, d'une température insuffisante ou trop élevée dans les locaux, d'une absence d'intimité aux toilettes ou de mauvaises conditions sanitaires et hygiéniques (arrêt CourEDH Mursic c. Croatie précité, § 106 et § 139 et les arrêts cités). Lorsqu'on évalue les conditions de détention, il y a lieu de tenir compte de leurs effets cumulatifs ainsi que des allégations spécifiques du requérant. La durée de détention d'une personne dans des conditions particulières doit elle aussi être prise en considération (arrêt CourEDH Mursic c. Croatie précité, § 101 et § 131 et les arrêts cités). Lorsqu'un détenu dispose de plus de 4 m2 d'espace personnel en cellule collective et que cet aspect de ses conditions matérielles de détention ne pose donc pas de problème, les autres aspects indiqués ci-dessus demeurent pertinents aux fins de l'appréciation du caractère adéquat des conditions de détention de l'intéressé au regard de l'art. 3 CEDH (arrêt CourEDH Mursic c. Croatie précité, § 140 et les arrêts cités; cf. <ref-ruling> consid. 3.2 et 3.4; arrêt 6B_284/2020 du 3 juillet 2020 consid. 2.3).
1.3. En l'espèce, conformément à l'arrêt de renvoi du Tribunal fédéral du 10 mars 2020 (6B_103/2020) et à la jurisprudence topique préconisant une appréciation globale des circonstances, notamment de la durée de la détention, la cour cantonale a pris en considération les faits ressortant de l'ordonnance du TMC du 2 octobre 2018 (période du 19 février 2016 au 19 février 2018) pour apprécier les conditions de détention pendant la période litigieuse (du 19 février 2018 au 6 décembre 2018).
Il ressort de l'arrêt entrepris que le recourant a partagé sa cellule avec un codétenu pendant toute la durée de la détention à la prison du Bois-Mermet.
Il a occupé successivement deux cellules où il a bénéficié d'une surface individuelle de 3,875 m2 (une fois la surface sanitaire déduite) durant 29 jours du 23 février au 21 mars 2016, puis une cellule où il a bénéficié d'une surface individuelle de 3,85 m2 durant 197 jours du 21 mars au 3 octobre 2016, puis une cellule où il a bénéficié d'une surface de 3,7 m2 durant 409 jours, avant d'occuper deux dernières cellules où il a bénéficié de 4,5 m2 durant 97 jours du 15 novembre 2017 au 19 février 2018, puis de 4,25 m2 durant un jour, le 19 février 2018. Pendant la période litigieuse en l'espèce, du 19 février 2018 au 6 décembre 2018 (291 jours), le recourant a occupé une cellule avec un autre codétenu, offrant une surface individuelle nette de 4,55 m2 (une fois la surface sanitaire de 1,5 m2 déduite), respectivement de 4,3 m2 (admettant une déduction de surface sanitaire de 2 m2).
Il ressort de l'arrêt entrepris que le recourant était inscrit comme fumeur à son arrivée à la prison du Bois-Mermet, ce qu'il avait reconnu lors de son audition. Il ne s'était ensuite jamais annoncé formellement comme non-fumeur et avait admis avoir également fumé dans sa cellule. La cour cantonale a retenu qu'il n'avait pas établi être devenu non-fumeur, ni que la fumée passive lui était spécifiquement interdite pour des motifs médicaux. Pendant la période litigieuse, il a cohabité avec un détenu fumeur entre le 13 août 2018 et le 6 décembre 2018.
L'espace sanitaire des cellules était séparé par un rideau ignifuge, l'isolation, le chauffage ainsi que l'aération étaient lacunaires.
Du 4 octobre 2016 au 18 février 2018, le recourant a travaillé à 100% à l'atelier de cuisine, à raison de six jours de travail et de deux jours de congé, en alternance ou non avec son codétenu, se trouvant parfois seul en cellule. Dès le 20 février 2018, il a travaillé à l'atelier sport à 50%, six semaines de trois jours (horaires: 07h45-11h30 puis de 13h45-16h30), puis six semaines de deux jours. Il a pu bénéficier, chaque après-midi de beau temps, de travail à l'extérieur (horaires précités), même lors de ses jours de congé. Par mauvais temps, ces sorties étaient réduites à une heure de promenade par jour ainsi qu'à trois séries de sport par semaine. Le recourant a bénéficié de visites "pères-enfants", de séances de créativité, de très nombreuses visites et de nombreux téléphones. Il ne s'est en revanche pas inscrit aux activités socio-éducatives proposées.
Compte tenu de ces circonstances (espace individuel, nombre d'heures hors cellule ou seul dans celle-ci, travail à mi-temps, notamment à l'extérieur, accès à des activités sportives et récréatives, visites), les conditions de détention du recourant durant 9 mois et demi (du 19 février au 6 décembre 2018) ont été jugées conformes aux standards minimaux.
1.4. Ainsi que le relève le recourant, le Tribunal fédéral n'a pas examiné la cause au fond dans son arrêt du 10 mars 2020, de sorte qu'il est recevable à contester l'arrêt entrepris s'agissant de l'appréciation de ses conditions de détention durant la période du 20 février 2018 au 6 décembre 2018.
S'il convient de tenir compte de la durée des conditions de détention dénoncées (cf. supra consid. 1.1 et 1.2), il ne s'agit toutefois pas pour autant de transposer l'appréciation faite pour la période du 19 février 2016 au 19 février 2018 à celle en cause, comme le précise la cour cantonale.
1.4.1. Le recourant prétend, de manière purement appellatoire, partant irrecevable (cf. <ref-law>; <ref-ruling> consid. 1.3.1) que la cellule 151, dans laquelle il séjournait pendant la période litigieuse, et contenant notamment deux lits et deux chaises ne serait pas adaptée à un usage collectif dès lors qu'elle aurait, selon lui, été aménagée comme cellule individuelle.
En se contentant de relever que le TMC avait, dans son ordonnance du 2 octobre 2018, retenu une surface individuelle de 4,25 m2 pour la cellule 151 qu'il occupait, le recourant échoue à démontrer l'arbitraire de la constatation cantonale selon laquelle la surface individuelle était de 4,55 m2, voire 4,3 m2, en fonction de la déduction accordée pour les sanitaires. Contrairement à ce qu'il prétend, cette première ordonnance ne lie pas la cour cantonale, ni le Tribunal fédéral, s'agissant de la taille de sa cellule pendant la période litigieuse. En tout état, son argumentation ne permet pas de comprendre dans quelle mesure, la surface admise par le TMC serait inférieure à 4 m2, la cour cantonale ayant retranché la surface sanitaire conformément à la jurisprudence (cf. arrêts 1B_325/2017 du 14 novembre 2017 consid. 3.3; 1B_70/2016 du 24 juin 2016 consid. 3.4).
Faute de remplir les exigences minimales de motivation, le recourant est irrecevable à interpréter plus largement les "normes minimales" établies, en s'appuyant sur un standard de vie élevé. En tout état, le CPT prévoit expressément une surface individuelle de 4 m2 pour une cellule occupée par plusieurs détenus. En outre, les RPE - et a fortiori leur commentaire - n'ont valeur que de simples directives à l'intention des Etats membres du Conseil de l'Europe, dont le Tribunal fédéral tient compte dans la concrétisation de la liberté personnelle et des autres droits fondamentaux garantis par la Constitution (<ref-ruling> consid. 2.2; <ref-ruling> consid. 6.3.3 et l'arrêt cité).
Cela étant et compte tenu de la jurisprudence fédérale et conventionnelle rendue en matière de détention en cellule collective, c'est en vain que le recourant se prévaut d'un droit à une cellule individuelle pendant la nuit (art. 18.5 REC) ou d'un choix avant de partager sa cellule pendant la nuit (art. 18.7 REC).
Dans la mesure où le recourant a bénéficié d'un espace individuel supérieur à 4 m2 en cellule collective pendant l'ensemble de la période litigieuse et que cet aspect n'est pas problématique, il convient d'examiner les autres facteurs pertinents au regard de l'art. 3 CEDH (arrêt CourEDH Mursic c. Croatie précité, § 140).
1.4.2. Il n'y a pas lieu d'entrer en matière sur les considérations générales que formule le recourant s'agissant de la responsabilité des autorités cantonales en lien avec la fermeture de la prison du Bois-Mermet, respectivement avec sa remise en état.
1.4.3. Le recourant ne tente pas de démontrer dans quelle mesure le seul fait qu'il aurait été en partie sous le régime de l'exécution de peine dans la prison du Bois-Mermet rendrait ses conditions de détention illicites, étant relevé que la jurisprudence de la CourEDH ne fait pas apparaître de distinction entre les détenus condamnés et ceux dans l'attente de leur procès, pour ce qui est de la norme minimale de surface au sol (arrêt CourEDH Mursic c. Croatie précité, § 115 et § 163, le requérant n'ayant pas travaillé pendant la détention en cause, et les arrêts cités).
S'agissant des activités hors cellule, le recourant ne conteste pas avoir bénéficié d'une activité à l'atelier de sport à 50% pendant 6h30 par jour (alternativement 2 et 3 jours par semaine), de travail à l'extérieur chaque après-midi de beau temps pendant 2h45 (même lors de ses jours de congé) ainsi que d'autres sorties et activités sportives et récréatives, outre la promenade quotidienne d'une heure.
C'est en vain qu'il prétend qu'il aurait eu droit à un travail à un taux de 100%, sur la base des art. 77 et 81 CP et de dispositions des RPE qui ne prévoient rien de tel, et en se contentant d'affirmer qu' "en principe dans la vie en liberté on travaille à 100% en l'absence d'une autre obligation" (cf. notamment arrêt 6B_1218/2018 du 14 janvier 2019 consid. 2.4, s'agissant de la question du droit du détenu d'exiger un travail; cf. également BAPTISTE VIREDAZ, in Commentaire romand du code pénal I, 2ème éd. 2020, n° 8 ss ad <ref-law>). Aussi, le recourant ne saurait être suivi en tant qu'il suggère que le temps passé à l'atelier de sport et aux autres activités extérieures constituerait une circonstance aggravant ses conditions de détention, alors que celles-ci étaient variées et lui ont permis de passer plusieurs heures par jour hors cellule (cf. également arrêts 1B_377/2020 du 2 décembre 2020 consid. 2.2 et 6B_1085/2016 du 28 août 2017 consid. 3.2 s'agissant du nombre d'heures passées hors cellule).
1.4.4. La cour cantonale a tenu compte de la mauvaise isolation thermique de la prison, tout en relevant, sans être contredite sur ce point, que le recourant ne s'était pas particulièrement plaint de cette circonstance. Aussi, cette condition défavorable a été prise en considération à juste titre, sans pour autant qu'une souffrance particulière, notamment en raison d'une sensibilité accrue n'ait été retenue.
1.4.5. Le recourant ne tente pas de démontrer l'arbitraire de la constatation selon laquelle il était inscrit comme fumeur à son arrivée à la prison et avait fumé dans sa cellule. Aussi, la cour cantonale pouvait, sans arbitraire, retenir qu'il était fumeur et qu'il n'avait pas exigé être placé dans une cellule non-fumeurs, de sorte qu'il ne saurait se prévaloir de cette prérogative dans l'analyse de ses conditions de détention (cf. art. 7 al. 2 de l'ordonnance sur la protection contre le tabagisme passif du 28 octobre 2009 [RS 818.311] en lien avec l'art. 1 de la loi fédérale sur la protection contre le tabagisme passif du 3 octobre 2008 [RS 818.31]). En outre, le partage d'une cellule avec des fumeurs n'est pas constitutif d'un traitement dégradant au sens de l'art. 3 CEDH s'il est limité dans le temps et s'il n'est pas fait état d'une atteinte directe à la santé du prévenu non-fumeur (<ref-ruling> consid. 3.6.4; arrêt 1B_404/2013 du 26 février 2014 consid. 2.6.3). Aussi, c'est en vain qu'il se contente d'affirmer que la prison "était au courant" du fait qu'il ne souhaitait pas partager sa cellule avec un détenu fumeur depuis qu'elle a été invitée par le TMC à se déterminer sur sa première demande de constatation de ses conditions de détention illicites en avril 2018.
Dans ces circonstances, le partage de sa cellule avec un détenu fumeur pendant près de quatre mois ne constitue pas une circonstance aggravant ses conditions de détention.
1.4.6. Le recourant ne saurait se prévaloir d'un arrêt de la CourEDH, dont il ressort que l'intéressé n'avait littéralement plus de place pour se mouvoir dans la cellule (offrant entre 3,8 et 4,1 m2) qu'il partageait avec un ou deux codétenu (s) et ne bénéficiait que d'une heure de sortie quotidienne, confiné 23h/24h sans ventilation suffisante (arrêt CourEDH Aleksandr Makarov c. Russie du 12 mars 2009, requête n° 15217/07, § 94 s.), rien de tel ne ressortant de l'état de fait de l'arrêt entrepris, auquel le Tribunal fédéral est lié (<ref-law>), faute de grief d'arbitraire sur ce point.
1.4.7. Il n'y a pas lieu d'entrer en matière sur les griefs que le recourant soulève en lien avec sa demande de libération conditionnelle, lesquels outrepassent le cadre de la présente cause et relèvent des <ref-law>. Il en va de même en tant qu'il se plaint de n'avoir pas bénéficié d'un plan d'exécution de peine au sens de l'<ref-law> pendant la période en cause et de dispositions des RPE sur ce point.
1.5. En définitive, il y a lieu de tenir compte du fait que pendant les 291 jours (plus de 9 mois et demi) de la période en cause, le recourant a été détenu dans une cellule offrant un système d'isolation/chauffage/aération lacunaire. La séparation de l'espace sanitaire par un rideau ignifuge plutôt que par une cloison a causé un manque d'intimité (cf. arrêts 1B_377/2020 du 2 décembre 2020 consid. 2.2; 1B_325/2017 du 14 novembre 2017 consid. 3.5), étant relevé que l'intéressé ne partageait sa cellule qu'avec un codétenu et que la séparation permet de protéger l'intimité dans une certaine mesure. Cependant, il a bénéficié d'une surface individuelle de plus de 4,3 m2, à savoir supérieure à l'espace minimal requis par la jurisprudence. Il a en outre bénéficié d'un travail à 50% à l'atelier de sport ainsi que d'autres activités hors cellule régulières, outre la promenade quotidienne d'une heure. La période litigieuse a été précédée d'un séjour de plus de trois mois dans une cellule offrant également plus de 4 m2 d'espace individuel, durant lequel le recourant a exercé une activité hors cellule à un taux de 100% et a été suivie d'un transfert aux EPO, établissement dont il n'est pas fait état de mauvaises conditions de détention.
Au vu de l'ensemble de ces circonstances, la cour cantonale pouvait considérer, sans violer le droit fédéral, que les conditions de détention du recourant pendant la période litigieuse respectaient les exigences constitutionnelles et étaient conformes à l'art. 3 CEDH.
2.
Le recours doit être rejeté dans la mesure de sa recevabilité. Comme ses conclusions étaient d'emblée vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais judiciaires, dont le montant sera toutefois fixé en tenant compte de sa situation (art. 65 al. 1 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 8 juillet 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Klinke