Faits :
A.
A._ se trouve en détention provisoire depuis le 31 janvier 2015, dans le cadre d'une procédure pénale dirigée contre lui notamment pour escroquerie par métier, usure, contrainte, infractions à la loi sur l'assurance chômage (LACI), à la loi sur les armes (LArm) et à la loi sur les stupéfiants (LStup). Il est détenu au sein de la prison vaudoise du Bois-Mermet depuis le 17 février 2015.
Par demande du 11 septembre 2015 (complétée le 21 septembre 2015) transmise au Tribunal des mesures de contrainte du canton de Vaud, A._ a requis une indemnisation pour ses conditions de détention qu'il estimait illicites. Le 6 novembre 2015, la Direction de la prison du Bois-Mermet s'est déterminée et a produit un rapport. Il en ressort notamment que le prénommé a occupé différentes cellules de 8,8 m 2 avec un autre détenu.
Par ordonnance du 20 janvier 2016, le Tribunal des mesures de contrainte a constaté que les conditions dans lesquelles se déroulait la détention provisoire du prévenu à la prison du Bois-Mermet étaient conformes aux exigences conventionnelles, constitutionnelles et légales.
Par arrêt du 4 février 2016, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours interjeté par A._ et a confirmé l'ordonnance du 20 janvier 2016. Elle a considéré en substance que les conditions de détention dénoncées ne violaient pas la dignité humaine.
B.
A._ a déposé un recours contre l'arrêt du 4 février 2016 auprès du Tribunal fédéral. Il demande que l'arrêt attaqué soit annulé et que la cause soit renvoyée à l'instance précédente pour nouvelle décision constatant que les conditions de sa détention provisoire ne sont pas conformes aux exigences conventionnelles, constitutionnelles et légales.
Invités à déposer des observations, le Ministère public et le Tribunal cantonal renoncent à se déterminer.

Considérant en droit :
1.
Selon l'<ref-law>, le recours en matière pénale est ouvert contre les décisions rendues en matière pénale, dont font partie les décisions relatives aux conditions de la détention provisoire ou pour des motifs de sûreté (arrêt 1B_369/2013 du 26 février 2014 consid. 1, non publié in <ref-ruling>). La recevabilité du recours en matière pénale dépend notamment de l'existence d'un intérêt juridique actuel à l'annulation de la décision entreprise (<ref-law>). De cette manière, les tribunaux sont assurés de trancher uniquement des questions concrètes et non de prendre des décisions à caractère théorique, ce qui répond à un souci d'économie de procédure (<ref-ruling> consid. 1.3 p. 276). En tant qu'il a vu rejetées ses conclusions en constatation du caractère irrégulier de sa détention, le recourant a intérêt à l'annulation de l'arrêt attaqué.
Les autres conditions de recevabilité sont remplies, de sorte qu'il convient d'entrer en matière.
2.
Les 8 et 9 mars, 28 avril, 9 mai et 20 juin 2016, le recourant a produit différents compléments à son recours. Tardives, ces écritures doivent être déclarées irrecevables (<ref-law>).
3.
Le recourant reproche à la cour cantonale d'avoir considéré que les conditions de sa détention au sein de la prison du Bois-Mermet étaient conformes à la dignité humaine (art. 3 CEDH et 7 Cst.) ainsi qu'aux normes européennes et internationales en matière de détention.
Il se plaint en particulier du manque d'espace au sein de la cellule. Il fait grief au Tribunal cantonal d'avoir pris en compte le mobilier et les toilettes dans le calcul de l'espace individuel à sa disposition au sein de la cellule. Il souligne aussi que les installations sanitaires ne sont pas séparées du reste de la cellule par une cloison mais par un rideau.
3.1. Au niveau conventionnel, l'art. 3 CEDH prévoit que nul ne peut être soumis à la torture ni à des peines ou traitements inhumains ou dégradants. Sur le plan constitutionnel, l'art. 7 Cst. prescrit de son côté que la dignité humaine doit être respectée et protégée. A teneur de l'art. 10 al. 3 Cst., la torture et tout autre traitement ou peine cruels, inhumains ou dégradants sont interdits.
Au niveau législatif, l'<ref-law> rappelle le principe du respect de la dignité humaine. L'<ref-law> régit l'exécution de la détention; il pose le principe général de proportionnalité (al. 1) et précise (al. 5) que les cantons règlent les droits et les obligations des prévenus en détention (sur l'exécution de la détention, voir Matthias Härri, Basler Kommentar, Schweizerische Strafprozessordnung, 2010, ad art. 234 et 235 CPP).
Dans le canton de Vaud, le règlement sur le statut des détenus avant jugement et des condamnés placés dans un établissement de détention avant jugement et les régimes de détention applicables (RSDAJ; RSV 340.02.5) ne contient aucune disposition précise concernant l'aménagement, l'équipement, la dimension des cellules ou la surface dont doit bénéficier chaque détenu à l'intérieur de celles-ci.
3.2. Pour le domaine spécifique de la détention, la Suisse a ratifié, le 7 octobre 1988, la Convention européenne de 1987 pour la prévention de la torture et des peines ou traitements inhumains ou dégradants (RS 0.106). L'art. 1 de cette Convention institue un "Comité européen pour la prévention de la torture et des peines ou traitements inhumains ou dégradants" (ci-après: CPT).
Le 15 décembre 2015, le CPT a édité une norme sur l'Espace vital par détenu dans les établissements pénitentiaires. Il en ressort que la norme minimale concernant l'espace vital devrait exclure les sanitaires qui se trouvent à l'intérieur d'une cellule. Ainsi, une cellule individuelle devrait mesurer 6 m2 auxquels on ajouterait la superficie nécessaire à une annexe sanitaire (généralement d'1 à 2 m2). De même, l'espace occupé par l'annexe sanitaire devrait être exclu du calcul des 4 m2 par personne dans les cellules collectives. De plus, l'annexe sanitaire de ces dernières devrait être entièrement cloisonnée.
Par ailleurs, le Comité des ministres du Conseil de l'Europe, en application de l'art. 15 (b) du Statut du Conseil de l'Europe (RS 0.192.030), a adopté le 11 janvier 2006 la Recommandation Rec (2006) 2 sur les Règles pénitentiaires européennes (ci-après; RPE), lesquelles s'inscrivent dans les précédentes recommandations établies dès 1989. Ces règles prennent notamment en compte le travail mené par le CPT ainsi que les normes qu'il a développées dans ses rapports généraux, et visent à garantir des conditions de détention qui ne portent pas atteinte à la dignité humaine. Les règles 17 à 22 RPE traitent des locaux de détention, de l'hygiène, de la literie et du régime alimentaire: ainsi, les locaux de détention doivent satisfaire aux exigences de respect de la dignité humaine et, dans la mesure du possible, de la vie privée, et répondre aux conditions minimales requises en matière de santé et d'hygiène, compte tenu des conditions climatiques. La règle 19.3 prévoit en particulier que les détenus doivent jouir d'un accès facile à des installations sanitaires hygiéniques et protégeant leur intimité.
3.3. Se prononçant sur la situation de la prison genevoise de Champ-Dollon, le Tribunal fédéral a jugé qu'en cas de surpopulation carcérale, l'occupation d'une cellule dite individuelle par trois détenus - chacun disposant d'un espace individuel de 4 m 2, restreint du mobilier, - est une condition de détention difficile; elle n'est cependant pas constitutive d'une violation de l'art. 3 CEDH et ne représente pas un traitement dégradant portant atteinte à la dignité humaine des prévenus.
En revanche, l'occupation d'une cellule dite triple par six détenus avec une surface individuelle inférieure à 3,83 m 2 - restreinte encore par le mobilier - peut constituer une violation de l'art. 3 CEDH si elle s'étend sur une longue période et si elle s'accompagne d'autres mauvaises conditions de détention. Il faut dès lors considérer la période pendant laquelle le recourant a été détenu dans les conditions incriminées. Une durée qui s'approche de trois mois consécutifs (délai que l'on retrouve en matière de contrôle périodique de la détention provisoire ou pour des motifs de sûreté; cf. <ref-law>) apparaît comme la limite au-delà de laquelle les conditions de détention susmentionnées ne peuvent plus être tolérées. En effet, si les conditions de détention provisoire peuvent être plus restrictives lorsque les risques de fuite, de collusion et de récidive sont plus élevés, ou lorsque l'ordre et la sécurité dans la prison sont particulièrement mis en danger, cela ne vaut pas lorsque la durée de la détention provisoire est de l'ordre de trois mois. Ce délai ne peut cependant pas être compris comme un délai au sens strict du terme mais comme une durée indicative à prendre en compte dans le cadre de l'appréciation globale de toutes les conditions concrètes de détention. La durée très limitée des périodes que le recourant est autorisé à passer hors de la cellule aggrave encore la situation (une heure de promenade en plein air par jour) (<ref-ruling> consid. 3.6.3 p. 138 s.).
Il sied de préciser que, dans cet arrêt, lors du calcul de la surface individuelle à disposition de chaque détenu, la surface des installations sanitaires avait été retranchée.
3.4. En l'espèce, le Tribunal cantonal a considéré que le recourant disposait d'une surface individuelle de 4,4 m 2 dans les différentes cellules qu'il a occupées. Il n'a cependant pas déduit la surface des sanitaires dans son calcul. Il s'est ainsi écarté à tort des règles posées par l'<ref-ruling> et par la norme du 15 décembre 2015 du Comité européen pour la prévention de la torture et des peines ou traitements inhumains ou dégradants (CPT) sur l'Espace vital par détenu dans les établissements pénitentiaires.
Comme il ne ressort pas du dossier quelle est la surface de l'espace occupé par les toilettes, il y a lieu de renvoyer la cause au Tribunal cantonal afin qu'il instruise ce point. Pour pouvoir évaluer précisément l'espace individuel à disposition du recourant, il appartiendra à l'instance précédente de se référer aux plans des différentes cellules que le prévenu a occupées.
Par ailleurs, s'agissant des autres conditions difficiles de détention, le Tribunal cantonal n'a pas non plus instruit précisément sur le temps que le recourant peut passer hors de sa cellule. S'il est établi que depuis le 1 er juillet 2015 l'intéressé travaille durant 3h30 par semaine, on ignore le temps hebdomadaire dont il peut bénéficier dans la salle de sport ainsi que la durée de la promenade quotidienne. Il peut aussi être pertinent de connaître le nombre approximatif d'heures durant lesquelles le recourant est seul dans sa cellule, son codétenu se trouvant au travail ou à la salle de sport.
Enfin, pour pouvoir évaluer si l'intimité des détenus est suffisamment assurée, la cour cantonale devra exposer plus en détail la manière dont les toilettes sont séparées du reste de la cellule, à l'aide par exemple de photographies.
Disposant de ces différents éléments, le Tribunal cantonal pourra alors évaluer si l'ensemble de ces conditions de détention s'analyse comme un traitement dégradant et inhumain au sens des art. 3 CEDH, 7 et 10 al. 3 Cst.
4.
Il s'ensuit que le recours doit être admis partiellement et l'arrêt attaqué annulé. La cause est renvoyée au Tribunal cantonal pour complément d'instruction au sens des considérants et nouvelle décision.
Le recourant, qui a procédé sans l'aide d'un avocat, n'a pas droit à des dépens (<ref-law>). Il n'est pas perçu de frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis partiellement, la décision attaquée est annulée et la cause est renvoyée au Tribunal cantonal pour complément d'instruction et nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué au recourant, à la Direction de la prison du Bois-Mermet, au Ministère public central du canton de Vaud et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 24 juin 2016
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
La Greffière : Tornay Schaller