Faits : A. A._ se trouve en détention provisoire depuis le 31 janvier 2015, dans le cadre d'une procédure pénale dirigée contre lui notamment pour escroquerie par métier, usure, contrainte, infractions à la loi sur l'assurance chômage (LACI), à la loi sur les armes (LArm) et à la loi sur les stupéfiants (LStup). Il est détenu au sein de la prison vaudoise du Bois-Mermet depuis le 17 février 2015. Par demande du 11 septembre 2015 (complétée le 21 septembre 2015) transmise au Tribunal des mesures de contrainte du canton de Vaud, A._ a requis une indemnisation pour ses conditions de détention qu'il estimait illicites. Le 6 novembre 2015, la Direction de la prison du Bois-Mermet s'est déterminée et a produit un rapport. Il en ressort notamment que le prénommé a occupé différentes cellules de 8,8 m 2 avec un autre détenu. Par ordonnance du 20 janvier 2016, le Tribunal des mesures de contrainte a constaté que les conditions dans lesquelles se déroulait la détention provisoire du prévenu à la prison du Bois-Mermet étaient conformes aux exigences conventionnelles, constitutionnelles et légales. Par arrêt du 4 février 2016, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours interjeté par A._ et a confirmé l'ordonnance du 20 janvier 2016. Elle a considéré en substance que les conditions de détention dénoncées ne violaient pas la dignité humaine. B. A._ a déposé un recours contre l'arrêt du 4 février 2016 auprès du Tribunal fédéral. Il demande que l'arrêt attaqué soit annulé et que la cause soit renvoyée à l'instance précédente pour nouvelle décision constatant que les conditions de sa détention provisoire ne sont pas conformes aux exigences conventionnelles, constitutionnelles et légales. Invités à déposer des observations, le Ministère public et le Tribunal cantonal renoncent à se déterminer.