Faits : A. Dans le cadre l'instruction menée à son encontre pour infraction grave à la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (LStup; RS 812.121), A._ a demandé, le 6 novembre 2015, la récusation du Procureur du Ministère public de l'arrondissement de l'Est vaudois en charge de son dossier, ainsi que celle des inspecteurs C._, B._, voire de l'inspectrice D._, demandes en lien avec les conditions et motifs de son interpellation par la police le 1er juillet 2015. La première de ces requêtes a été admise le 25 février 2016 sur recours par le Tribunal fédéral (cause 1B_435/2015). Quant à la seconde, elle a été rejetée, s'agissant des deux premiers inspecteurs susmentionnés, le 2 juin 2016 par le nouveau Procureur saisi de cette cause. Cette décision a été annulée par le Tribunal fédéral le 27 juillet 2016 dès lors que les déterminations déposées par les policiers au cours de la procédure de récusation n'avaient pas été transmises au requérant (cause 1B_233/2016). Donnant suite à l'arrêt fédéral, les observations des policiers ont été adressées à A._ et celui-ci s'est déterminé le 6 septembre 2016, limitant sa demande de récusation à l'inspecteur B._. Le 4 octobre 2016, le Ministère public a rejeté cette requête. B. Par acte du 13 octobre 2016, A._ forme un recours en matière pénale contre cette décision, concluant à son annulation et à la récusation de l'inspecteur B._. Le recourant sollicite également l'octroi de l'assistance judiciaire. Invité à se déterminer, l'intimé n'a pas déposé d'observations. Quant à l'autorité précédente, elle s'est référée à sa décision.