Faits : A. Depuis le 3 novembre 2014, le Procureur Bertrand Bühler du Ministère public de l'arrondissement de Lausanne instruit une enquête contre A._ pour "avoir déposé une plainte mensongère à l'encontre de B._ afin de s'approprier un vase d'une grande valeur de manière astucieuse". Le 24 septembre 2015, le prévenu a été entendu par le Procureur Bertrand Bühler. Au cours de cette audience, A._ a demandé la récusation de ce magistrat au motif que le second aurait déclaré que le premier était un "menteur patenté". Le Procureur a conclu au rejet de cette demande, observations sur lesquelles le prévenu s'est déterminé le 10 octobre 2015. Par arrêt du 19 octobre 2015, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté la demande de récusation. B. Par acte du 9 décembre 2015, A._ forme un recours en matière pénale contre ce jugement, concluant à l'admission de sa demande de récusation. A titre subsidiaire, il requiert le renvoi de la cause à l'autorité précédente pour nouvelle décision. Le recourant sollicite aussi l'octroi de l'assistance judiciaire. L'autorité précédente, ainsi que le Procureur intimé ont renoncé à se déterminer, le second se référant aux observations déposées devant la première.