Faits :
A.
Par jugement du 10 juillet 2014, A._ a notamment été reconnu coupable de lésions corporelles simples avec un objet dangereux, de voies de fait, de violences ou menaces contre les autorités et les fonctionnaires, de contraventions à la LCR et à la loi fribourgeoise d'application du code pénal (LCAP; RS FR 31.1). Il a été condamné à une peine privative de liberté ferme de 16 mois. Ce même jugement ordonnait que A._ soit soumis à une mesure thérapeutique institutionnelle au sens de l'<ref-law> (en milieu fermé), telle que préconisée par l'expert-psychiatre, le Dr med. R. B._, dans son rapport du 20 juin 2013. L'expert avait retenu un trouble dépressif récurrent, un trouble de la personnalité émotionnellement labile de type impulsif et un état de stress post-traumatique lié à son histoire de vie et aux actes de torture subis durant son séjour en prison au Sri Lanka.
A._ a fait appel du jugement précité en concluant à l'annulation de la mesure thérapeutique institutionnelle. A cette occasion, le prévenu a notamment requis l'exécution d'une nouvelle expertise psychiatrique et demandé qu'elle soit confiée à un autre expert, travaillant dans une autre unité. Le 20 novembre 2014, la direction de la procédure a ordonné un complément d'expertise psychiatrique qu'elle a proposé de confier au Dr B._.
B.
L'appelant s'étant opposé à ce que le complément d'expertise soit effectué par ce médecin, la Cour d'appel pénal du Tribunal cantonal fribourgeois a statué formellement, par arrêt du 8 janvier 2015. Celle-ci a rejeté la demande de récusation et confirmé la désignation du Dr B._ en qualité d'expert.
C.
Agissant par la voie du recours en matière pénale, A._ demande au Tribunal fédéral d'annuler cet arrêt et d'admettre la requête de récusation de l'expert. Il sollicite en outre l'assistance judiciaire. La cour cantonale renonce à formuler des observations sur le recours, tout comme le Dr B._. Le Ministère public conclut au rejet du recours dans la mesure de sa recevabilité. Le recourant se détermine une seconde fois et maintient sa position.

Considérant en droit :
1.
Conformément aux art. 78 et 92 al. 1 de la loi sur le Tribunal fédéral (LTF RS 173.110), les décisions incidentes de dernière instance cantonale portant sur une demande de récusation d'un expert dans une cause pénale peuvent immédiatement faire l'objet d'un recours en matière pénale. Le recourant, auteur de la demande de récusation rejetée, a qualité pour agir selon l'<ref-law>.
Le Ministère public conclut à l'irrecevabilité du recours en tant qu'il est dirigé contre le refus de la cour cantonale d'ordonner une nouvelle expertise en lieu et place d'un complément d'expertise. Le recourant n'a toutefois pas pris de conclusion formelle en ce sens, cet aspect de son argumentation étant uniquement lié à sa conclusion en récusation de l'expert, qui est, elle, recevable.
Les autres conditions de recevabilité sont réunies, si bien qu'il y a lieu d'entrer en matière.
2.
Le recourant se plaint d'une violation de l'<ref-law> ainsi que de l'<ref-law> en relation avec les art. 56 let. f CPP et 29 al. 1 Cst. Il fait valoir que l'expertise ordonnée est une nouvelle expertise et non un complément d'expertise au sens de l'<ref-law>. Il considère que l'expert, auteur de la première expertise, se serait déjà forgé une conviction en ce qui concerne le recourant et devrait remettre en cause sa propre expertise, de sorte qu'il ne serait plus neutre ni objectif.
2.1. A teneur de l'art. 189 let. c CPP, d'office ou à la demande d'une partie, la direction de la procédure fait compléter ou clarifier une expertise par le même expert ou désigne un nouvel expert lorsque l'exactitude de l'expertise est mise en doute. Pour ce faire, la direction de la procédure peut, suivant les circonstances, s'adresser au même expert ou désigner un nouvel expert ( LAURENT MOREILLON/AUDE PAREIN-REYMOND, Code de procédure pénale, Petit commentaire, 2013, n° 2 ad <ref-law>; MARIANNE HEER, in Basler Kommentar, Schweizerische Strafprozessordnung, 2e éd. 2014, n° 16 ad <ref-law>; JOËLLE VUILLE, in Commentaire romand, Code de procédure pénale suisse, 2011, n° 21 ad <ref-law>).
L'argumentation du recourant tendant à qualifier le nouveau mandat de nouvelle expertise et non de complément d'expertise n'est ainsi pas pertinente en l'espèce, dès lors qu'il ne découle de cette distinction aucune règle particulière quant à la personne de l'expert. Aussi est-ce, dans les deux cas, à la lumière des règles sur la récusation que doit être examinée l'éventuelle inadéquation de la nomination d'un expert.
2.2. L'<ref-law> - applicable aux experts par renvoi de l'<ref-law> - énumère divers motifs de récusation aux let. a à e, la let. f imposant la récusation "lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil, sont de nature à le rendre suspect de prévention". La let. f de l'<ref-law> a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes (<ref-ruling> consid. 2.1 p. 144). L'<ref-law> concrétise les droits déduits de l'art. 29 al. 1 Cst. garantissant l'équité du procès. Cette disposition assure au justiciable une protection équivalente à celle de l'art. 30 al. 1 Cst. s'agissant des exigences d'impartialité et d'indépendance requises d'un expert. Les parties à une procédure ont donc le droit d'exiger la récusation d'un expert dont la situation ou le comportement sont de nature à faire naître un doute sur son impartialité. Cette garantie tend notamment à éviter que des circonstances extérieures à la cause puissent influencer une appréciation en faveur ou au détriment d'une partie. Elle n'impose pas la récusation seulement lorsqu'une prévention effective est établie, car une disposition interne de l'expert ne peut guère être prouvée; il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale. Seules des circonstances constatées objectivement doivent être prises en considération; les impressions individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 2.1.1 p. 436; <ref-ruling> consid. 2.1 p. 144).
2.3. En l'espèce, compte tenu d'informations rectificatives de l'histoire de vie de l'expertisé, l'expert sera amené à se déterminer en la même cause, et en sa même qualité, mais avec des données factuelles différentes. Le recourant affirme de manière péremptoire que l'expert ne sera pas capable de se distancer de cette première histoire de vie, qu'il a été imprégné et influencé par ce qu'il a connu et analysé et ne sera pas en mesure de faire abstraction de sa première opinion. Or, cette argumentation relève de la pure spéculation. Le seul élément objectif sur lequel se fonde le recourant est le fait que l'expert s'est déjà prononcé et qu'il devra procéder à une nouvelle évaluation en fonction de faits différents. La situation de l'expert est comparable à celle d'un magistrat qui doit statuer une nouvelle fois sur une même affaire (par exemple sur demande de réexamen, après avoir jugé par défaut, ou après un renvoi ordonné par une instance de recours notamment). Dans ce cas, l'<ref-law>, qui prévoit la récusation d'une personne qui a agi à un autre titre dans la même cause, exclut généralement a contrario que cette situation, somme toute courante, justifie en soi la récusation (<ref-ruling> consid. 2.3 p. 146; <ref-ruling> consid. 3.6 p. 120; <ref-ruling> consid. 2b p. 410). Il en va de même pour l'expert: qu'il doive se prononcer une seconde fois à raison de faits nouveaux ou nouvellement connus ne saurait justifier une récusation. Le cas d'espèce se distingue ainsi de l'<ref-ruling>, cité par le recourant, où l'expertise judiciaire était destinée à contrôler la pertinence de l'appréciation des médecins de l'établissement dans lequel était interné l'expertisé; dans ce cas-là, à la différence du cas présent, nommer ces mêmes médecins en qualité d'experts les aurait fait intervenir dans la même affaire à un autre titre au sens de l'actuel <ref-law>. Au contraire, l'intimé n'est jusqu'ici intervenu que comme expert judiciaire et il est fait appel à ses services au même titre, pour qu'il complète, cas échéant rectifie, sa première analyse à la lumière d'indications nouvelles.
Il faut dès lors que des circonstances particulières, objectivement constatées, laissent penser que l'expert ne pourrait plus mener son mandat en toute objectivité au point que sa récusation doive être prononcée en application de l'art. 56 let. f CPP. Or, rien ne permet de supposer en l'espèce que l'expert puisse avoir une attitude partisane ou que son avis serait d'ores et déjà forgé. Son appréciation et ses compétences ne sont aucunement remises en cause, ni la manière dont il a conduit sa première expertise. On ne voit pas non plus qu'il puisse manifester un ressentiment particulier à l'égard du recourant du simple fait que celui-ci lui aurait menti. La connaissance de la première (et vraisemblablement fausse) version de l'histoire personnelle du recourant n'est pas, dans un contexte où le complément d'expertise tend précisément à évaluer les conséquences d'une éventuelle fausseté de ces faits, une circonstance particulière qui laisserait supposer une partialité de l'expert. Tout au plus, si celui-ci devait encore prendre en considération ces faits, en tiendrait-il compte à titre de "mensonges" rapportés par l'expertisé, si tant est que cela puisse être pertinent pour l'expertise.
Par ailleurs, contrairement à ce que tente de démontrer le recourant, la tournure des questions posées à l'expert est sans rapport avec un motif de récusation. Si le recourant considérait qu'il était inapproprié de questionner l'expert au sujet de l'incidence de ses allégations sur la nécessité d'ordonner des mesures ou un internement (au lieu d'ordonner une nouvelle expertise complète), il devait s'en prendre à la formulation même de la question posée, voire du principe du complément d'expertise. Ce qu'il n'a pas fait. Que, du point de vue du recourant, il soit de la sorte demandé à l'expert de remettre en cause sa propre expertise ne pose aucun problème de partialité, puisque, comme on l'a déjà relevé, cette remise en cause est la conséquence d'une modification des données factuelles et ne porte pas sur le bien-fondé de sa première appréciation ou, par extension, sur ses compétences. Dans de telles circonstances, l'expert est en mesure de procéder à une évaluation en toute objectivité, sur la base d'une nouvelle histoire de vie passée du recourant. Il n'est en effet pas rare qu'une expertise soit réalisée sur un prévenu qui nie les faits qui lui sont reprochés, de sorte que l'expert doive développer une double synthèse, prenant en compte alternativement les versions des faits contradictoires résultant du dossier. Or, la situation est d'autant moins complexe ici que les versions contradictoires portent sur l'anamnèse et non sur les actes pénaux en cause.
Enfin, le Dr B._ s'est certes déclaré favorable, devant l'instance précédente, à la nomination d'un autre expert. Dans cette très brève prise de position, il évoque l'inopportunité qu'il procède lui-même au complément d'expertise "vu les circonstances". Il n'affirme toutefois pas se sentir prévenu à l'égard du recourant. Et ses déterminations ne laissent pas penser que tel serait le cas. A cet égard, le recourant se méprend sur les circonstances de cette déclaration: celle-ci intervient en effet à la suite de la demande de récusation et ne correspond pas à une réponse négative de l'expert lorsque le mandat lui a été attribué. Pour le surplus, le recourant spécule ici encore sur la portée des propos de l'expert, qui n'affirme à aucun moment qu'il risquerait d'être influencé par une anamnèse erronée. L'intervention de l'expert dans la présente procédure, à l'occasion de laquelle il déclare renoncer à se déterminer, démontre au contraire qu'il ne considère pas que sa récusation s'impose et étaye encore la présomption de son impartialité.
En définitive, en l'absence de tout élément laissant apparaître un risque de prévention de la part de l'expert, sa nomination n'est pas critiquable.
3.
Il résulte de ce qui précède que le recours doit être rejeté et l'arrêt cantonal confirmé. La demande d'assistance judiciaire du recourant peut en revanche être admise; Me Elias Moussa est désigné comme défenseur d'office du recourant, rétribué par la caisse du Tribunal fédéral, et il n'est pas perçu de frais judiciaires (art. 64 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est admise; Me Elias Moussa est désigné comme avocat d'office du recourant et une indemnité de 2'000 fr. lui est allouée à titre d'honoraires, à verser par la caisse du Tribunal fédéral; il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué aux parties, au Ministère public de l'Etat de Fribourg et au Tribunal cantonal de l'Etat de Fribourg, Cour d'appel pénal.
Lausanne, le 29 avril 2015
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
La Greffière : Sidi-Ali