Faits :
A.
Par acte d'accusation du 28 août 2020, le Ministère public de l'Etat de Fribourg a renvoyé A._ devant le Tribunal pénal de l'arrondissement de la Broye, sous les accusations d'actes d'ordre sexuel avec des enfants, contrainte sexuelle, viols, actes d'ordre sexuel commis sur personne incapable de discernement ou de résistance, pornographie, inceste, violation du devoir d'assistance ou d'éducation (actes commis entre janvier 2012 et février 2019 sur sa fille née en décembre 2011), contrainte sexuelle, viols et menaces (actes commis sur son épouse jusqu'en février 2019) ainsi que pornographie et représentation de la violence. Le prévenu est détenu depuis le 8 février 2019, actuellement en exécution anticipée de peine.
Le 22 octobre 2020, l'avocat de l'accusé s'est adressé au Président du Tribunal pénal Jean-Benoît Meuwly (ci-après: le Président). Il relevait que ce dernier présidait également le Tribunal civil de la Broye, chargé d'une procédure de mesures protectrices de l'union conjugale ayant opposé entre mars 2019 et décembre 2020 A._ et son épouse, ce qui posait problème sous l'angle de l'apparence de prévention. Il demandait dès lors sa récusation.
B.
Par arrêt du 12 janvier 2021, la Chambre pénale du Tribunal cantonal fribourgeois a rejeté la demande de récusation. Des pièces du dossier pénal avaient été produites dans la cause civile. Deux mentions relatives à la détention du prévenu avaient été faites. Le Président n'avait toutefois ordonné l'apport d'aucun élément du dossier pénal, ceux-ci ayant été produits par les parties. Il n'avait pas procédé à l'audition de l'enfant. Il ne s'était pas prononcé sur la culpabilité du prévenu dans ses décisions civiles; les termes utilisés respectaient la présomption d'innocence et n'entraient pas dans les détails. Il n'y avait pas d'apparence de prévention.
C.
A._ forme un recours en matière pénale par lequel il demande au Tribunal fédéral d'ordonner la récusation du Président Meuwly dans le cadre de la procédure pénale, subsidiairement de renvoyer la cause à l'instance précédente pour nouvelle décision dans le sens des considérants. Il dépose une demande d'assistance judiciaire.
La Chambre pénale n'a pas présenté d'observations. Le Président conteste toute apparence de partialité et conclut au rejet du recours. Le recourant a renoncé à des observations supplémentaires et a présenté un état de frais.

Considérant en droit :
1.
Conformément aux art. 78, 79 et 92 al. 1 LTF, une décision cantonale relative à la récusation d'un magistrat pénal peut faire immédiatement l'objet d'un recours en matière pénale (arrêt 1B_25/2021 du 15 avril 2021 consid. 1). Le recourant, dont la demande de récusation a été rejetée, a qualité pour recourir en vertu de l'<ref-law>. Pour le surplus, le recours a été interjeté en temps utile (<ref-law>) contre une décision rendue en instance cantonale unique (art. 80 al. 2 in fine LTF) et les conclusions présentées sont recevables (<ref-law>). Le recourant se fonde sur la décision de mesures protectrices de l'union conjugale rendue par le Président le 11 décembre 2020, soit postérieurement à la demande de récusation. Dans la mesure où l'instance précédente en a elle-même fait état dans sa décision, on ne saurait y voir une pièce nouvelle au sens de l'<ref-law>, et le recourant est recevable à l'invoquer céans.
Il y a donc lieu d'entrer en matière.
2.
Le recourant invoque les art. 56 let. b et f CPP, ainsi que les <ref-law>, 30 al. 1 Cst. et 6 par. 1 CEDH. Il relève que le Président est intervenu depuis le 8 mars 2019 comme juge unique dans une procédure de mesures protectrices de l'union conjugale entre le recourant et son épouse. Il est actuellement saisi de la procédure de divorce. Par décision du 11 décembre 2020, il a retiré au recourant l'autorité parentale sur sa fille en raison des faits commis sur celle-ci, considérant ainsi, même de manière sommaire, que les reproches pénaux étaient fondés, les qualifiant en outre d'"extrêmement graves". Le Président aurait aussi, dans la même décision, porté des jugements de valeur sur la personne du recourant. Il connaîtrait les parties puisque plusieurs audiences de comparution personnelle ont déjà eu lieu au civil.
2.1. Selon l'<ref-law>, toute personne exerçant une fonction au sein d'une autorité pénale est tenue de se récuser lorsqu'elle a agi à un autre titre dans la même cause, en particulier comme membre d'une autorité, conseil juridique d'une partie, expert ou témoin. La notion de "même cause" au sens de cette disposition s'entend de manière formelle, c'est-à-dire comme la procédure ayant conduit à la décision attaquée ou devant conduire à celle attendue. Elle n'englobe en revanche pas une procédure distincte ou préalable se rapportant à la même affaire au sens large, soit au même ensemble de faits et de droits concernant les mêmes parties (arrêt 1B_362/2015 du 10 décembre 2015 consid. 3.2.1). Ainsi, une "même cause" au sens de l'<ref-law> implique une identité de parties, de procédure et de questions litigieuses (<ref-ruling> consid. 3.2; <ref-ruling> consid. 2d).
Un magistrat est également récusable, selon l'art. 56 let. f CPP, "lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil, sont de nature à le rendre suspect de prévention". Cette disposition a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes. Elle correspond à la garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du magistrat est établie, car une disposition interne de sa part ne peut guère être prouvée. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération. Les impressions purement individuelles d'une des parties au procès ne sont pas décisives (ATF <ref-ruling> consid. 3.2; <ref-ruling> consid. 3.2.1; <ref-ruling> consid. 2.1 et les arrêts cités).
La jurisprudence a renoncé à résoudre une fois pour toute la question de savoir si le cumul des fonctions contrevient ou non aux art. 30 al. 1 Cst. et 6 par. 1 CEDH. Elle exige cependant que l'issue de la cause ne soit pas prédéterminée, mais qu'elle demeure au contraire indécise quant à la constatation des faits et à la résolution des questions juridiques. Il faut en particulier examiner les fonctions procédurales que le juge a été appelé à exercer lors de son intervention précédente, prendre en compte les questions successives à trancher et mettre en évidence leur éventuelle analogie ou leur interdépendance, ainsi que l'étendue du pouvoir de décision du juge à leur sujet (<ref-ruling> consid. 4.2.1 et les arrêts cités).
2.2. La procédure de mesures protectrices de l'union conjugale ouverte en mars 2019 oppose certes les mêmes parties, soit le recourant, son épouse et sa fille, mais elle a un objet clairement distinct de la procédure pénale et ont ne saurait y voir une "même cause" au sens de l'<ref-law>.
2.3. Sous l'angle de la clause générale de l'art. 56 let. f CPP, si le Président a déjà pu prendre connaissance de quelques éléments de la procédure pénale, cela ne suffit pas pour craindre qu'il se soit forgé une opinion préconçue sur la culpabilité du recourant.
Dans le cadre de la procédure de mesures protectrices, le Président a, par décision du 11 mars 2019 sur mesures superprovisionnelles, attribué à l'épouse le domicile conjugal, attribué l'enfant à sa mère pour la garde et l'entretien et suspendu le droit de visite du recourant, décision reconduite après audition des parties le 7 mai 2019. Le 3 octobre 2019, le Président a ordonné une curatelle éducative en faveur de l'enfant. La procédure a ensuite été émaillée de diverses requêtes et actes d'instruction concernant essentiellement les rapports financiers entre les parties. Le Président a statué par décision du 11 décembre 2020 sur mesures protectrices. Il a expressément renoncé à faire produire le dossier relatif à l'instruction pénale, considérant que les quelques éléments produits par les parties étaient suffisants pour statuer au civil. La décision autorise les époux à vivre séparément, attribue l'ex-domicile commun au recourant, attribue l'autorité parentale, la garde et l'entretien de l'enfant exclusivement à la mère, le droit de visite du recourant étant suspendu. Une grande partie de cette décision est par ailleurs consacrée à la fixation de la contribution pour l'entretien de l'enfant.
Le magistrat ne s'est pas activement renseigné sur la procédure pénale et s'est montré réservé et objectif dans l'évocation de celle-ci: les éléments repris dans sa décision (gravité des charges, détention du recourant) ne sont mentionnés que dans la mesure pertinente pour statuer en application de l'<ref-law>. Se prononçant sur le retrait du droit de visite du recourant, le Président a considéré que celui-ci était détenu et que, selon une lettre du 16 septembre 2020 d'un thérapeute, la situation actuelle ne permettait aucune relation entre le recourant et sa fille. Le magistrat s'est ainsi fondé sur les seuls éléments admis ou prouvés par pièces et n'a donc pas cherché à établir lui-même des faits pouvant avoir un rapport avec la culpabilité pénale. Le seul reproche formulé à l'encontre du recourant dans la décision du 11 décembre 2020 concerne le dessaisissement de ses biens pour rémunérer ses avocats, au préjudice de sa famille, le Président y voyant un élément de mauvaise foi. Cette appréciation, faite dans le cadre de la détermination des éléments de fortune du recourant, est là aussi sans rapport avec les infractions qui font l'objet de la procédure pénale.
2.4. En définitive, ni la nature de la procédure civile, ni les éléments de faits établis à cette occasion, ni l'attitude du magistrat ou le contenu de ses décisions ne permettent de redouter une prévention de sa part à l'égard du recourant.
3.
Le recours doit, sur le vu de ce qui précède, être rejeté. Le recourant a demandé l'assistance judiciaire. La décision de mesures protectrices de l'union conjugale retient une fortune de l'ordre de 114'000 fr., affectée au paiement de la pension pour sa fille, le recourant n'étant plus en mesure de verser une pension pour son épouse. L'assistance judiciaire a été refusée au recourant en avril 2019 dans la procédure civile, mais la décision du 11 décembre 2020 relève que la situation a évolué compte tenu de la détention du recourant, de sa perte d'emploi et de l'épuisement de ses comptes bancaires. Dans ces circonstances et au vu des indications produites par le recourant à l'appui de sa demande, l'assistance judiciaire peut lui être accordée pour la présente procédure. Me Guillaume Bénard est désigné comme avocat d'office, rétribué par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est admise. Me Guillaume Bénard est désigné comme avocat d'office du recourant et une indemnité de 2'000 fr. lui est allouée à titre d'honoraires, à payer par la caisse du Tribunal fédéral. Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué au mandataire du recourant, à Jean-Benoît Meuwly et au Tribunal cantonal de l'Etat de Fribourg, Chambre pénale.
Lausanne, le 5 mai 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant : Chaix
Le Greffier : Kurz