Faits :
A.
Le 13 avril 2019, la Procureure Gwénaëlle Gattoni a ouvert une instruction pénale contre A._ pour actes d'ordre sexuel commis sur une personne incapable de résistance (<ref-law>) voire de contrainte sexuelle (<ref-law>), subsidiairement d'abus de détresse (<ref-law>) et de conduite en état d'ébriété avec un taux d'alcool qualifié (<ref-law>). Il lui est notamment reproché d'avoir commis des actes d'ordre sexuel sur des patientes dans son cabinet médical de gynécologie.
Les 9 mai 2019 et 15 juillet 2019, le prévenu a déposé des demandes de récusation contre la Procureure précitée, lesquelles ont été rejetées par la Chambre pénale de recours de la Cour de justice du canton de Genève, par arrêts des 25 juin 2019 et 6 septembre 2019.
Par ordonnance du 17 novembre 2020, la Procureure Gattoni a étendu l'instruction de la cause à des faits commis au préjudice d'une autre patiente, B._, dans le cabinet médical du prévenu, le 14 novembre 2008. Par courrier du 27 novembre 2020, Me C._ (second conseil constitué pour A._) s'est étonnée de n'avoir pas eu accès aux pièces du dossier relatives aux faits précités en lien avec B._. Le 30 novembre 2020, la Procureure lui a indiqué que seul l'accès au rapport de police du 20 octobre 2020 (soit l'audition de B._) lui avait été refusé, dès lors que son client n'avait pas encore été auditionné, l'audience de confrontation étant une preuve principale: le principe du contradictoire n'avait pas pour but de permettre au prévenu de participer à la première audition d'un témoin et d'adapter ainsi ses déclarations en toute connaissance de cause.
Lors de l'audience du 1 er décembre 2020, la Procureure a entendu B._ comme témoin, en présence des conseils des parties plaignantes, du prévenu et de Me C._, hors confrontation directe, dans une salle LAVI. Le témoin s'est exprimé sur les faits, puis la Procureure a demandé au prévenu de se déterminer. Celui-ci les a contestés. Il a ensuite indiqué qu'il allait prendre connaissance du procès-verbal d'audition et déposer aussi plainte contre B._ pour faux témoignage. Le témoin a ensuite répondu aux questions du conseil du prévenu. Le procès-verbal d'audition contient plusieurs notes de la Procureure, libellées comme suit:
- Me C._ conteste l'utilisation de la salle LAVI;
- Me C._ indique que l'audition est inexploitable car elle n'a pas le procès-verbal d'audition. Elle se réserve le droit de redemander l'audition du témoin. Elle indique que son client aimerait se déterminer sur le témoignage de B._. La Procureure lui indique que l'on n'attend que cela et que c'est pour cela qu'elle lui a posé des questions à ce sujet. Le dossier médical de B._ est transmis au prévenu;
- Il est demandé au prévenu d'expliquer quelles sont les notes qu'il a devant lui. Il explique, ainsi que son conseil, qu'il s'agit de note de préparation de l'audience actuelle. La Procureure l'autorise à répondre aux question avec ces notes;
- Le prévenu et son avocate indiquent que le prévenu [à une réponse précédente protocolée comme suit: " (...) Le Dr D._ m'a évidemment dit qu'elle était complètement folle "] n'a pas utilisé le terme "évidemment": seules la Procureure et la greffière l'ont entendu. Les autres avocats ne se prononcent pas;
- Me C._ demande à changer de salle pour entrer en salle d'audience pour poser ses questions. Cela lui est refusé. La Direction de la procédure indique formellement qu'il s'agit d'une décision susceptible de recours auprès de la Chambre pénale de recours;
- Le procès-verbal est transmis au prévenu à 17h02 pour relecture. A 17h10, Me C._ demande de modifier une phrase à la page 11, soit qu'il soit indiqué "je n'ai pas vu s'il était en érection" au lieu de "je n'ai pas vu qu'il était en érection". Cela a été modifié. A 17h11, Me C._ souhaite poser une nouvelle question au témoin. Cela lui est refusé car l'audition est terminée depuis dix minutes et que "nous sommes au temps de la relecture du procès-verbal". Me C._ indique que si c'est comme cela, son client ne signera pas le procès-verbal. Elle quitte avec son client la salle d'audition à 17h12.
B.
Par courriel du 2 décembre 2020, Me C._ a annoncé à la Procureure que son client déposerait une requête de récusation à son encontre, vu le déroulement de l'audience de la veille. Elle a aussi sollicité le renvoi de l'audience du 4 décembre 2020. La Procureure lui a répondu que cette audience serait maintenue. L'audience sera finalement annulée, en raison d'une incapacité du témoin à comparaître.
Le 3 décembre 2020, A._ a sollicité la récusation de la Procureure Gattoni. Il lui reproche notamment de n'instruire qu'à charge et de tenir sa culpabilité pour acquise, d'avoir refusé à son épouse de retirer du dossier le rapport de police du 11 novembre 2019, de lui avoir refusé l'accès au rapport de police du 20 octobre 2020 avant l'audience du 1 er décembre 2020, d'avoir utilisé une salle LAVI dépourvue d'une vitre sans tain et avec un système audio défectueux, d'avoir fait escorter par la greffière Me C._ pour se rendre aux toilettes, d'avoir refusé à Me C._ de se déplacer dans la salle principale pour pouvoir poser des questions au témoin et d'avoir refusé à la défense de poser une question au témoin.
Par arrêt du 5 février 2021, la Chambre pénale de recours de la Cour de justice du canton de Genève (ci-après: la Cour de justice) a rejeté la requête du prénommé.
C.
Agissant par la voie du recours en matière pénale, A._ demande principalement au Tribunal fédéral d'annuler l'arrêt du 5 février 2021 et de prononcer la récusation de la Procureure Gattoni. Il conclut subsidiairement au renvoi de la cause à l'instance précédente pour nouvel examen au sens des considérants. Il sollicite encore plus subsidiairement la constatation que les frais de la procédure devant l'instance précédente, d'un montant de 1'500 francs, "sont disproportionnés et inéquitables en regard de la simplicité de la cause, s'agissant de demandes de récusation qui ont déjà été déposées préalablement et ayant concrètement occasionné une motivation topique sur cinq pages, le bien-fondé des doutes de préventions étant simplement contestés".
Le Ministère public genevois fait siens les considérants de l'arrêt entrepris et conclut au rejet du recours. L'autorité précédente a renoncé à se déterminer.

Considérant en droit :
1.
Conformément aux art. 78, 79 et 92 al. 1 LTF, une décision cantonale relative à la récusation d'un magistrat pénal peut faire immédiatement l'objet d'un recours en matière pénale (arrêts 1B_420/2020 du 28 octobre 2020 consid. 1; 1B_331/2020 du 23 juillet 2020 consid. 2). Le recourant, dont la demande de récusation a été rejetée, a qualité pour recourir en vertu de l'<ref-law>. Pour le surplus, le recours a été interjeté en temps utile (<ref-law>) contre une décision rendue en instance cantonale unique (art. 80 al. 2 in fine LTF) et les conclusions présentées sont recevables (<ref-law>). Il y a donc lieu d'entrer en matière.
2.
Le recourant se plaint d'une constatation manifestement inexacte des faits.
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). La partie recourante ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées, sans s'en tenir à des critiques appellatoires.
Par ailleurs, aucun fait nouveau, ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
2.2. En l'occurrence, le recourant reproche à la Cour de justice d'avoir écarté les explications mentionnées dans sa réplique du 11 janvier 2021 s'agissant de la contestation de la légitimité de la pratique de refus de permettre au conseil du recourant de se déplacer dans la salle d'audition principale pour venir questionner le témoin. Ces explications ne sont cependant pas susceptibles d'influer sur le sort de la cause (voir infra consid. 3.3).
S'agissant de la suspension de la procédure pour que l'avocate puisse se rendre aux toilettes, le recourant reproche à la cour cantonale d'avoir retenu que "le requérant prétend que cette demande de suspension, certes non explicitée, n'avait pas été d'emblée acceptée". Il précise qu'une demande de suspension, certes sans en exposer les motifs, a été formulée cinq fois avant d'être acceptée, l'avocate ayant été obligée de se lever pour montrer son besoin d'aller aux toilettes. Cette précision est cependant sans incidence sur l'issue du litige (voir infra consid. 3.3).
Le recourant fait ensuite valoir, pour la première fois devant le Tribunal fédéral, un nouveau motif de récusation (en lien avec le refus de la magistrate intimée de renvoyer l'audition d'un témoin le 4 décembre 2020, au motif que l'instruction ne pouvait souffrir aucun retard; l'audition en question n'avait finalement pas eu lieu, en raison d'une incapacité du témoin à comparaître; elle se serait tenue trois mois plus tard, de sorte que l'urgence invoquée par la magistrate serait constitutive de prévention à son encontre). Il s'agit d'un fait nouveau qui ne peut pas être pris en considération par le Tribunal fédéral (<ref-law>).
3.
Invoquant une violation de l'art. 56 let. f CPP, le recourant reproche à l'autorité précédente d'avoir considéré que les comportements dénoncés de la Procureure intimée ne démontreraient pas une prévention de la part de celui-ci à son encontre.
3.1. Un magistrat est récusable pour l'un des motifs prévus aux art. 56 let. a à e CPP, qui n'ont pas été invoqués en l'espèce. Il l'est aussi selon l'art. 56 let. f CPP, "lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil, sont de nature à le rendre suspect de prévention". Cette disposition a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux lettres précédentes. Elle correspond à la garantie d'un tribunal indépendant et impartial instituée par les art. 30 Cst. et 6 CEDH. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du magistrat est établie, car une disposition interne de sa part ne peut guère être prouvée. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération. Les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 4.3 p. 162; <ref-ruling> consid. 3.2 p. 74). L'impartialité subjective d'un magistrat se présume jusqu'à preuve du contraire (<ref-ruling> consid. 3.2.1 p. 609).
Dans la phase de l'enquête préliminaire, ainsi que de l'instruction et jusqu'à la mise en accusation, le ministère public est l'autorité investie de la direction de la procédure (<ref-law>). A ce titre, il doit veiller au bon déroulement et à la légalité de la procédure (<ref-law>). Durant l'instruction, il doit établir, d'office et avec un soin égal, les faits à charge et à décharge (<ref-law>); il doit statuer sur les réquisitions de preuves et peut rendre des décisions quant à la suite de la procédure (classement ou mise en accusation), voire rendre une ordonnance pénale pour laquelle il assume une fonction juridictionnelle. Dans ce cadre, le ministère public est tenu à une certaine impartialité même s'il peut être amené, provisoirement du moins, à adopter une attitude plus orientée à l'égard du prévenu ou à faire état de ses convictions à un moment donné de l'enquête. Tout en disposant, dans le cadre de ses investigations, d'une certaine liberté, le magistrat reste tenu à un devoir de réserve. Il doit s'abstenir de tout procédé déloyal, instruire tant à charge qu'à décharge et ne point avantager une partie au détriment d'une autre (<ref-ruling> consid. 3.2.2 p. 179 s.; <ref-ruling> consid. 2.2.1 p. 145).
De manière générale, les déclarations d'un magistrat - notamment celles figurant au procès-verbal des auditions - doivent être interprétées de manière objective, en tenant compte de leur contexte, de leurs modalités et du but apparemment recherché par leur auteur (arrêt 1B_186/2019 du 24 juin 2019 consid. 5.1 et l'arrêt cité).
Des décisions ou des actes de procédure qui se révèlent par la suite erronés ne fondent pas en soi une apparence objective de prévention; seules des erreurs particulièrement lourdes ou répétées, constitutives de violations graves des devoirs du magistrat, peuvent fonder une suspicion de partialité, pour autant que les circonstances dénotent que la personne en cause est prévenue ou justifient à tout le moins objectivement l'apparence de prévention. Il appartient en outre aux juridictions de recours normalement compétentes de constater et de redresser les erreurs éventuellement commises dans ce cadre. La procédure de récusation n'a donc pas pour objet de permettre aux parties de contester la manière dont est menée l'instruction et de remettre en cause les différentes décisions incidentes prises par la direction de la procédure (ATF <ref-ruling> consid. 3.2 p. 74 s.).
Par ailleurs, conformément à l'<ref-law>, la récusation doit être demandée sans délai, dès que la partie a connaissance du motif de récusation, c'est-à-dire dans les jours qui suivent la connaissance de la cause de récusation, sous peine de déchéance (<ref-ruling> consid. 8.4.3). En matière pénale, est irrecevable pour cause de tardiveté la demande de récusation déposée trois mois, deux mois ou même vingt jours après avoir pris connaissance du motif de récusation (arrêt 1B_630/2020 du 23 mars 2021 consid. 2.2 et les arrêts cités).
3.2. En l'espèce, le recourant voit d'abord un motif de partialité de la magistrate intimée dans les circonstances de son arrestation en 2019 (le débarquement inutile par deux fois de huit personnes au domicile du prévenu et son arrestation au domicile familial). Il a déjà soulevé cet élément dans ses deux précédentes demandes de récusation. La Cour de justice renvoie à ses arrêts du 25 juin 2019 et du 6 septembre 2019, dans lesquels elle a déjà traité ce grief. Elle avait retenu que le recourant n'avait pas fait valoir ce grief sans délai au sens de l'<ref-law>, de sorte qu'il était irrecevable pour cause de tardiveté et de toute manière infondé. Fût-il recevable, cet élément ne serait pas en mesure de faire redouter une activité partiale de la magistrate intimée, compte tenu des circonstances très particulières relatives à l'arrestation du recourant. En effet, lorsque la police s'était rendue au domicile du recourant pour exécuter le mandat d'amener, le 18 mars 2019, l'intéressé se trouvait, selon son épouse, au Yémen et ne serait pas de retour avant le 21 mars 2019; le 18 mars 2019, le recourant avait contacté téléphoniquement la police, restant vague sur la date de son retour; les recherches effectuées avaient révélé qu'il avait annulé son vol de retour prévu le 30 mars 2019, avant même de quitter la Suisse et qu'aucun vol de retour n'avait été nouvellement planifié; le conseil du recourant avait informé la police le 28 mars 2019 que son client se trouvait toujours au Yémen et une audition avait été fixée au 2 avril 2019; il avait ensuite sollicité à trois reprises le report de cette audition, précisant que son client serait rentré en Suisse pour le 10 avril 2019; il sollicitait dès lors une audition le 11 ou le 12 avril 2019; devant la difficulté pour obtenir des informations claires et précises quant au retour du prévenu en Suisse et faute de preuve matérielle d'un billet d'avion de retour, la police n'avait pas donné suite à cette missive.
Le recourant reproche ensuite à la Procureure intimée d'avoir refusé à son épouse, partie tierce à la procédure, de retirer de la procédure le rapport de police du 11 novembre 2019. On ne saurait toutefois y voir une apparence de prévention à l'égard du prévenu puisque seule son épouse a sollicité le retrait du rapport. Il s'agit au demeurant d'une décision incidente qui peut être contestée par le biais d'un recours et non dans le cadre d'une demande de récusation.
Le recourant voit encore un motif de partialité dans le fait que la Procureure intimée lui a refusé l'accès au rapport de police du 20 octobre 2020 et au dossier médical séquestré le 18 novembre 2020, avant l'audience du 1 er décembre 2020, par décision du 30 novembre 2020. Le recourant n'a cependant pas contesté la décision du 30 novembre 2020. Or la procédure de récusation n'a pas pour objet de permettre aux parties de contester la manière dont est menée l'instruction (ATF <ref-ruling> consid. 3.2 p. 74 s). Le refus du Ministère public, fondé sur l'<ref-law>, ne saurait ainsi constituer une apparence de prévention.
S'agissant des griefs en lien avec l'utilisation de la salle LAVI lors de l'audience du témoin le 1 er décembre 2020, le recourant ne semble pas remettre en cause les mesures de protection du témoin ordonnées par la Procureure. Il fait cependant grief à la magistrate intimée d'avoir utilisé une salle LAVI dépourvue d'une vitre sans tain et avec un système audio "qui a dû faire l'objet de réglage et qui était défaillant". La Cour de justice a retenu que le procès-verbal de ladite audience ne laissait cependant pas apparaître des problèmes techniques qui auraient empêché la défense de faire valoir ses droits. Le recourant ne conteste pas cet élément. Il apparaît en effet que le prévenu a pu entendre les questions qui ont été posées puisqu'il y a répondu.
Le recourant met encore en évidence le refus de la Procureure de permettre à son conseil de se déplacer dans la salle d'audition principale pour venir questionner le témoin. A nouveau, cette décision était sujette à recours et ne saurait être mise en cause dans le cadre d'une procédure de récusation. Le fait que la Procureure aurait procédé différemment lors d'une autre audience ne fait pas non plus naître une apparence de prévention à l'encontre du prévenu.
Le recourant voit aussi un motif de partialité dans le fait que la Procureure a fait escorter Me C._ par sa greffière pour se rendre aux toilettes. La Procureure a indiqué avoir accepté de suspendre l'audience pour permettre à l'avocate du recourant de se rendre aux toilettes, une fois le motif de la requête de suspension compris. Le recourant affirme quant à lui qu'une demande de suspension, certes sans en exposer les motifs, a été formulée cinq fois avant d'être acceptée, l'avocate ayant été obligée de se lever pour montrer son besoin d'aller aux toilettes. Il y voit un soupçon de prévention à son encontre. On ne saurait toutefois y voir une profonde inimitié à l'égard du recourant et cela ne suffit pas pour fonder une apparence de prévention. Le recourant reproche encore à la cour cantonale d'avoir retenu que le déroulement de l'audience n'avait pas été compromis par cet épisode. Si l'instruction n'apparaît pas des plus sereines et contient de nombreuses protestations des avocats de la défense, ce climat tendu ne permet pas de remettre en cause la capacité d'une magistrate professionnelle à instruire de manière impartiale sur les faits dénoncés dans la présente cause. Quant à l'escorte de l'avocate jusqu'aux toilettes, elle ne trahit aucun soupçon de partialité à l'égard du recourant et apparaît au demeurant défendable pour des motifs de sécurité des lieux conforme aux prescriptions de sécurité du Ministère public.
Le recourant met encore en évidence le fait que la Procureure a refusé de poser une question supplémentaire au témoin à l'issue de l'audition (10 minutes après la fin de l'audition, lors de la relecture du procès-verbal). Nonobstant le fait que cette décision peut aussi faire l'objet d'un recours, elle n'apparaît pas objectivement de nature à entacher l'impartialité d'un magistrat professionnel.
Enfin, l'arrêt cantonal de la Cour de justice du 28 juillet 2020 (qui avait admis la requête de récusation de la défense) et dont se prévaut le recourant, repose sur des circonstances différentes. Dans cette affaire, certains propos du procureur dans ses écritures dénotaient un manque de distance et d'impartialité et témoignaient de la disposition interne du magistrat. Tel n'est pas le cas en l'espèce, la Procureure intimée n'ayant témoigné aucune disposition interne permettant de retenir qu'elle tient déjà la culpabilité du prévenu pour acquise.
3.3. En définitive, aucun des motifs avancés par le recourant, pris séparément ou dans leur ensemble, ne permet objectivement de retenir une apparence de prévention de la Procureure intimée. Dans ces conditions, il y a lieu de constater que la garantie du juge impartial a été respectée, de sorte que c'est à bon droit que la Cour de justice a rejeté la demande de récusation.
4.
Le recours est par conséquent rejeté, aux frais du recourant, qui succombe (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 francs, sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, à la Procureure Gwénaëlle Gattoni, au Ministère public du canton de Genève et à la Chambre pénale de recours de la Cour de justice du canton de Genève.
Lausanne, le 10 mai 2021
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
La Greffière : Tornay Schaller