Faits :
A.
A._ (1970) et B._ (1977) sont les parents non mariés de C._, né en 2008, et de D._, née en 2010.
A.a. Par décision de mesures provisionnelles du 1er mars 2012, puis par ordonnance du 4 septembre 2013, un droit de visite a été fixé en faveur du père à raison de deux heures par semaines au sein d'un Point Rencontre. Diverses mesures ont été mises en place.
A.b. Par ordonnance du 22 mai 2015, le droit de visite a été suspendu avec effet immédiat, à la suite d'un signalement du Service de protection des mineurs (SPMi) qui relevait que C._ avait fait état d'un comportement inadéquat à caractère sexuel de son père, et qu'une enquête pénale avait été ouverte.
Un curateur a été chargé de représenter les mineurs C._ et D._ dans la procédure civile pendante devant le Tribunal de protection de l'adulte et de l'enfant du canton de Genève (ci-après: le Tribunal de protection).
A.c. Par ordonnance de mesures provisionnelles du 30 juillet 2015, la reprise progressive des relations personnelles entre le père et les enfants a été ordonnée. Cette décision a été annulée le 20 janvier 2016 par la Chambre de surveillance de la Cour de justice du canton de Genève (ci-après: la Chambre de surveillance), qui a renvoyé la cause à l'autorité de première instance pour complément d'instruction.
A.d. Le Tribunal de protection a procédé à l'audition du Dr E._ puis invité les parties à se déterminer. Par ordonnance du 28 juillet 2016, il a accordé au père un droit aux relations personnelles devant s'exercer, dans un premier temps, sous forme de visites médiatisées, une fois par semaine au Point Rencontre, et pris plusieurs mesures.
La Chambre de surveillance a annulé cette décision par arrêt du 6 février 2017; elle a renvoyé la cause à l'autorité de première instance pour complément d'instruction, en particulier pour qu'il détermine si l'exercice d'un droit de visite était conforme à l'intérêt des enfants, étant relevé qu'il appartiendrait à l'expert qui serait mis en oeuvre de faire toutes suggestions utiles au sujet d'une éventuelle reprise du droit de visite et des modalités à prévoir.
B.
B.a. Par décision du 2 juin 2017, le Tribunal de protection a ordonné une expertise psychiatrique familiale et imparti un délai aux participants pour déposer la liste des questions qu'ils souhaitaient voir posées à l'expert.
La mère a recouru contre cette décision. A l'appui de son recours, elle a produit un courrier du Dr F._, psychiatre chargé du suivi psychothérapeutique des enfants, daté du 17 juin 2017, selon lequel la perspective d'une nouvelle expertise aurait pour effet de raviver chez les enfants une vive angoisse associée à l'éventuelle rencontre de leur père et, partant, de démanteler tous les bénéfices obtenus durant le suivi effectué.
Le curateur chargé de la représentation des enfants dans la procédure s'en est rapporté à justice sur la recevabilité du recours et a conclu à son rejet. Selon lui, il apparaissait opportun que l'expert se détermine sur le point de savoir si l'exercice d'un droit de visite était conforme à l'intérêt des enfants et si ceux-ci pouvaient être influencés ou manipulés par leur mère, ce que le thérapeute des enfants ne pouvait pas déterminer.
Le SPMi a indiqué, à l'instar du Dr F._, que la perspective d'une nouvelle expertise aurait pour effet de raviver chez les deux enfants une vive angoisse associée à l'éventuelle rencontre de leur père.
Le père ne s'est pas déterminé sur le recours.
La mère a répliqué et a produit une lettre du Dr F._ du 27 juillet 2017, qui confirmait le point de vue qu'il avait exprimé dans un précédent courrier.
B.b. Par décision du 26 octobre 2017, la Chambre de surveillance de la Cour de justice du canton de Genève a rejeté le recours.
C.
Agissant par mémoire du 30 novembre 2017, A._ exerce un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral, sollicitant en substance que la décision entreprise soit annulée et principalement qu'il soit " renonc [é], en l'état, à instruire de façon complémentaire la cause C/5375/2009 ". Subsidiairement, elle demande que soient ordonnées l'audition du Dr F._ ainsi qu'une " expertise psychiatrique sérieuse et objective " et une " expertise sexuelle sérieuse et objective " de B._. Plus subsidiairement, elle conclut au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Plus subsidiairement encore, elle demande à être acheminée " à apporter par toutes voies de droit utiles la preuve de l'entier des faits allégués dans les présentes écritures ". Enfin, elle demande le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Par ordonnance présidentielle du 21 décembre 2017, la requête d'effet suspensif a été admise.

Considérant en droit :
1.
Le recours a été interjeté en temps utile (<ref-law>). La décision entreprise, qui rejette le recours interjeté contre une décision du Tribunal de protection ordonnant une expertise psychiatrique familiale, est une décision incidente au sens de l'<ref-law>, puisqu'elle ne met pas fin à la procédure en cause. Le recours contre une décision incidente est soumis à la même voie de droit que celle qui est ouverte contre la décision principale (<ref-ruling> consid. 1.1). La cause dans laquelle la mesure d'instruction contestée a été ordonnée porte sur la fixation du droit aux relations personnelles d'un père sur ses enfants nés hors mariage, à savoir une cause de nature non pécuniaire, soumise au recours en matière civile selon l'<ref-law>. En conséquence, le recours constitutionnel subsidiaire est irrecevable (<ref-law>).
Hormis les décisions mentionnées à l'<ref-law>, sur des questions non pertinentes en l'espèce, une décision préjudicielle ou incidente peut être entreprise immédiatement si elle peut causer un préjudice irréparable (<ref-law>) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (<ref-law>). La recourante ne prétend pas que cette seconde hypothèse serait réalisée en l'espèce. S'agissant du préjudice irréparable, elle fait valoir que la décision attaquée expose ses enfants à un tel dommage puisque leur bien-être serait menacé.
Le préjudice irréparable au sens de l'<ref-law> doit être de nature juridique et ne pas pouvoir être entièrement réparé ultérieurement par une décision finale favorable au recourant; un dommage économique ou de pur fait n'est pas considéré comme un préjudice de cette nature (<ref-ruling> consid. 1.2). Il appartient au recourant d'alléguer et d'établir la possibilité que la décision incidente lui cause un préjudice irréparable, à moins que celui-ci ne fasse d'emblée aucun doute (<ref-law>; <ref-ruling> consid. 1.2 et les références; <ref-ruling> consid. 1.2 et les références). En principe, les décisions relatives à l'administration des preuves ne sont pas de nature à causer aux intéressés un dommage irréparable; en effet, la partie qui conteste une décision rendue en ce domaine dans un procès qui la concerne pourra attaquer, le cas échéant, cette décision incidente en même temps que la décision finale (<ref-ruling> consid. 1; <ref-ruling> consid. 1a; <ref-ruling> consid. 3; arrêts 4A_248/2014 4A_339/2013 du 8 octobre 2013 consid. 2; 5A_315/2012 du 28 août 2012 consid. 1.2.1). Dans des cas exceptionnels, il peut y avoir préjudice irréparable, par exemple lorsque le moyen de preuve refusé risque de disparaître ou qu'une partie est astreinte, sous la menace de l'amende au sens de l'<ref-law>, à produire des pièces, susceptibles de porter atteinte à ses secrets d'affaires ou à ceux de tiers, sans que le tribunal n'ait pris des mesures aptes à les protéger (arrêt 4A_416/2017 du 6 octobre 2017 consid. 4.1 et les références).
Le point de savoir si l'expertise ordonnée expose la recourante à un préjudice irréparable, autant qu'elle soit admise à faire valoir le préjudice de ses enfants (cf. infra consid. 2.2 in fine), peut rester indécis, dès lors que le recours doit quoi qu'il en soit être rejeté.
2.
La recevabilité du recours suppose que la partie qui saisit le Tribunal fédéral dispose de la qualité pour recourir.
2.1. Selon l'<ref-law>, a qualité pour former un recours en matière civile quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a) et est particulièrement touché par la décision attaquée et a un intérêt digne de protection à son annulation ou sa modification (let. b).
L'intérêt digne de protection consiste dans l'utilité pratique que l'admission du recours apporterait à la partie recourante en lui évitant de subir un préjudice de nature économique, idéale, matérielle ou autre que la décision entreprise lui occasionnerait (<ref-ruling> consid. 1.2.2 p. 539 et les références). L'intérêt à recourir doit être actuel et personnel, en ce sens qu'il n'est, en principe, pas admis d'agir en justice pour faire valoir, non pas son propre intérêt, mais l'intérêt d'un tiers (arrêts 5A_459/2016 du 21 septembre 2016 consid. 1.2.1; 5A_750/2015 du 4 mars 2016 consid. 1.2.1 et les arrêts cités); la jurisprudence récente a confirmé la nécessité - sauf exceptions non pertinentes ici - d'un intérêt personnel au recours, excluant la prise en compte de l'intérêt d'un tiers, fût-il parent (arrêt 5A_750/2015 précité et l'arrêt cité). Sous peine d'irrecevabilité du recours, il incombe à la partie recourante d'alléguer les faits qu'elle considère comme propres à fonder sa qualité pour recourir, lorsqu'ils ne ressortent pas à l'évidence de la décision attaquée ou du dossier de la cause (<ref-ruling> consid. 1.2 p. 539; <ref-ruling> consid. 4 p. 47 s. et la jurisprudence citée).
2.2. Il est acquis que la recourante a valablement participé à la procédure devant l'autorité précédente. La condition de l'<ref-law> est ainsi remplie.
S'agissant de la seconde condition, à savoir l'intérêt propre au sens de l'<ref-law>, la recourante fait valoir que la mise en oeuvre d'une expertise psychiatrique familiale est gravement préjudiciable au bien-être et à l'intérêt supérieur de ses enfants, puisqu'elle " les place à nouveau, après plusieurs auditions d'ores et déjà menées, au centre du conflit parental et ravive de ce fait chez eux des angoisses liées à une rencontre avec leur père qu'ils refusent formellement en raison des abus sexuels subis ". Il est constant qu'en l'espèce, un curateur a été désigné par l'autorité de protection pour représenter les enfants dans la procédure. Dans l'hypothèse où ce curateur a été nommé en raison d'un conflit d'intérêts entre la mère et les enfants - ce que ne précise pas l'arrêt entrepris -, la mère a perdu le pouvoir de représenter les enfants dans cette procédure (<ref-law>; <ref-ruling> consid. 5), de sorte qu'elle ne saurait tirer argument de l'intérêt de ses enfants au recours pour démontrer qu'elle dispose de la qualité pour recourir au sens exigé par la jurisprudence (cf. supra consid. 2.1).
La question peut toutefois rester indécise, dès lors que le recours doit quoi qu'il en soit être rejeté sur le fond.
3.
3.1. Dans le cadre d'un recours contre une décision incidente, les motifs qui peuvent être invoqués sont limités dans la même mesure que pour le recours contre la décision principale (arrêt 5A_327/2017 du 2 août 2017 consid. 2.1 et les références). Dès lors qu'en l'espèce, le litige principal porte sur des mesures provisionnelles (<ref-law>), seule la violation de droits constitutionnels peut être dénoncée. Le Tribunal fédéral n'examine la violation de tels droits que si le recourant a invoqué et motivé son grief conformément à l'<ref-law>, à savoir s'il l'a expressément soulevé et exposé d'une manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). Les critiques de nature appellatoire sont irrecevables (ATF <ref-ruling> consid. 2.4).
3.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Dans l'hypothèse d'un recours soumis à l'<ref-law>, le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation. Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-law>; <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3 et les références).
3.3. D'après la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 3.2.5); il ne suffit pas qu'une autre solution paraisse concevable, voire préférable (<ref-ruling> consid. 2.1); pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 2.1).
4.
Il ressort de l'arrêt entrepris qu'en l'espèce, la Chambre de surveillance avait relevé à deux reprises, dans ses décisions rendues les 20 janvier 2016 et 6 février 2017, qu'avant de se prononcer sur le droit de visite sollicité par le père, il convenait, d'une part, de s'assurer que le fait d'entretenir des relations personnelles avec lui était conforme à l'intérêt des enfants et ne risquait pas de créer un traumatisme ou d'accentuer les troubles dont les enfants souffraient déjà et, d'autre part, de déterminer dans quelle mesure les enfants pouvaient être instrumentalisés ou influencés par leur mère.
La cour cantonale a considéré que l'expertise psychiatrique familiale ordonnée par le Tribunal de protection était la mesure d'instruction appropriée pour instruire ces deux problématiques, qui étaient indispensables pour se prononcer sur les relations personnelles entre le père et ses enfants. Les inquiétudes exprimées par la mère et le SPMi quant aux effets néfastes que la mise en oeuvre d'une expertise pouvait avoir sur les enfants étaient certes compréhensibles. Dans ses courriers datés des 17 juin et 27 juillet 2017, le Dr F._, psychiatre chargé du suivi thérapeutique des enfants, avait en effet relevé que la perspective d'une nouvelle expertise aurait pour effet de raviver l'angoisse des enfants associée à l'éventuelle rencontre avec leur père et de démanteler tous les bénéfices obtenus dans le cadre du suivi entrepris. Il n'en demeurait pas moins que les médecins qui se voient confier de telles expertises étaient des spécialistes à même de tenir compte de l'angoisse qu'une telle démarche pouvait susciter chez les enfants et de les en préserver. Selon la cour cantonale, dans ces circonstances, l'intérêt de l'enfant à ne pas être confronté à la mise en oeuvre d'une telle expertise ne justifiait pas qu'il soit renoncé à cette mesure d'instruction, qui était nécessaire pour déterminer s'il était dans leur intérêt d'entretenir des relations personnelles avec leur père. Les autres mesures probatoires préconisées par la mère ne permettaient pas d'établir les éléments pertinents pour trancher cette question. Ainsi, l'audition du Dr F._ ne saurait suppléer à l'expertise contestée, dans la mesure où ce médecin, impliqué dans la prise en charge thérapeutique des enfants, ne satisfaisait pas aux exigences d'indépendance requises. Les expertises psychiatrique et sexuelle du père n'étaient, de même, pas de nature à éclairer l'autorité de première instance sur l'incidence des relations personnelles sur les enfants, sur un éventuel traumatisme ou une accentuation de leurs troubles, ni sur leur éventuelle instrumentalisation par la mère.
Vu ce qui précède, la cour cantonale a retenu que la décision du Tribunal de protection d'ordonner une expertise psychiatrique familiale était opportune.
5.
La recourante soutient que l'arrêt querellé omettrait, de manière arbitraire (art. 9 Cst.) certains faits pertinents pour évaluer l'intérêt des enfants. Partant, l'analyse de l'intérêt des enfants serait insoutenable.
Se référant à des pièces du dossier, elle expose en particulier qu'une expertise psychiatrique de la famille a déjà été instrumentée le 7 février 2013, que le 21 mai 2015, C._ et D._ ont été entendus par le SPMi, que le 23 mai 2015, ils ont été entendus par la police judiciaire, et que les 23 juillet et 23 octobre 2015, ils ont été entendus par leur curateur de représentation, qui a préconisé la suspension du droit de visite en accord avec les professionnels en charge du dossier. En outre, le 3 mars 2016, le pédopsychiatre E._, entendu par le Tribunal de protection, aurait déclaré ce qui suit: " J'indique que les deux enfants, séparément ont fait état d'abus sexuels, en fonction de ce qu'ils décrivaient comme une forme d'exhibitionnisme. Postérieurement, ils m'ont présenté spontanément des dessins. Ils amenaient les dessins avec eux. La raison de cette présentation des dessins et de leurs déclarations avaient pour but, à mon avis, d'exprimer le refus de revoir leur père dans des visites surveillées. (...) De par mon expérience, il n'est jamais bien de forcer un enfant qui refuse de voir son père, tant pour l'évolution de l'enfant que pour améliorer l'évolution du lien père/enfant. A mon sens, il est préférable d'attendre une évolution positive de la position de l'enfant. Il y a davantage de possibilités que si on force. En agissant de la sorte, on favorise davantage la reprise du lien de par mon expérience ". Il aurait enfin répété: " qu'il était préférable de ne pas forcer et d'attendre un certain temps pour envisager le contact entre le parent et l'enfant qui refuse de le voir. A mon sens, le risque de cristallisation du temps qui passe est moins grave que le contraire. Ce risque existe. De par mon expérience, à un moment donné, l'enfant n'est plus opposé ou n'a plus la même position, tout dépend de chaque cas. Les enfants évoluent, ils ont moins peur dans l'évolution positive " (les soulignements sont effectués par la recourante). La recourante ajoute que ce spécialiste a proposé qu'un thérapeute éclaire le Tribunal de protection dans quelques mois. En outre, dans une attestation du 30 septembre 2016, le Dr F._ aurait indiqué qu'il était contre-indiqué et contre-productif que les enfants rencontrent leur père avant toute nouvelle évaluation de leur état psychologique. Le curateur des enfants aurait aussi été d'accord avec les pédopsychiatres pour considérer qu'il ne fallait pas forcer les enfants à voir leur père. Se référant à un écrit du Dr F._, elle ajoute qu'il serait aussi très anxiogène que les enfants revoient leur grand-mère paternelle. Enfin, elle rappelle le contenu de l'attestation du Dr F._ du 17 juin 2017.
La recourante fait encore grief à l'autorité cantonale d'avoir violé l'art. 11 Cst. et les art. 3 et 6 CDE en ne prenant pas en considération l'intérêt supérieur des enfants, partant, en mettant en danger leur intégrité et leur développement. Ces dispositions auraient aussi été appliquées de manière arbitraire. La recourante soutient, en substance, qu'il faut laisser le temps aux enfants d'évoluer à leur rythme dans leur suivi pédopsychiatrique avant d'envisager une reprise de contact avec leur père. Une expertise serait en l'état contre-indiquée, comme l'a précisé le thérapeute des enfants, étant en outre relevé que les enfants ont déjà été entendus à plusieurs reprises par les experts, par le SPMi, par la police et par leur curateur, et qu'ils ont maintes fois répété qu'ils ne voulaient pas voir leur père. La recourante ajoute qu'il aurait en réalité fallu prévoir l'audition du Dr F._, afin de répondre aux questions en suspens sans avoir à mettre en péril le bien-être des enfants. Le fait que les experts soient des spécialistes n'empêcherait en aucune manière les enfants de ressentir une angoisse lors de la mise en oeuvre de l'expertise.
6.
En vertu des principes de la bonne foi et de l'épuisement des griefs (<ref-law>), le recours n'est ouvert qu'à l'encontre des décisions rendues par une autorité cantonale de dernière instance, ce qui suppose que la partie recourante ait épuisé toutes les voies de droit quant aux griefs qu'elle entend soumettre au Tribunal fédéral, portant sur des questions que celui-ci ne revoit pas d'office (<ref-ruling> consid. 1.2, 424 consid. 3.2 et les références). Tous les moyens nouveaux sont exclus dans le recours en matière civile soumis à l'<ref-law>, que ceux-ci relèvent du fait ou du droit, sauf dans les cas où seule la motivation de la décision attaquée donne l'occasion de les soulever (<ref-ruling> consid. 2; arrêts 5A_235/2016 du 15 août 2016 consid. 5.2; 5A_134/2016 du 18 juillet 2016 consid. 2.3; 5A_317/2011 du 22 novembre 2011 consid. 2 non publié in <ref-ruling>). En l'occurrence, il ne ressort pas de l'arrêt querellé que les griefs de violation des art. 11 Cst. et 3 et 6 CDE auraient été soulevés en deuxième instance, de sorte qu'ils sont irrecevables.
Pour le surplus, force est de constater que quand bien même les faits devraient être complétés ainsi que le requiert la recourante, l'issue du litige n'en serait pas affectée. En effet, la cour cantonale a tenu compte de l'attestation du pédopsychiatre des enfants, selon laquelle la perspective d'une nouvelle expertise aurait pour effet de raviver les angoisses des enfants associées à l'éventuelle rencontre avec leur père. Cependant, elle a relevé que les experts qui se voient confier de telles missions sont des spécialistes capables de préserver les enfants des angoisses que l'expertise pourrait susciter chez eux et que, par conséquent, il ne se justifie pas de renoncer à une mesure d'instruction nécessaire pour déterminer s'il est dans leur intérêt d'entretenir des relations personnelles avec leur père. De telles considérations ne sont pas insoutenables, même au regard des faits invoqués par la recourante.
En tant que celle-ci préconise l'audition du Dr F._ en lieu et place de la mise en oeuvre de l'expertise contestée, elle ne s'en prend pas valablement aux considérations de la juridiction précédente, selon lesquelles cette audition ne saurait suppléer à l'expertise, puisque ce médecin, impliqué dans la prise en charge thérapeutique des enfants, ne satisfaisait pas aux exigences d'indépendance requises. Sa critique est donc irrecevable (<ref-law>; <ref-ruling> consid. 2.1). En tant qu'elle insiste sur le fait que la reprise de relations personnelles entre les enfants et leur père serait gravement préjudiciables à ceux-là, elle omet que la décision attaquée n'ordonne précisément pas la reprise de ces relations, mais uniquement une expertise destinée à déterminer, notamment, si la reprise d'éventuelles relations est conforme à l'intérêt des enfants. Enfin, vu l'ensemble des circonstances, le fait qu'une expertise ait été menée en 2013 et que les enfants aient également été entendus par le SPMi et par la police ne saurait démontrer le caractère arbitraire de la décision entreprise. S'agissant en particulier de l'expertise datée de 2013, on relèvera qu'elle est antérieure à la suspension du droit de visite du père, de sorte qu'elle ne saurait, quoi qu'il en soit, éclairer le Tribunal de protection sur la question de l'opportunité d'une éventuelle reprise de contact entre le père et les enfants.
En définitive, le grief d'arbitraire est infondé.
7.
Vu ce qui précède, le recours en matière civile est rejeté, dans la mesure de sa recevabilité, et le recours constitutionnel subsidiaire est irrecevable. Les conclusions de la recourante étaient d'emblée vouées à l'échec, ce qui entraîne le rejet de sa requête d'assistance judiciaire (<ref-law>) et sa condamnation aux frais de la procédure fédérale (<ref-law>). Il n'est pas alloué de dépens à l'intimé (<ref-law>), qui n'a pas été invité à se déterminer sur le fond et ne s'est pas déterminé sur la requête d'effet suspensif.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours en matière civile est rejeté dans la mesure où il est recevable.
2.
Le recours constitutionnel est irrecevable.
3.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge de la recourante.
4.
Le présent arrêt est communiqué aux parties, au Tribunal de protection de l'adulte et de l'enfant du canton de Genève, au curateur de représentation des enfants et à la Chambre de surveillance de la Cour de justice du canton de Genève.
Lausanne, le 6 mars 2018
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : Dolivo