Faits : A. A._ (1970) et B._ (1977) sont les parents non mariés de C._, né en 2008, et de D._, née en 2010. A.a. Par décision de mesures provisionnelles du 1er mars 2012, puis par ordonnance du 4 septembre 2013, un droit de visite a été fixé en faveur du père à raison de deux heures par semaines au sein d'un Point Rencontre. Diverses mesures ont été mises en place. A.b. Par ordonnance du 22 mai 2015, le droit de visite a été suspendu avec effet immédiat, à la suite d'un signalement du Service de protection des mineurs (SPMi) qui relevait que C._ avait fait état d'un comportement inadéquat à caractère sexuel de son père, et qu'une enquête pénale avait été ouverte. Un curateur a été chargé de représenter les mineurs C._ et D._ dans la procédure civile pendante devant le Tribunal de protection de l'adulte et de l'enfant du canton de Genève (ci-après: le Tribunal de protection). A.c. Par ordonnance de mesures provisionnelles du 30 juillet 2015, la reprise progressive des relations personnelles entre le père et les enfants a été ordonnée. Cette décision a été annulée le 20 janvier 2016 par la Chambre de surveillance de la Cour de justice du canton de Genève (ci-après: la Chambre de surveillance), qui a renvoyé la cause à l'autorité de première instance pour complément d'instruction. A.d. Le Tribunal de protection a procédé à l'audition du Dr E._ puis invité les parties à se déterminer. Par ordonnance du 28 juillet 2016, il a accordé au père un droit aux relations personnelles devant s'exercer, dans un premier temps, sous forme de visites médiatisées, une fois par semaine au Point Rencontre, et pris plusieurs mesures. La Chambre de surveillance a annulé cette décision par arrêt du 6 février 2017; elle a renvoyé la cause à l'autorité de première instance pour complément d'instruction, en particulier pour qu'il détermine si l'exercice d'un droit de visite était conforme à l'intérêt des enfants, étant relevé qu'il appartiendrait à l'expert qui serait mis en oeuvre de faire toutes suggestions utiles au sujet d'une éventuelle reprise du droit de visite et des modalités à prévoir. B. B.a. Par décision du 2 juin 2017, le Tribunal de protection a ordonné une expertise psychiatrique familiale et imparti un délai aux participants pour déposer la liste des questions qu'ils souhaitaient voir posées à l'expert. La mère a recouru contre cette décision. A l'appui de son recours, elle a produit un courrier du Dr F._, psychiatre chargé du suivi psychothérapeutique des enfants, daté du 17 juin 2017, selon lequel la perspective d'une nouvelle expertise aurait pour effet de raviver chez les enfants une vive angoisse associée à l'éventuelle rencontre de leur père et, partant, de démanteler tous les bénéfices obtenus durant le suivi effectué. Le curateur chargé de la représentation des enfants dans la procédure s'en est rapporté à justice sur la recevabilité du recours et a conclu à son rejet. Selon lui, il apparaissait opportun que l'expert se détermine sur le point de savoir si l'exercice d'un droit de visite était conforme à l'intérêt des enfants et si ceux-ci pouvaient être influencés ou manipulés par leur mère, ce que le thérapeute des enfants ne pouvait pas déterminer. Le SPMi a indiqué, à l'instar du Dr F._, que la perspective d'une nouvelle expertise aurait pour effet de raviver chez les deux enfants une vive angoisse associée à l'éventuelle rencontre de leur père. Le père ne s'est pas déterminé sur le recours. La mère a répliqué et a produit une lettre du Dr F._ du 27 juillet 2017, qui confirmait le point de vue qu'il avait exprimé dans un précédent courrier. B.b. Par décision du 26 octobre 2017, la Chambre de surveillance de la Cour de justice du canton de Genève a rejeté le recours. C. Agissant par mémoire du 30 novembre 2017, A._ exerce un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral, sollicitant en substance que la décision entreprise soit annulée et principalement qu'il soit " renonc [é], en l'état, à instruire de façon complémentaire la cause C/5375/2009 ". Subsidiairement, elle demande que soient ordonnées l'audition du Dr F._ ainsi qu'une " expertise psychiatrique sérieuse et objective " et une " expertise sexuelle sérieuse et objective " de B._. Plus subsidiairement, elle conclut au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Plus subsidiairement encore, elle demande à être acheminée " à apporter par toutes voies de droit utiles la preuve de l'entier des faits allégués dans les présentes écritures ". Enfin, elle demande le bénéfice de l'assistance judiciaire pour la procédure fédérale. Par ordonnance présidentielle du 21 décembre 2017, la requête d'effet suspensif a été admise.