Faits : A. C._ est née en 2017 à Genève de l'union entre A.A._ et B.A._. Elle est née avant terme et présentait un retard de croissance intra-utérin, raison pour laquelle elle est restée hospitalisée aux Hôpitaux Universitaires de Genève (ci-après : HUG). Le 27 avril 2017, les HUG ont signalé au Service de protection des mineurs (ci-après : SPMi) que C._ était en danger dans son développement physique et psychologique. Sa mère, qui était sous curatelle de gestion et de représentation et au bénéfice de l'assurance-invalidité pour une affection psychiatrique, éprouvait des difficultés dans la prise en charge de l'enfant, tandis que son père avait des horaires de nuit qui compliquaient sa présence à l'hôpital pour soutenir son épouse. A l'issue de l'hospitalisation de C._ le 17 mai 2017, ses parents ont bénéficié d'une sage-femme à domicile, d'une assistante maternelle et d'une aide de l'Institution genevoise de maintien à domicile (ci-après : IMAD). Plusieurs suivis ont été mis en place, notamment par l'unité de guidance infantile des HUG ainsi que par l'unité de développement. Le 30 novembre 2017, la pédopsychiatre de l'unité de guidance infantile a adressé C._ à Accordages (accueil en hôpital de jour), en raison d'un retard dans le développement psychomoteur associé à d'importantes difficultés d'ajustement des parents à ses besoins et à la banalisation de la situation par ceux-ci. En mai 2018, une éducatrice de l'Action éducative en milieu ouvert (ci-après: AEMO) et une psychologue du Service éducatif itinérant ont mis en place une aide à la parentalité pour les parents de C._. En août 2018, C._ a intégré le jardin d'enfant de U._ à raison de quelques matinées par semaine dans le but de favoriser son développement. C._ a de nouveau été hospitalisée le 22 janvier 2019 en raison d'un retard statu-pondéral sévère. Elle a été alimentée par sonde nasogastrique du 22 janvier au 14 février 2019. Le 21 février 2019, elle a quitté l'hôpital et a rejoint le foyer D._. Dans la lettre de sortie des HUG du 4 mars 2019, les médecins en charge de l'enfant ont relevé une progression très favorable tant s'agissant des quantités ingérées que de la qualité des moments des repas. Sur le plan psychosocial, les médecins ont mis en évidence les difficultés des parents à reconnaître les besoins de C._ et à y répondre, raison pour laquelle un placement était envisagé par le SPMi. Ils ont en outre préconisé que C._ fréquente le jardin thérapeutique des HUG (ci-après : JETH) dès la rentrée 2019. Dans un rapport du 29 mars 2019 des HUG, les médecins en charge de l'enfant ont confirmé le diagnostic de développement moteur et langagier en décalage sévère. Ils ont noté des comportements d'attachement désorganisés avec, en particulier, des stratégies d'évitement de la mère tandis que l'enfant semblait trouver du réconfort auprès du père. Le 10 avril 2019, C._ a de nouveau été hospitalisée, sa prise de poids n'étant pas considérée comme satisfaisante en ambulatoire. Elle a dès lors de nouveau été alimentée par sonde nasogastrique. Dans un rapport du 29 avril 2019, l'éducatrice sociale au foyer D._ en charge de C._ a notamment relevé que les parents étaient envahis par la situation et ne parvenaient pas toujours à séparer les besoins de leur fille de leurs propres besoins. Dans un rapport du 24 mai 2019, les médecins de la consultation Accordages ont estimé qu'il était difficilement envisageable que C._ puisse rentrer à domicile et soutenu la demande de placement en famille d'accueil du SPMi. Les parents, bien que réceptifs à l'aide proposée, avaient toujours besoin de la présence d'un tiers pour les guider. La mineure avait un développement cognitif dans la norme mais présentait des progrès très lents du point de vue de la motricité et du langage. Elle persistait à user de stratégies d'évitement de la mère et présentait une désorganisation émotionnelle qui faisait craindre un impact négatif sur son développement cognitif. Le 25 mai 2019, les parents de C._, craignant le placement de leur fille en famille d'accueil, l'ont transférée au Centre Hospitalier E._ en France à l'insu du personnel hospitalier. B. B.a. Par décision du 25 mai 2019, la direction du SPMi a, par voie de " clause-péril ", provisoirement retiré aux parents de C._ le droit de déterminer le lieu de résidence de leur fille ainsi que sa garde de fait et leur a attribué un droit de visite en journée pour les 25 et 26 mai 2019 sous la surveillance du personnel médical du Centre Hospitalier E._. Par décision du 26 mai 2019, la direction du SPMi a, toujours par voie de " clause-péril ", provisoirement suspendu le droit des parents à entretenir des relations personnelles avec leur fille jusqu'à nouvelle évaluation par le Tribunal de protection de l'adulte et de l'enfant (ci-après : TPAE) ou le SPMi. B.b. Dans un rapport adressé le 29 mai 2019 au TPAE, une intervenante en protection de l'enfant auprès du SPMi a préavisé la ratification de la " clause-péril " du 25 mai 2019, le retrait du droit des parents de déterminer le lieu de résidence de leur fille, l'autorisation donnée au SPMi de rechercher une famille d'accueil en vue du placement de l'enfant à sa sortie des HUG et la fixation d'un droit aux relations personnelles entre C._ et ses parents, tant que celle-ci n'était pas placée en famille d'accueil, à raison de deux heures les lundis, mercredis et jeudis dans l'enceinte de l'hôpital et sous supervision du personnel médical. Le SPMi a relevé que les parents montraient de grandes difficultés à assumer la charge de leur enfant et ne semblaient pas conscients de ses réels besoins. Ils présentaient un " déni manifeste de la problématique de C._ et de leurs propres fragilités ". Malgré leur bonne volonté à collaborer, leurs aptitudes n'étaient pas suffisantes pour faire face au retard de développement et aux besoins de leur fille, ce qui militait en faveur d'un placement de longue durée en famille d'accueil. Par courrier adressé le 7 juin 2019 au TPAE, le pédiatre de C._ a estimé que la présence des parents auprès de leur fille durant l'hospitalisation ne constituait pas une mise en danger de C._ mais qu'elle lui était au contraire bénéfique. Par acte du 7 juin 2019, A.A._ et B.A._ ont conclu, sur mesures provisoires, à l'annulation des " clauses-péril ", hormis le retrait du droit de déterminer le lieu de résidence de C._, à la mise en oeuvre d'une expertise familiale, et à la fixation de leurs relations personnelles avec leur fille selon les modalités exposées dans leur écriture. Lors d'une audience du 11 juin 2019 devant le TPAE, la responsable de l'unité d'hospitalisation en pédiatrie générale des HUG a expliqué que les hospitalisations étaient bénéfiques à la croissance de C._. C._ ne disposait pas de " personnes ressources " au sein de sa famille pour structurer ses journées, cet objectif étant plus facilement atteint dans une famille d'accueil avec des personnes que le personnel médical pourrait former. Les repas étaient donnés par l'équipe formatrice et les tentatives faites en présence des parents s'étaient soldées par des incidents durant la première hospitalisation. Un retour à la maison n'était pas envisageable à cause de la question des repas. Le médecin-adjoint au sein de l'Unité de guidance infantile a quant à lui indiqué que les difficultés d'alimentation de C._ questionnaient, même s'il pouvait témoigner de la présence affective de la mère. En présence d'un entourage donnant des réponses rassurantes et prévisibles, l'agitation manifestée par C._ diminuait. F._, chef de groupe au SPMi a pour sa part expliqué que C._ devait avoir une figure d'attachement et que les médecins avaient jugé que son placement en foyer parents-enfants n'était pas suffisant pour répondre aux besoins de l'enfant. Par décision du 13 juin 2019 sur requête de mesures superprovisionnelles du même jour, le TPAE a autorisé la reprise des visites des parents à raison de deux heures par jour. B.c. Par ordonnance du 25 juin 2019, le TPAE a préalablement ratifié les décisions de " clause-péril " des 25 et 26 mai 2019 prises par le SPMi (ch. 1) et, sur mesures provisionnelles, retiré la garde et le droit de déterminer le lieu de résidence de la mineure à ses parents (ch. 2), pris acte de l'accord des parents au placement de l'enfant au sein des HUG tant que son état de santé l'imposait et ordonné ledit placement en tant que de besoin (ch. 3), ordonné le placement de la mineure au sein d'une famille d'accueil dès sa sortie des HUG (ch. 4), réservé aux parents un droit aux relations personnelles à exercer au sein de l'hôpital, de manière quotidienne, quatre heures par jour, à charge aux parents de respecter les temps de soins, de repas et les moments de repos et de ne pas être intrusifs lors des soins (ch. 5), et dit que les relations personnelles entre la mineure et ses parents seraient réadaptées à sa sortie d'hospitalisation, après son placement au sein de sa famille d'accueil (ch. 6). Il a également instauré diverses curatelles et rappelé que l'ordonnance était exécutoire nonobstant recours (ch. 13). Le 18 juillet 2019, A.A._ et B.A._ ont recouru auprès de la Chambre de surveillance de la Cour de justice de la République et canton de Genève (ci-après : la Cour de justice) contre l'ordonnance du 25 juin 2019, concluant principalement à l'annulation de celle-ci et des " clauses-péril " du SPMi des 25 et 26 mai 2019 et subsidiairement, en substance, au retour progressif de C._ auprès d'eux. Par décision du 26 juillet 2019, la Présidente de la Chambre de surveillance de la Cour de justice a rejeté la requête d'effet suspensif formée par les parents dans leur recours du 18 juillet 2019. Par courrier du 7 août 2019, le TPAE a informé la Cour de justice qu'il n'entendait pas reconsidérer sa décision. Le 5 août 2019, le SPMi a réitéré ses inquiétudes quant aux capacités parentales des parents de C._ et favorablement préavisé la confirmation de l'ordonnance querellée. Par courrier des 12 et 16 août 2019, le SPMi a informé le TPAE que C._ était toujours aidée d'une sonde nasogastrique, le retrait de cette dernière étant prévu de manière progressive. L'équipe notait une évolution dans le langage et la motricité ainsi que dans l'interaction avec les tiers. Les recherches se poursuivaient en vue de trouver une famille d'accueil. Par détermination du 23 août 2019, A.A._ et B.A._ ont persisté dans leurs conclusions et ont requis, en plus de la mise en oeuvre d'une expertise familiale et de l'audition de divers témoins (dont notamment le pédiatre de C._ et l'éducatrice sociale au Foyer D._) l'audition de l'assistante sociale ayant suivi l'enfant de sa naissance jusqu'en janvier 2019, la réaudition de la responsable de l'unité d'hospitalisation en pédiatrie générale des HUG ainsi que la production par le SPMi de tous les rapports de professionnels concernant la situation de C._. Par arrêt du 29 août 2019 (cause 5A_663/2019), le Tribunal fédéral a rejeté le recours déposé par A.A._ et B.A._ contre la décision du 26 juillet 2019 refusant l'octroi de l'effet suspensif à leur recours. Par arrêt du 4 octobre 2019, la Chambre de surveillance de la Cour de justice a rejeté le recours formé le 18 juillet 2019 par A.A._ et B.A._. C. Le 11 novembre 2019, A.A._ et B.A._ interjettent un recours en matière civile contre l'arrêt du 4 octobre 2019. Ils concluent principalement à sa r éforme en ce sens que le retour de C._ à leur domicile est ordonné, cas échéant avec mandat au Canton de Genève d'attribuer à son père le financement prévu pour une famille d'accueil. Subsidiairement, ils concluent à ce que toute autre solution jugée pertinente et conforme aux exigences de l'art. 8 CEDH soit ordonnée. Plus subsidiairement encore, ils concluent au renvoi de la cause à l'autorité précédente pour nouvelle décision au sens des considérants. Au préalable, les recourants sollicitent le bénéfice de l'assistance judiciaire pour la procédure fédérale. Des observations au fond n'ont pas été requises.