Faits : A. C._ (ci-après : le défunt), né le 22 août 2000, s'est suicidé le 29 mars 2019 au Foyer D._, où il était hébergé en qualité de requérant d'asile. Par courrier du 4 juin 2019, A._, B._ et E._, se présentant comme le père, la mère et la soeur du défunt, ont déposé plainte pénale contre inconnu en leur nom et pour leur compte, en invoquant les faits suivants qu'ils ont considérés comme susceptibles de constituer, entre autres, une violation du devoir d'assistance et d'éducation (art. 219 CP), des lésions corporelles simples commises sur un enfant sur lequel l'auteur avait le devoir de veiller (art. 123 ch. 2 al. 3 CP), une entrave à l'action pénale (art. 305 CP), voire exposition (art. 127 CP), des faux dans les titres commis dans l'exercice d'une fonction officielle (art. 317 CP) et d'abus d'autorité (art. 312 CP). En substance, ils invoquent que, le 31 janvier 2017, le défunt aurait reçu des coups de poing - dont plusieurs au visage - de la part des agents chargés de la sécurité du foyer où il résidait; malgré ces coups, il n'avait pas été conduit auprès d'un médecin. La police était intervenue et sa curatrice, présente, avait consigné les faits dans un rapport, sans que ceux-ci ne soient pourtant dénoncés; ce manquement serait constitutif d'une violation du devoir d'assistance et d'éducation du moment que l'agressé aurait dû recevoir les soins dont il avait besoin et qu'un constat médical aurait été indispensable à la sauvegarde de ses droits en qualité de victime. A._, B._ et E._ reprochent également à divers intervenants, en qualité d'autorités de poursuite pénale, d'avoir commis des infractions contre les devoirs de fonction et l'administration de la justice, en particulier en écartant une vidéo montrant les coups reçus et en rédigeant les procès-verbaux d'audition des participants à l'altercation. A l'appui de leur plainte, ils ont déposé différentes pièces, dont des rapports de renseignements et les procès-verbaux d'auditions de quatre agents de sécurité, ainsi que celui du défunt, entendu comme prévenu en présence de sa curatrice. B. Par décision du 1er octobre 2019, le Ministère public de la République et canton de Genève a dénié la qualité de partie plaignante à A._, B._ et E._. Le 18 décembre 2019, la Chambre pénale de recours de la Cour de justice de la République et canton de Genève a partiellement admis le recours intenté par les trois précités et a annulé la décision attaquée, admettant que A._, B._ et E._ revêtaient "la qualité de parties plaignantes dans la procédure P/11762/2019 au sens de considérants". Elle les a mis au bénéfice de l'assistance judiciaire, leur a désigné Me Laïla Batou comme avocate d'office et a laissé les frais de l'instance à la charge de l'État, renvoyant à l'autorité compétente la fixation de l'indemnisation de leur mandataire. Dans sa décision, l'autorité cantonale a admis que A._, B._ et E._ pouvaient se constituer parties plaignantes pour les infractions protégeant la vie et l'intégrité corporelle du défunt, ainsi que pour la violation du devoir d'assistance et d'éducation dû à celui-ci. En revanche, elle a considéré que A._, B._ et E._ n'étaient pas légitimés à invoquer des infractions contre l'administration de la justice ou les devoirs de fonction. C. Par courrier du 20 janvier 2019 [recte : 2020], A._ et B._ interjettent un recours en matière pénale. Ils concluent, sous suite de frais et dépens, principalement à l'annulation de la décision du 18 décembre 2019. Ils demandent que leur soit reconnue la qualité de parties plaignantes dans la procédure P/11762/2019 et qu'une indemnité équitable leur soit versée à titre de dépens pour la procédure devant la Chambre pénale de recours. Subsidiairement, ils requièrent le renvoi de la cause à l'autorité cantonale pour nouvelle décision au sens des considérants. Ils demandent également à être dispensés de fournir une avance de frais. Invité à se déterminer, le Ministère public a conclu au rejet du recours sans former de déterminations. Quant à la cour cantonale, elle a renoncé à former des observations.