Faits : A. A.a. Par écriture du 15 mars 2017, A.A._, C.A._ et B.A._ (ci-après: les consorts A._ ou les demandeurs) ont cité D.B._ et E.B._ en conciliation devant le juge de la commune de Martigny. L'audience de conciliation a eu lieu le 25 juillet 2017 et l'autorisation de procéder a été délivrée le 22 septembre 2017. Le 15 janvier 2018, les consorts A._ ont déposé à l'encontre de D.B._ et E.B._ une demande tendant, principalement, au constat de la nullité de l'autorisation de procéder qui leur avait été délivrée le 22 septembre 2017 et, subsidiairement, à la nullité des dispositions pour cause de mort prises par feu F.C._, née F.A._ le 11 octobre 1926 et décédée le 2 mars 2015. Par décision du 29 mai 2018, la juge ad hoc des districts de Martigny et St-Maurice a notamment constaté la nullité de l'autorisation de procéder délivrée le 22 septembre 2017 et a déclaré irrecevable la demande déposée le 15 janvier 2018. A.b. Par écriture du 14 juin 2018, les consorts A._ ont derechef cité D.B._ et E.B._ en conciliation. Une nouvelle autorisation de procéder leur a été délivrée le 31 octobre 2018. Le 15 février 2019, ils ont réitéré leur demande en nullité des dispositions pour cause de mort de feu F.C._ à l'encontre de D.B._ et E.B._. Par ordonnance du 18 février 2019, la juge des districts de Martigny et St-Maurice (ci-après: la juge de district) a fixé aux demandeurs un délai pour fournir une avance de frais de 100'000 fr. D'abord fixé au 28 mars 2019, ledit délai a été prorogé au 29 avril 2019 par ordonnance du 1er avril 2019. Par écriture du 18 mars 2019, D.B._ a requis le dépôt par les demandeurs du montant de 250'000 fr. à titre de sûretés en garantie des dépens. E.B._ en a fait de même, mais à concurrence de 200'000 fr., en date du 20 mars 2019. B. B.a. Le 29 avril 2019, les demandeurs ont requis le bénéfice de l'assistance judiciaire partielle, limitée à l'exonération des frais judiciaires, des avances et des sûretés. Par décision du 25 juin 2019, la juge de district a rejeté les requêtes d'assistance judiciaire des demandeurs, au motif que les chances de succès du procès qu'ils avaient initié apparaissaient très faibles, et dit qu'un nouveau délai leur serait imparti pour effectuer l'avance de frais dès que sa décision serait définitive et exécutoire. B.b. Par acte du 8 juillet 2019, les consorts A._ ont formé recours contre cette décision, concluant à son annulation et à sa réforme en ce sens que leur est accordée " l'assistance judiciaire limitée à l'exonération des frais judiciaires et aux avances et sûretés pour l'ensemble de la procédure au fond et des procédures connexes devant l'instance précédente ". Par décision du 8 juin 2020, le Juge unique de la Chambre civile du Tribunal cantonal du canton du Valais a rejeté le recours dans la mesure de sa recevabilité. C. Par acte posté le 10 juillet 2020, les consorts A._ exercent un recours en matière civile au Tribunal fédéral contre la décision du 8 juin 2020. Ils concluent à son annulation et à sa réforme en ce sens que l'assistance judiciaire leur est octroyée dans la mesure requise en instance cantonale. Subsidiairement, ils sollicitent le renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants. Des déterminations au fond n'ont pas été demandées. D. Par ordonnance présidentielle du 25 août 2020, la requête d'effet suspensif assortissant le recours a été admise.