Faits :
A.
A.a. Par écriture du 15 mars 2017, A.A._, C.A._ et B.A._ (ci-après: les consorts A._ ou les demandeurs) ont cité D.B._ et E.B._ en conciliation devant le juge de la commune de Martigny. L'audience de conciliation a eu lieu le 25 juillet 2017 et l'autorisation de procéder a été délivrée le 22 septembre 2017.
Le 15 janvier 2018, les consorts A._ ont déposé à l'encontre de D.B._ et E.B._ une demande tendant, principalement, au constat de la nullité de l'autorisation de procéder qui leur avait été délivrée le 22 septembre 2017 et, subsidiairement, à la nullité des dispositions pour cause de mort prises par feu F.C._, née F.A._ le 11 octobre 1926 et décédée le 2 mars 2015.
Par décision du 29 mai 2018, la juge ad hoc des districts de Martigny et St-Maurice a notamment constaté la nullité de l'autorisation de procéder délivrée le 22 septembre 2017 et a déclaré irrecevable la demande déposée le 15 janvier 2018.
A.b. Par écriture du 14 juin 2018, les consorts A._ ont derechef cité D.B._ et E.B._ en conciliation. Une nouvelle autorisation de procéder leur a été délivrée le 31 octobre 2018.
Le 15 février 2019, ils ont réitéré leur demande en nullité des dispositions pour cause de mort de feu F.C._ à l'encontre de D.B._ et E.B._.
Par ordonnance du 18 février 2019, la juge des districts de Martigny et St-Maurice (ci-après: la juge de district) a fixé aux demandeurs un délai pour fournir une avance de frais de 100'000 fr. D'abord fixé au 28 mars 2019, ledit délai a été prorogé au 29 avril 2019 par ordonnance du 1er avril 2019.
Par écriture du 18 mars 2019, D.B._ a requis le dépôt par les demandeurs du montant de 250'000 fr. à titre de sûretés en garantie des dépens. E.B._ en a fait de même, mais à concurrence de 200'000 fr., en date du 20 mars 2019.
B.
B.a. Le 29 avril 2019, les demandeurs ont requis le bénéfice de l'assistance judiciaire partielle, limitée à l'exonération des frais judiciaires, des avances et des sûretés.
Par décision du 25 juin 2019, la juge de district a rejeté les requêtes d'assistance judiciaire des demandeurs, au motif que les chances de succès du procès qu'ils avaient initié apparaissaient très faibles, et dit qu'un nouveau délai leur serait imparti pour effectuer l'avance de frais dès que sa décision serait définitive et exécutoire.
B.b. Par acte du 8 juillet 2019, les consorts A._ ont formé recours contre cette décision, concluant à son annulation et à sa réforme en ce sens que leur est accordée " l'assistance judiciaire limitée à l'exonération des frais judiciaires et aux avances et sûretés pour l'ensemble de la procédure au fond et des procédures connexes devant l'instance précédente ".
Par décision du 8 juin 2020, le Juge unique de la Chambre civile du Tribunal cantonal du canton du Valais a rejeté le recours dans la mesure de sa recevabilité.
C.
Par acte posté le 10 juillet 2020, les consorts A._ exercent un recours en matière civile au Tribunal fédéral contre la décision du 8 juin 2020. Ils concluent à son annulation et à sa réforme en ce sens que l'assistance judiciaire leur est octroyée dans la mesure requise en instance cantonale. Subsidiairement, ils sollicitent le renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.
Des déterminations au fond n'ont pas été demandées.
D.
Par ordonnance présidentielle du 25 août 2020, la requête d'effet suspensif assortissant le recours a été admise.

Considérant en droit :
1.
La décision cantonale de refus de l'assistance judiciaire, prise séparément du fond, est une décision incidente de nature à causer un préjudice irréparable au plaideur requérant (<ref-law>; arrêts 4A_383/2019 du 30 mars 2020 consid. 1; 5A_894/2019 du 20 décembre 2019 consid. 3; 5A_181/2019 du 27 mai 2019 consid. 1 et les références; cf. <ref-ruling> consid. 4; <ref-ruling> consid. 1.1). Cette décision est donc susceptible d'un recours séparé selon l'<ref-law>.
Interjeté en temps utile (<ref-law>), par les parties qui ont été déboutées (<ref-law>), contre une décision prise sur recours par le tribunal supérieur du canton (<ref-law>) dans une affaire civile (<ref-law>) de nature pécuniaire dont la valeur litigieuse dépasse le montant de 30'000 fr. (<ref-law>), le recours en matière civile est recevable.
2.
2.1. Dans un recours contre une décision incidente, les griefs qui peuvent être invoqués sont les mêmes que ceux qui sont autorisés dans le recours contre la décision principale; il s'ensuit qu'un recours contre le refus de l'assistance judiciaire pour une procédure successorale peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 s. LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'<ref-law>, le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 1.7.1; <ref-ruling> consid. 2.4; <ref-ruling> consid. 2). Il ne peut se contenter de reprendre presque mot pour mot l'argumentation formée devant l'autorité cantonale (<ref-ruling> consid. 5.2; <ref-ruling> consid. 2; <ref-ruling> consid. 2.1 et 2.3). En outre, le Tribunal fédéral ne connaît de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé par le recourant (" principe d'allégation ", <ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4).
2.2. Pour statuer, le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 2.3) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 1.1 et la référence). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont contraires au droit ou entachées d'une erreur indiscutable, c'est-à-dire arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.4.3). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-law>; <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3 et les références).
3.
En vertu de l'<ref-law>, une personne a droit à l'assistance judiciaire si elle ne dispose pas des ressources suffisantes (let. a) et si sa cause ne paraît pas dépourvue de toute chance de succès (let. b). Ces conditions - cumulatives - coïncident avec celles découlant du droit à l'assistance judiciaire, tel que garanti par l'art. 29 al. 3 Cst. (arrêts 4A_383/2019 précité consid. 2.1 et les références; 5A_181/2019 précité consid. 3.1.1).
3.1. Selon la jurisprudence, un procès est dénué de chances de succès lorsque les perspectives de le gagner sont notablement plus faibles que les risques de le perdre; il n'est en revanche pas dénué de chances de succès lorsque celles-ci et les risques d'échec sont à peu près égaux, ou lorsque les premières ne sont guère inférieures aux seconds. Est déterminante la question de savoir si une partie disposant des ressources financières nécessaires se lancerait ou non dans le procès après une analyse raisonnable. Il s'agit d'éviter qu'une partie mène un procès qu'elle ne conduirait pas à ses propres frais, uniquement parce qu'il ne lui coûte rien (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2.2; <ref-ruling> consid. 2.2.4).
Le critère des chances de succès doit être examiné au moment du dépôt de la requête d'assistance judiciaire et sur la base d'un examen sommaire de la question (<ref-ruling> consid. 5.1; <ref-ruling> consid. 2.2.4). La décision d'assistance judiciaire doit certes être rendue avec une certaine précision; elle ne doit toutefois pas conduire à déplacer à ce stade le procès au fond. Les allégations du requérant doivent être vérifiées. L'autorité peut tenir compte des faits connus d'elle, s'ils sont avérés; lorsqu'elle s'achemine vers le refus de l'assistance judiciaire, elle ne peut ni ignorer des faits qui tendraient à l'admission de la cause, ni renoncer à élucider la portée de faits essentiels encore peu clairs. S'il est inadmissible d'attendre l'administration des mesures probatoires pour se déterminer sur les chances de succès, l'autorité d'octroi de l'assistance judiciaire a néanmoins le pouvoir d'entreprendre une appréciation des preuves et des offres de preuves, pour autant que celle-ci soit nécessaire à l'évaluation des perspectives de succès. En général, dans la procédure d'octroi de l'assistance judiciaire pour un procès civil ordinaire, l'appréciation se fait sur la base des pièces produites, à savoir de la preuve par titre (arrêts 5A_894/2019 précité consid. 6; 5A_396/2018 du 29 juin 2018 consid. 5.1 et les références).
L'absence de chances de succès peut résulter des faits ou du droit. L'assistance judiciaire sera ainsi refusée s'il apparaît d'emblée que les faits pertinents allégués sont invraisemblables ou ne pourront pas être prouvés. Il en sera de même si, en droit, la démarche du requérant paraît d'emblée irrecevable, ou juridiquement infondée. L'autorité chargée de statuer sur l'assistance judiciaire ne doit évidemment pas se substituer au juge du fond; tout au plus doit-elle examiner s'il y a des chances que le juge adopte la position soutenue par le demandeur, chances qui doivent être plus ou moins équivalentes aux risques qu'il parvienne à la conclusion contraire (arrêt 4D_22/2020 du 29 juin 2020 consid. 4.2.1 et les références).
3.2. Saisi d'un recours contre une décision refusant l'octroi de l'assistance judiciaire pour défaut de chances de succès, le Tribunal fédéral n'a pas à se substituer au juge cantonal pour décider si la requête présentée en instance cantonale doit être admise ou non. Le juge cantonal dispose d'un large pouvoir d'appréciation dans l'examen des chances de succès. Le Tribunal fédéral ne revoit sa décision qu'avec retenue: il doit uniquement vérifier que le juge cantonal ne s'est pas écarté des principes juridiques reconnus en la matière, qu'il n'a pas tenu compte de circonstances qui ne jouent pas de rôle pour le pronostic dans le cas particulier ou, inversement, qu'il n'a pas méconnu des circonstances pertinentes dont il aurait dû tenir compte (arrêts 4D_22/2020 précité consid. 4.2.1; 5A_118/2020 du 27 mai 2020 consid. 6.1.3; 4A_383/2019 précité consid. 2.2 et les références).
4.
4.1. Les recourants reprochent à l'autorité cantonale de ne pas s'en être tenue à un examen prima facie des chances de succès et d'avoir procédé à une analyse qui dépasse le seuil de la vraisemblance applicable dans une procédure portant sur l'octroi de l'assistance judiciaire. L'autorité précédente aurait en outre constaté les faits de manière manifestement inexacte en se fondant largement sur les allégations " non substantivées " des intimés, respectivement en excluant à tort les allégations, titres et autres moyens de preuve qu'ils avaient eux-mêmes fournis. Elle aurait ainsi anticipé le résultat de l'instruction au fond en se substituant sans raison au juge du fond.
Les recourants critiquent ensuite les motifs retenus par la cour cantonale pour constater que leur demande au fond était dénuée de chances de succès. Le juge précédent aurait ainsi considéré à tort que la réintroduction de leur requête de conciliation était clairement abusive. Ils soutiennent qu'au contraire, ils ont agi en toute bonne foi lorsqu'à la première occasion possible, ils ont d'emblée indiqué l'irrecevabilité de leur propre demande en raison de la nullité de l'autorisation de procéder, laquelle n'est pas sujette à recours. Par ailleurs, s'agissant du délai de péremption d'une année de l'<ref-law>, l'autorité cantonale se serait trompée en affirmant qu'ils n'avaient pas indiqué, respectivement qu'ils avaient indiqué tardivement, le moment auquel ils avaient eu connaissance des dispositions testamentaires litigieuses. Il ressortirait en effet clairement du dossier de la procédure de conciliation qu'ils n'en avaient été instruits qu'à l'occasion de leur première lecture, à l'audience du juge de commune du 21 mars 2016. De toute façon, même à suivre le raisonnement du juge cantonal, ni le délai de péremption de trente ans de l'<ref-law>, ni celui de dix ans de l'art. 521 al. 1 i.f. CC ne seraient échus à ce jour. Ce magistrat aurait aussi considéré à tort que les éléments qu'ils avaient mis en avant étaient insuffisants pour rendre plausible l'incapacité de discernement de la testatrice. Pris dans leur ensemble et non individuellement, ces éléments constitueraient en effet une base solide " devant faire douter toute personne ", suffisante au stade de la vraisemblance. Enfin, ils estiment que l'autorité cantonale ne pouvait pas balayer en quelques phrases leurs allégations relatives à une captation d'héritage, sauf à anticiper les résultats de l'instruction au fond, seule apte à traiter les différentes questions à élucider à cet égard.
4.2. Contrairement à ce que soutiennent les recourants, il n'apparaît pas que le juge cantonal ait procédé à un examen qui ne respecterait pas les principes dégagés par la jurisprudence tels que rappelés ci-dessus (cf. supra consid. 3.1). Quoi qu'il en soit, la prétendue anticipation de l'instruction au fond est dénoncée en lien avec les développements de la décision attaquée relatifs à la capacité de discernement de la testatrice et à la prétendue existence d'une captation d'héritage. Or il appert que ceux-ci ne viennent que s'ajouter à deux motifs liés à la péremption de l'action, en eux-mêmes suffisants pour apprécier les chances de succès de la demande au fond. A leur égard, force est de constater que les recourants échouent à démontrer que le juge cantonal aurait abusé de son pouvoir d'appréciation.
Ainsi, le constat selon lequel leur action semblait déjà périmée lors du dépôt de la requête de conciliation du 15 mars 2017, faute de toute allégation dans leur demande quant à la date à laquelle ils avaient eu connaissance des dernières volontés de la défunte, n'est pas valablement remis en cause. Pour le contrer, les recourants ne font en effet que répéter devant la Cour de céans une allégation déclarée irrecevable par le juge cantonal, au motif qu'elle était articulée pour la première fois en instance de recours. Un tel procédé est en soi inadmissible, les recourants ne tentant même pas de discuter l'irrecevabilité prononcée par le juge cantonal (cf. supra consid. 2.1). Pour le reste, il ne suffit pas d'invoquer les délais plus longs prévus à l'art. 521 al. 1 i.f. et 2 CC sans expliciter en quoi ils seraient susceptibles de s'appliquer in casu.
Par ailleurs, demeure également intacte l'opinion selon laquelle les recourants ne paraissaient pas pouvoir, de bonne foi, se prévaloir de la protection de l'<ref-law> pour éviter la péremption de leur droit d'agir selon l'<ref-law>, dès lors qu'ils avaient abusivement tardé à invoquer la composition irrégulière de l'autorité de conciliation. Les recourants se contentent en effet d'opposer leur propre appréciation de leur comportement procédural, sans expliquer en quoi les motifs retenus par le juge cantonal seraient contraires au droit fédéral, dans la mesure où, d'une part, le Tribunal fédéral a jugé que celui qui participe sans objection à l'audience de conciliation ne peut plus se prévaloir ensuite, devant le tribunal saisi du fond, de l'invalidité de l'autorisation de procéder résultant de l'incompétence de l'autorité de conciliation (cf. arrêt 4A_400/2019 du 17 mars 2020 consid. 5.5.3 et 5.7.2, destiné à la publication aux ATF, publié in RSPC 2020 p. 311 n° 2362),et, d'autre part, qu'il n'est pas contesté que les recourants étaient représentés par un homme de loi à l'audience de conciliation du 25 juillet 2017.
Au vu de ce qui précède, il n'est en rien critiquable d'avoir considéré que la péremption de l'action au fond apparaissait acquise. C'est donc sans outrepasser son pouvoir d'appréciation que le juge cantonal a en définitive retenu que les chances de succès de la demande introduite par les recourants étaient sensiblement inférieures aux risques d'échec, sans qu'il soit encore besoin d'examiner les autres motifs retenus pour justifier une telle appréciation. Infondé, le grief doit être rejeté.
5.
En conclusion, le recours se révèle mal fondé et ne peut donc être que rejeté. A la lecture du mémoire de recours, il apparaît que, nonobstant leur indigence, les recourants ont renoncé à solliciter l'assistance judiciaire pour la procédure fédérale. En tant qu'ils succombent, ils seront solidairement condamnés aux frais judiciaires (art. 66 al. 1 et 5 LTF), arrêtés à 3'000 fr. Il n'y a pas lieu d'allouer de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis solidairement à la charge des recourants.
3.
Le présent arrêt est communiqué aux recourants, au Juge des districts de Martigny et St-Maurice, au Juge unique de la Chambre civile du Tribunal cantonal du canton du Valais, ainsi que, pour information, à D.B._ et à E.B._.
Lausanne, le 9 septembre 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Mairot