Faits :
A.
A.A._, né en 1983, et B.A._, née en 1986, se sont mariés le 12 janvier 2009. Aucun enfant n'est issu de leur union.
B.
B.a. Le 28 janvier 2020, l'époux a adressé au Tribunal civil de l'arrondissement de l'Est vaudois (ci-après: Tribunal) une requête commune en divorce avec accord partiel ainsi qu'une requête de mesures provisionnelles. Au fond, outre au prononcé du divorce, il a conclu, sous suite de frais et dépens à la charge de l'épouse, à ce qu'il soit dit qu'aucune contribution d'entretien n'est due et à ce que " le partage de l'avoir de prévoyance professionnelle " soit ordonné. A l'appui de sa requête de mesures provisionnelles, il a conclu à ce que son épouse lui verse une avance de frais de 3'000 fr. Subsidiairement, il a conclu à l'octroi de l'assistance judiciaire. Il n'a produit aucune pièce en lien avec sa situation financière.
B.b. Par décisions du 29 janvier 2020, le Président du Tribunal a prié l'époux de verser d'ici au 28 février 2020 deux avances de frais de 1'500 fr., respectivement de 400 fr., pour la procédure de divorce sur requête commune et la requête de mesures provisionnelles qu'il avait introduites.
B.c. Par acte du 10 février 2020, l'époux a interjeté un recours contre ces deux demandes d'avance de frais, en concluant, sous suite de frais et dépens, à leur annulation. Il a également conclu à l'octroi de l'assistance judiciaire pour la procédure de deuxième instance. Il a produit un bordereau de pièces concernant sa situation financière.
B.d. Par arrêt du 2 mars 2020, la Chambre des recours civile du Tribunal cantonal vaudois (ci-après: Chambre des recours) a rejeté le recours, confirmé les décisions attaquées, rejeté la requête d'assistance judiciaire, et dit que l'arrêt, rendu sans frais, était exécutoire.
C.
Par acte posté le 4 mai 2020, l'époux exerce un recours en matière civile et un recours constitutionnel subsidiaire au Tribunal fédéral contre l'arrêt du 2 mars 2020. Il conclut principalement à son annulation " sans substitution " (sic). Subsidiairement, il sollicite le renvoi de la cause à l'instance précédente pour nouvelle décision. Pour le surplus, il requiert d'être mis au bénéfice de l'assistance judiciaire pour la procédure fédérale. Le recourant se plaint d'une violation de l'art. 29 al. 3 Cst.
Des déterminations n'ont pas été requises.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1; <ref-ruling> consid. 1).
1.1. Le mémoire de recours doit contenir des conclusions (<ref-law>). Dès lors que tant le recours en matière civile que le recours constitutionnel subsidiaire sont des voies de réforme (art. 107 al. 2 et 117 LTF), le recourant ne peut pas se borner à demander l'annulation de la décision attaquée et le renvoi de la cause à l'instance cantonale; il doit, sous peine d'irrecevabilité, prendre des conclusions sur le fond du litige (<ref-ruling> consid. 1.3; <ref-ruling> consid. 1.3; <ref-ruling> consid. 3.1). Il n'est fait exception à ces principes que lorsque le Tribunal fédéral, s'il admettait le recours, ne serait pas en mesure de statuer lui-même sur le fond; il appartient au recourant de démontrer qu'il en est ainsi lorsque cela ne ressort pas sans autre de la décision attaquée (ATF <ref-ruling> consid. 1.3; <ref-ruling> consid. 3.2).
En l'espèce, le recourant se borne à prendre des conclusions cassatoires, sollicitant l'annulation " sans substitution " (sic) de l'arrêt attaqué. Il n'explique pas et le Tribunal fédéral ne discerne pas pourquoi il ne pourrait pas mettre lui-même fin au litige, en cas de succès des moyens présentés. Dans cette mesure, les conclusions du recours apparaissent lacunaires. Déclarer irrecevable le recours faute de conclusions réformatoires valablement formulées pourrait cependant relever du formalisme excessif, dans la mesure où l'on comprend, à la lecture du mémoire de recours, que l'intéressé conclut, en substance, à la réforme de l'arrêt entrepris en ce sens que les décisions d'avance de frais du 29 janvier 2020 sont annulées au motif que le premier juge n'avait pas encore statué sur sa requête de provisio ad litem, subsidiairement d'assistance judiciaire, et que sa requête d'assistance judiciaire pour la procédure de deuxième instance est admise dès lors que son recours n'était pas dénué de chances de succès. La question n'a toutefois pas à être approfondie car, de toute manière, le recours doit être déclaré irrecevable, pour d'autres motifs.
1.2.
1.2.1. Selon l'<ref-law>, le recours au Tribunal fédéral n'est en principe recevable que contre les décisions qui mettent fin à la procédure, dites décisions finales. Un recours séparé contre des décisions préjudicielles ou incidentes, hormis celles portant sur la compétence ou la récusation visées par l'<ref-law>, n'est recevable qu'aux conditions spécifiques prévues par l'<ref-law>. La décision fixant le montant de l'avance de frais et impartissant un délai pour la payer ne met pas fin au procès civil. Il s'agit au contraire d'une simple décision incidente (parmi plusieurs: arrêt 5A_222/2020 du 22 juin 2020 consid. 1.2). L'arrêt de la Chambre des recours a terminé l'instance introduite devant cette autorité. Néanmoins, parce que le recours à l'origine de ce prononcé était dirigé contre une décision incidente, l'arrêt revêt lui aussi le caractère d'une décision incidente selon l'<ref-law> (<ref-ruling> consid. 1.1).
1.2.2. Selon l'<ref-law>, le recours au Tribunal fédéral est notamment recevable contre les décisions incidentes de nature à causer un préjudice irréparable. La partie recourante doit être menacée d'un préjudice de nature juridique, qu'une décision finale favorable ne fera pas disparaître complètement. Un inconvénient seulement matériel, résultant par exemple d'un accroissement de la durée et des frais de la procédure, est insuffisant (<ref-ruling> consid. 1.2.1; <ref-ruling> consid. 2.2; <ref-ruling> consid. 2.3.1). Dans le cas où, comme en l'espèce, le recourant attaque une décision relative à une avance de frais en se disant empêché d'accéder à la justice, il doit démontrer, dans les motifs, que ce préjudice le menace effectivement parce qu'il n'est financièrement pas en mesure de fournir l'avance de frais (<ref-ruling> consid. 2; parmi plusieurs: arrêts 5A_222/2020 précité consid. 1.2 et les arrêts cités; 4A_492/2017 du 25 octobre 2017 consid. 3.1).
A l'appui de sa motivation en lien avec l'<ref-law>, le recourant se borne à affirmer qu'il " n'est pas en mesure d'assumer les frais de la procédure de divorce sans porter atteinte au minimum nécessaire à son entretien et à celui de sa famille ". Cette seule affirmation ne remplit manifestement pas la condition fixée dans la jurisprudence susmentionnée. C'était pourtant au recourant, selon cette jurisprudence, de démontrer qu'il ne possède pas les fonds nécessaires au paiement des avances de frais considérées et qu'il ne sera pas en mesure de se les procurer à temps. Au demeurant, si tant est qu'il faille les prendre en considération au stade de l'examen de la recevabilité du présent recours, on ne saurait inférer, sans autre forme d'explication, des pièces produites à l'appui de la requête d'assistance judiciaire pour la procédure fédérale que les ressources du recourant et de son épouse seraient insuffisantes pour assumer les frais de la procédure de divorce sur requête commune initiée devant le Tribunal.
1.2.3. Il suit de là qu'en tant qu'il est dirigé contre la confirmation des décisions d'avance de frais du 29 janvier 2020, le recours est irrecevable faute de répondre aux conditions de l'<ref-law>.
1.3. Le recourant s'en prend également au rejet de sa requête d'assistance judiciaire pour la procédure de deuxième instance, prononcé et notifié en même temps que l'arrêt au fond.
1.3.1. La recevabilité du recours, qui porte en l'occurrence sur une question accessoire (cf. parmi plusieurs: arrêt 5A_497/2019 du 10 décembre 2019 consid. 1 et les références), se détermine en fonction de la cause au fond, dans la mesure où aucune procédure spéciale n'est prévue (<ref-ruling> consid. 2.2; <ref-ruling> consid. 1.1). L'arrêt attaqué a été rendu dans le contexte d'une procédure de divorce, à savoir en matière civile (<ref-law>). Dite procédure n'a trait qu'à des prétentions pécuniaires, dont il n'apparaît pas qu'elles atteignent le seuil de 30'000 fr. (cf. <ref-law>), le recourant, qui considère à tort que la cause au fond serait non pécuniaire dans son ensemble, ne donnant aucune indication du montant des avoirs de prévoyance professionnelle qu'il y aurait lieu de partager. Seul le recours constitutionnel subsidiaire est donc ouvert. Cela étant, dès lors que le recourant confine ses propres griefs à la violation des droits constitutionnels, la qualification du recours en tant que constitutionnel ou ordinaire ne revêt, en l'espèce, aucune pertinence.
1.3.2. Le recours constitutionnel peut être exclusivement formé pour violation des droits constitutionnels (<ref-law>). Conformément à l'<ref-law> (applicable en vertu du renvoi de l'<ref-law>), le Tribunal fédéral ne connaît de la violation des droits fondamentaux - notion qui englobe les droits constitutionnels (<ref-ruling> consid. 2) - que si un tel moyen a été invoqué et motivé par le recourant, à savoir exposé de manière claire et détaillée (<ref-ruling> consid. 2.1 et les références).
1.3.3. Le recourant considère qu'il n'avait pas d'autre choix que de déposer un recours contre les décisions du 29 janvier 2020 et que son argument selon lequel le premier juge ne pouvait pas requérir les avances de frais litigieuses sans avoir au préalable statué sur sa requête de provisio ad litem, subsidiairement d'assistance judiciaire, n'était pas dénué de chances de succès. En retenant le contraire, les juges cantonaux avaient violé l'art. 29 al. 3 Cst. Ce faisant, sauf à les qualifier d'erronées ou de " motivation complètement nouvelle ", le recourant ne discute pas, conformément aux exigences susrappelées (<ref-law>; cf. supra consid. 1.3.2), les arguments retenus par les juges cantonaux. En particulier, il ne prend pas position sur les motifs qui les ont conduits à considérer que le premier juge n'avait en l'occurrence pas à statuer sur sa requête d'assistance judiciaire, non valablement déposée, et qu'il pouvait en conséquence solliciter le versement des avances de frais litigieuses. Partant, son grief est irrecevable.
2.
En définitive, le recours doit être déclaré irrecevable. Les conclusions du recourant étant d'emblée vouées à l'échec, la requête d'assistance judiciaire ne saurait être agréée (<ref-law>) et l'intéressé supportera les frais de la procédure (<ref-law>). Il n'y a pas lieu d'allouer de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au recourant, au Président du Tribunal civil de l'arrondissement de l'Est vaudois et à la Chambre des recours civile du Tribunal cantonal du canton de Vaud.
Lausanne, le 14 août 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Juge présidant : La Greffière :
von Werdt Hildbrand