Faits :
A.
A.A._ né en 1965, et B.A._, née en 1967, se sont mariés le 9 novembre 2007. Aucun enfant n'est issu de leur union.
B.
B.a. Par décision de mesures protectrices de l'union conjugale du 4 avril 2017, l'époux a notamment été condamné à verser à l'épouse une contribution d'entretien mensuelle de 1'400 fr. dès le 1er avril 2017.
B.b. Par décision de mesures protectrices de l'union conjugale du 16 août 2019, le Tribunal régional Jura bernois-Seeland, Agence du Jura bernois, a rejeté une requête de l'époux du 21 mars 2019 tendant à la réduction de la contribution d'entretien due à l'épouse.
C.
Par arrêt du 6 mai 2020, la 2e Chambre civile de la Cour suprême du canton de Berne a rejeté l'appel interjeté par l'époux contre la décision du 16 août 2019.
D.
Par acte du 5 juin 2020, l'époux exerce un recours en matière civile au Tribunal fédéral, dans lequel il conclut à la réduction de la contribution d'entretien à 250 fr. par mois dès le 1er août 2019. Il sollicite égale-ment le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Des observations n'ont pas été requises.

Considérant en droit :
1.
Déposé en temps utile (<ref-law>) et dans la forme légale (<ref-law>), le recours est dirigé contre une décision finale (<ref-law>; <ref-ruling> consid. 4) prise sur recours par une autorité supérieure statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), dans une affaire matrimoniale (<ref-law>; <ref-ruling> consid. 2) de nature pécuniaire, dont la valeur litigieuse requise est atteinte (art. 51 al. 1 let. a, 51 al. 4 et 74 al. 1 let. b LTF). Le recourant a participé à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision entreprise (art. 76 al. 1 let. a et b LTF). Le recours est donc en principe recevable au regard des dispositions qui précèdent.
2.
2.1. Comme la décision attaquée porte sur des mesures provisionnelles au sens de l'<ref-law> (<ref-ruling> consid. 1.1; <ref-ruling> consid. 5, 585 consid. 3.3), la partie recourante ne peut dénoncer que la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation "; <ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). Le recourant ne peut se borner à critiquer la décision attaquée comme il le ferait en procédure d'appel, où l'autorité de recours jouit d'une libre cognition, notamment en se contentant d'opposer sa thèse à celle de l'autorité précédente; les critiques de nature appellatoire sont irrecevables (ATF <ref-ruling> consid. 2.4 et la référence).
En particulier, une décision ne peut être qualifiée d'arbitraire (art. 9 Cst.) que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (<ref-ruling> consid. 7.3; <ref-ruling> consid. 4.1); il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 7.1, 170 consid. 7.3; <ref-ruling> consid. 4.3).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifes-tement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 1.1 et la référence). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.4.3). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3 et les références).
3.
Le recourant se plaint en substance d'une application arbitraire des art. 4, 163 et 176 CC, ainsi que 93 LP.
4.
4.1. Le recourant soulève tout d'abord un grief relatif à l'absence de prise en compte, dans les revenus de l'intimée, des prestations complémentaires de l'assurance-invalidité auxquelles elle pourrait prétendre.
4.2. Pour fixer la capacité contributive des parties en matière de contribution d'entretien, le juge doit déterminer les ressources et les charges de celles-ci (arrêts 5A_601/2017 et 5A_607/2017 du 17 janvier 2018 consid. 5.4.2). Dans le calcul des ressources du crédirentier, il n'y a pas lieu de tenir compte des prestations complémentaires, celles-ci étant subsidiaires aux obligations d'entretien du droit de la famille (arrêts 5A_1008/2017 du 7 mars 2018 consid. 4.3; 5A_128/2016 du 22 août 2016 consid. 5.1.4.1; 5A_158/2010 du 25 mars 2010 consid. 3.2).
4.3. Dans la décision entreprise, la juridiction précédente a liminairement confirmé l'entrée en matière de l'autorité de première instance sur la requête en modification de la contribution d'entretien due à l'intimée. A cet égard, elle a constaté que deux faits nouveaux essentiels et durables étaient réalisés, à savoir que le revenu de l'époux avait diminué et que l'épouse percevait désormais une rente AI de 574 fr. La cour cantonale a constaté qu'en plus de cette rente, l'intimée bénéficiait de prestations complémentaires mensuelles de 841 fr. En application de la jurisprudence précitée, elle a toutefois relevé que ces prestations étaient subsidiaires aux obligations d'entretien du droit de la famille et qu'elles n'avaient pas à être prises en compte dans le calcul de la contribution d'entretien.
4.4. En tant que le recourant soutient que les prestations complémentaires AI auraient dû être intégrées dans le revenu déterminant de l'intimée, son grief apparaît d'emblée infondé au vu des principes qui précèdent (cf. supra consid. 4.2), a fortiori dans le cadre d'un examen limité à l'arbitraire.
Le recourant s'efforce néanmoins de remettre en cause le bien-fondé de la jurisprudence précitée en se référant à un <ref-ruling>, déjà mentionné dans son mémoire d'appel. L'arrêt en question retient que, dans l'application de l'<ref-law>, le revenu de substitution - dont font partie les prestations des assurances sociales et privées destinées à couvrir la perte de gain, passagère ou durable, liée à la réalisation des risques assurés (chômage, accident, maladie ou invalidité) - doit être pris en compte dans les revenus des époux (consid. 3.4). Selon le recourant, on pourrait déduire de cet arrêt que les prestations complémentaires AI constituent un revenu de substitution destiné à couvrir une perte de gain et qu'elles devraient être incluses dans les ressources des époux. Cette interprétation extensive est toutefois infondée et l'arrêt ne contredit en rien la jurisprudence topique appliquée par l'autorité cantonale. Partant, l'argument du recourant doit être rejeté.
Le recourant se réfère également à un passage de doctrine qui mentionne l'intégration des prestations complémentaires dans les revenus des époux (DESCHENAUX/STEINAUER/BADDELEY, Les effets du mariage, 3e éd. 2017, n. 637 p. 403) et qui renvoie sur ce point à deux auteurs (DE WECK-IMMELÉ, in Commentaire pratique, Droit matrimonial, 2016, n° 61 ss ad <ref-law>, spéc. n° 65; D E PORET BORTOLASO, Le calcul des contributions d'entretien, in: SJ 2016 II 141, p. 159). Dès lors toutefois que ceux-ci font précisément état de l'absence de prise en compte des prestations complémentaires AI dans les ressources déterminantes des conjoints, il apparaît douteux que la doctrine citée par le recourant entende réellement s'écarter de la jurisprudence fédérale litigieuse. Quoi qu'il en soit, le renvoi à un avis doctrinal contraire à la jurisprudence bien établie du Tribunal fédéral n'est de toute manière pas pertinent en l'espèce, dans la mesure où le seul fait qu'une autre solution soit concevable, voire préférable, ne permet pas de considérer que la décision attaquée serait arbitraire (cf. supra consid. 2.1). Le moyen du recourant doit dès lors être écarté.
Le recourant entend finalement étendre la portée de la jurisprudence qu'il critique en exposant qu'elle ne serait pertinente que dans le cas où le débirentier dispose de moyens financiers suffisants pour assumer non seulement son minimum vital, y compris sa charge fiscale, mais également celui du crédirentier. Dès lors que cette affirmation péremptoire n'est pas étayée et qu'elle apparaît ne relever que de la seule opinion du recourant, le moyen est irrecevable (cf. supra consid. 2.1).
Il s'ensuit que le recourant ne parvient pas à démontrer en quoi, dans le cas d'espèce, l'application par l'autorité cantonale de la jurisprudence topique du Tribunal fédéral pourrait être taxée d'arbitraire. Autant qu'il est suffisamment motivé, le grief apparaît ainsi infondé.
5.
5.1. Le recourant fait en outre valoir que la juridiction précédente aurait arbitrairement refusé d'inclure sa charge fiscale dans son minimum vital.
5.2. Dans l'arrêt entrepris, les juges cantonaux ont constaté que les revenus cumulés des parties (5'133 fr.) ne couvraient pas leurs charges (5'559 fr.) et ont considéré que, dans ces circonstances, les impôts de l'époux n'avaient pas à être pris en considération, peu importe qu'il s'en acquitte effectivement ou qu'il juge cette situation insatisfaisante pour lui. La cour cantonale a encore relevé que, dans le canton de Berne, la législation accordait un droit subjectif à une remise d'impôts pour les contribuables ne pouvant s'en acquitter en raison d'obligations découlant du droit de la famille.
5.3. Si les moyens des époux sont insuffisants pour couvrir leurs minima vitaux du droit des poursuites, la charge fiscale ne doit pas être prise en considération. En revanche, lorsque la contribution est calculée conformément à la méthode dite du minimum vital avec répartition de l'excédent et que les conditions financières des parties sont favorables, il faut tenir compte de la charge fiscale courante (<ref-ruling> consid. 4.2.3; arrêts 5A_601/2017 et 5A_607/2017 du 17 janvier 2018 consid. 5.4.2; 5A_589/2017 du 30 novembre 2017 consid. 4.3.1; 5A_511/2010 du 4 février 2011 consid. 2.2.3).
5.4. Dès lors que le recourant n'est pas parvenu à établir que la cour cantonale aurait arbitrairement refusé d'inclure les prestations complémentaires AI dans les revenus de l'intimée (cf. supra consid. 4.4), la constatation du déficit budgétaire des époux demeure intacte. Dans ces conditions, le recourant ne saurait échapper à l'application de la jurisprudence qui vient d'être citée et, pour autant que recevable, son grief d'arbitraire doit être rejeté.
6.
Le recourant reproche encore aux juges cantonaux d'avoir exclu de son minimum vital un montant de 360 fr., correspondant à un remboursement mensuel en faveur de la C._. Force est à cet égard de constater que, dans l'arrêt querellé, la cour cantonale a déclaré irrecevables les pièces censées attester de ce remboursement, sans que, dans son recours, le recourant formule une quelconque critique sur ce point (cf. supra consid. 2.2). Faute de reposer sur un fait établi, le grief soulevé peut dès lors être écarté.
7.
En définitive, le recours doit être rejeté, dans la mesure de sa recevabilité. Les conclusions du recourant étant d'emblée vouées à l'échec, la requête d'assistance judiciaire ne saurait être agréée (<ref-law>) et l'intéressé supportera les frais de la procédure (<ref-law>). Il n'y a pas lieu d'octroyer de dépens à l'intimée, qui n'a pas été invitée à se déterminer (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la 2e Chambre civile de la Cour suprême du canton de Berne.
Lausanne, le 23 novembre 2020
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Gudit