Erwägungen:
1.
Mit Entscheid vom 5. Januar 2021 erteilte das Regionalgericht Emmental-Oberaargau dem Beschwerdegegner gegenüber dem Beschwerdeführer in der Betreibung Nr. yyy des Betreibungsamtes Emmental-Oberaargau, Dienststelle Oberaargau, die definitive Rechtsöffnung für Fr. 600.-- nebst Mahngebühren.
Dagegen erhob der Beschwerdeführer am 23. Januar 2021 Beschwerde. Mit Entscheid vom 4. März 2021 trat das Obergericht des Kantons Bern auf die Beschwerde nicht ein, da der Beschwerdeführer den Gerichtskostenvorschuss binnen Nachfrist nicht geleistet hatte.
Gegen diesen Entscheid (sowie einen weiteren; dazu Verfahren 5D_43/2021) hat der Beschwerdeführer am 23. März 2021 (Postaufgabe) Beschwerde an das Bundesgericht erhoben.
2.
Aufgrund des unter Fr. 30'000.-- liegenden Streitwerts (<ref-law>) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (<ref-law>) ist die Eingabe als subsidiäre Verfassungsbeschwerde entgegenzunehmen (<ref-law>). Mit ihr kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (<ref-law>).
3.
Der angefochtene Entscheid ist ein Nichteintretensentscheid. Thema des bundesgerichtlichen Verfahrens ist demnach einzig, ob das Obergericht durch sein Nichteintreten verfassungsmässige Rechte verletzt hat. Diesbezüglich müsste der Beschwerdeführer anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darlegen, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (Art. 117 i.V.m. <ref-law>; <ref-ruling> E. 3.1 S. 399; <ref-ruling> E. 2.4 S. 368). Auf die Nichtbezahlung des Kostenvorschusses geht er jedoch überhaupt nicht ein. Insbesondere macht er nicht geltend, dass er vor Obergericht um unentgeltliche Rechtspflege ersucht hätte und ein solches Gesuch übergangen worden wäre. Stattdessen wehrt er sich gegen die Rechtsöffnung und äussert sich zu Sachverhalten und stellt Anträge, die ausserhalb des Rechtsöffnungsverfahrens stehen.
Die Beschwerde enthält damit offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch den Abteilungspräsidenten nicht einzutreten (Art. 117 i.V.m. <ref-law>).
4.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Sofern er mit seinen Ausführungen zu seinen finanziellen Verhältnissen und zur prozessualen Waffengleichheit ein Gesuch um unentgeltliche Rechtspflege hätte stellen wollen, so wäre dieses infolge Aussichtslosigkeit der Beschwerde abzuweisen gewesen (<ref-law>). Eine Parteientschädigung an den Beschwerdeführer fällt ausser Betracht (<ref-law>).

Demnach erkennt der Präsident:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 300.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, 2. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 12. April 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Herrmann
Der Gerichtsschreiber: Zingg