Erwägungen:
1.
Mit Entscheid vom 19. April 2021 erteilte das Regionalgericht Emmental-Oberaargau dem Beschwerdegegner gegenüber dem Beschwerdeführer in der Betreibung Nr. xxx des Betreibungsamtes Emmental-Oberaargau, Dienststelle Emmental, die definitive Rechtsöffnung für Fr. 200.--. Der Entscheid wurde dem Beschwerdeführer am 20. April 2021 zugestellt.
Gegen diesen Entscheid erhob der Beschwerdeführer am 4. Mai 2021 (Postaufgabe) Beschwerde. Mit Entscheid vom 7. Mai 2021 trat das Obergericht des Kantons Bern auf die Beschwerde infolge Verspätung nicht ein.
Gegen diesen Entscheid hat der Beschwerdeführer am 25. Mai 2021 (Postaufgabe) Beschwerde an das Bundesgericht erhoben. Am 7. Juni 2021 hat er eine weitere Eingabe eingereicht. Das Bundesgericht hat die Akten beigezogen.
2.
Der Beschwerdeführer hat seine Eingaben zulässigerweise auf Französisch verfasst (<ref-law>). Das Verfahren wird jedoch in der Sprache des angefochtenen Entscheids und damit auf Deutsch geführt (<ref-law>).
3.
Aufgrund des unter Fr. 30'000.-- liegenden Streitwerts (<ref-law>) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (<ref-law>) ist die Eingabe als subsidiäre Verfassungsbeschwerde entgegenzunehmen (<ref-law>). Mit ihr kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (<ref-law>). Verfassungsrügen müssen gemäss dem strengen Rügeprinzip von Art. 117 i.V.m. <ref-law> in der Beschwerde präzise vorgebracht und begründet werden. Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (<ref-ruling> E. 3.1 S. 399; <ref-ruling> E. 2.4 S. 368).
4.
Der Beschwerdeführer macht geltend, er habe mehrfach verlangt, dass ihm auf Französisch geantwortet werde, was verweigert worden sei. Inwiefern diesbezüglich gegen verfassungsmässige Rechte verstossen worden sein soll, legt er nicht dar.
Sodann macht er geltend, seine Beschwerde an das Obergericht sei nicht verspätet gewesen. Er habe am 23. April 2021 einen Entscheid des Regionalgerichts vom 22. April 2021 erhalten. Er bezieht sich damit auf ein Schreiben des Regionalgerichts, welches zuhanden des Beschwerdeführers den Inhalt des Entscheids vom 19. April 2021 auf Französisch zusammenfasst. In diesem Schreiben wurde darauf hingewiesen, dass die Beschwerdefrist ab der Zustellung des begründeten Entscheids läuft (d.h. ab der Zustellung des Entscheids vom 19. April 2021). Inwiefern vor diesem Hintergrund verfassungsmässige Rechte gebieten würden, dass das Obergericht auf die kantonale Beschwerde hätte eintreten müssen, legt der Beschwerdeführer nicht dar.
Der Beschwerdeführer beklagt sich ausserdem darüber, dass er Fr. 150.-- bezahlen müsse. Wie sich seiner zweiten Eingabe entnehmen lässt, bezieht er sich dabei auf den zu vollstreckenden Betrag (Gerichtskosten von Fr. 150.-- und Mahngebühren von Fr. 50.--) und nicht auf die Gerichtskosten des Regional- oder Obergerichts im Rechtsöffnungsverfahren (ebenfalls jeweils Fr. 150.--). Auch in diesem Zusammenhang fehlt eine Verfassungsrüge. Das Verhalten der Gerichtskasse bzw. der Inkassostelle der Steuerverwaltung, die ihm auf Anfragen angeblich nicht geantwortet haben sollen, ist nicht Gegenstand des Rechtsöffnungsverfahrens.
Die Beschwerde enthält offensichtlich keine hinreichende Begründung. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 117 i.V.m. <ref-law>).
5.
Bei diesem Ausgang des Verfahrens trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Eine Entschädigung an ihn fällt ausser Betracht (<ref-law>).

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 300.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, 2. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 15. Juni 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg