Erwägungen:
1.
Mit Entscheid vom 23. März 2017 erteilte das Regionalgericht Emmental-Oberaargau den Beschwerdegegnern in der gegen den Beschwerdeführer angehobenen Betreibung Nr. xxx des Betreibungsamtes Emmental-Oberaargau, Dienststelle Oberaargau, die definitive Rechtsöffnung für den Betrag von Fr. 4'058.05 nebst Zins.
Gegen diesen Entscheid erhob der Beschwerdeführer am 13. April 2017 (Postaufgabe) Beschwerde an das Obergericht des Kantons Bern. Sein Gesuch um aufschiebende Wirkung wies das Obergericht am 18. April 2017 ab. Das Obergericht holte keine Stellungnahme der Beschwerdegegner ein und trat mit Entscheid vom 15. Mai 2017 auf die Beschwerde nicht ein.
Am 9. Juni 2017 (Postaufgabe) hat der Beschwerdeführer Beschwerde an das Bundesgericht erhoben.
2.
Aufgrund des tiefen Streitwerts (Art. 74 Abs. 1 lit. b BGG) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (Art. 74 Abs. 2 lit. a BGG) ist einzig die subsidiäre Verfassungsbeschwerde zulässig (Art. 113 ff. BGG). In einer subsidiären Verfassungsbeschwerde kann nur die Rüge der Verletzung verfassungsmässiger Rechte vorgebracht werden (Art. 116 BGG). Diese ist zu begründen (Art. 117 i.V.m. Art. 106 Abs. 2 BGG), d.h. anhand der Erwägungen des kantonalen Entscheids ist klar und detailliert darzulegen, welche verfassungsmässigen Rechte und inwiefern sie durch den angefochtenen Entscheid verletzt sein sollen (<ref-ruling> E. 3.1 S. 399). Ansonsten wird auf die Beschwerde nicht eingetreten (Art. 117 i.V.m. Art. 108 Abs. 1 lit. b BGG).
3.
Das Obergericht ist auf die kantonale Beschwerde mangels genügender Begründung nicht eingetreten. Der Beschwerdeführer habe bloss seinen Standpunkt wiederholt, wonach die Forderungen der Beschwerdegegner auf einem Prozessbetrug beruhten, ohne sich mit den Erwägungen des erstinstanzlichen Entscheids auseinanderzusetzen.
Vor Bundesgericht setzt sich der Beschwerdeführer mit diesen Erwägungen des Obergerichts nicht auseinander und er zeigt nicht in rechtsgenüglicher Weise auf, inwiefern das Obergericht von Verfassungs wegen auf seine kantonale Beschwerde hätte eintreten müssen. Stattdessen äussert er sich erneut zum angeblichen Prozessbetrug durch die Beschwerdegegner, macht Forderungen gegenüber den Beschwerdegegnern geltend und richtet Vorwürfe an die am angefochtenen Entscheid beteiligten Oberrichter. Sodann legt er nicht nachvollziehbar dar, inwiefern seine verfassungsmässigen Rechte dadurch verletzt worden sein sollen, dass das Obergericht von den Beschwerdegegnern keine Stellungnahme eingeholt hat, dass ihm (dem Beschwerdeführer) angeblich keine Kopie der Vollmacht des Rechtsvertreters der Beschwerdegegner vorgelegt worden ist oder dass das Obergericht keine - angeblich verlangte - Parteiverhandlung durchgeführt hat.
Die Verfassungsbeschwerde erweist sich damit als offensichtlich unzulässig bzw. sie enthält offensichtlich keine hinreichende Begründung. Darauf ist im vereinfachten Verfahren gemäss Art. 117 i.V.m. Art. 108 Abs. 1 lit. a und b BGG durch das präsidierende Mitglied der Abteilung nicht einzutreten. Das Gesuch um aufschiebende Wirkung wird mit dem Entscheid in der Sache gegenstandslos, sofern es sich auch auf das bundesgerichtliche Verfahren beziehen sollte.
4.
Bei diesem Verfahrensausgang trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG).

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Das Gesuch um aufschiebende Wirkung wird als gegenstandslos abgeschrieben.
3.
Die Gerichtskosten von Fr. 500.-- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Bern, 2. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 13. Juni 2017
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg