Erwägungen:
1.
Mit Urteil vom 17. Februar 2020 erteilte das Richteramt Bucheggberg-Wasseramt dem Beschwerdegegner gegenüber der Beschwerdeführerin in der Betreibung Nr. xxx des Betreibungsamtes Region Solothurn definitive Rechtsöffnung für Fr. 350.-- nebst Zins und Fr. 50.--.
Dagegen erhob die Beschwerdeführerin am 9. März 2020 Beschwerde beim Obergericht des Kantons Solothurn. Mit Urteil vom 14. April 2020 hiess das Obergericht die Beschwerde wegen Verletzung des rechtlichen Gehörs teilweise gut, soweit es darauf eintrat. Das Urteil des Richteramts hob es auf und wies die Sache zu neuer Beurteilung des Rechtsöffnungsgesuchs an das Richteramt zurück. Es erhob keine Kosten und sprach keine Entschädigung zu.
Gegen dieses Urteil hat die Beschwerdeführerin am 20. Mai 2020 (Postaufgabe) Beschwerde an das Bundesgericht erhoben.
2.
Der Streitwert erreicht den für eine Beschwerde in Zivilsachen erforderlichen Betrag von Fr. 30'000.-- nicht (<ref-law>). Die Beschwerdeführerin beruft sich zwar am Rande auf das Vorliegen einer Rechtsfrage von grundsätzlicher Bedeutung (<ref-law>), doch begründet sie dies entgegen <ref-law> nicht und Entsprechendes ist auch nicht ersichtlich. Die Eingabe ist als subsidiäre Verfassungsbeschwerde entgegenzunehmen (<ref-law>).
Die Beschwerdeführerin stellt einzig Anträge hinsichtlich der verweigerten Entschädigung. Sie übt zwar teilweise Kritik am Verfahren insgesamt bzw. an der Rechtsöffnung, stellt jedoch die Rückweisung an das Richteramt als solche nicht in Frage. Demnach ist einzig die verweigerte Entschädigung Gegenstand des bundesgerichtlichen Verfahrens.
Das angefochtene Urteil ist ein Rückweisungsentscheid und damit ein Zwischenentscheid (<ref-ruling> E. 1.3 und 1.4 S. 253 ff.). Dies gilt auch für die darin enthaltene Entschädigungsregelung für das obergerichtliche Verfahren (<ref-ruling> E. 1.2 S. 331). Da kein Anwendungsfall von Art. 117 i.V.m. <ref-law> vorliegt, ist die Beschwerde an das Bundesgericht nur unter den restriktiven Voraussetzungen von Art. 117 i.V.m. <ref-law> zulässig. Vorliegend fällt einzig die Variante von <ref-law> in Betracht, d.h. die Beschwerde ist nur zulässig, wenn der angefochtene Zwischenentscheid einen nicht wieder gutzumachenden Nachteil bewirken könnte. Nach der Rechtsprechung bewirkt jedoch die Regelung der Kosten- und Entschädigungsfolgen in einem Zwischenentscheid für sich allein keinen solchen Nachteil (<ref-ruling> E. 1.2 S. 331 ff.; <ref-ruling> E. 2.3 S. 95 f.; <ref-ruling> E. 1.3 S. 419). Die Partei, die sich durch die Kosten- und Entschädigungsregelung im Zwischenentscheid verletzt fühlt, kann diesen Punkt zusammen mit dem Endentscheid gemäss <ref-law> anfechten oder, wenn der Endentscheid in der Sache nicht in Frage gestellt wird, sobald dieser ergangen ist (<ref-ruling> E. 1.3 S. 294; <ref-ruling> E. 1.3 S. 419).
Die Beschwerde ist damit offensichtlich unzulässig. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 117 i.V.m. <ref-law>).
3.
Es rechtfertigt sich ausnahmsweise, auf die Erhebung von Gerichtskosten zu verzichten (<ref-law>).

Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Gerichtskosten erhoben.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 29. Mai 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg