Erwägungen:
1.
Mit Urteil vom 17. Februar 2020 erteilte das Richteramt Bucheggberg-Wasseramt dem Beschwerdegegner gegenüber der Beschwerdeführerin in der Betreibung Nr. xxx des Betreibungsamtes Region Solothurn definitive Rechtsöffnung für Fr. 350.-- nebst Zins und Fr. 50.--.
Dagegen erhob die Beschwerdeführerin am 9. März 2020 Beschwerde beim Obergericht des Kantons Solothurn. Mit Urteil vom 14. April 2020 hiess das Obergericht die Beschwerde wegen Verletzung des rechtlichen Gehörs teilweise gut, soweit es darauf eintrat. Das Urteil des Richteramts hob es auf und wies die Sache zu neuer Beurteilung des Rechtsöffnungsgesuchs an das Richteramt zurück. Es erhob keine Kosten und sprach keine Entschädigung zu.
Gegen dieses Urteil hat die Beschwerdeführerin am 20. Mai 2020 (Postaufgabe) Beschwerde an das Bundesgericht erhoben.
2.
Der Streitwert erreicht den für eine Beschwerde in Zivilsachen erforderlichen Betrag von Fr. 30'000.-- nicht (Art. 74 Abs. 1 lit. b BGG). Die Beschwerdeführerin beruft sich zwar am Rande auf das Vorliegen einer Rechtsfrage von grundsätzlicher Bedeutung (Art. 74 Abs. 2 lit. a BGG), doch begründet sie dies entgegen Art. 42 Abs. 2 BGG nicht und Entsprechendes ist auch nicht ersichtlich. Die Eingabe ist als subsidiäre Verfassungsbeschwerde entgegenzunehmen (Art. 113 ff. BGG).
Die Beschwerdeführerin stellt einzig Anträge hinsichtlich der verweigerten Entschädigung. Sie übt zwar teilweise Kritik am Verfahren insgesamt bzw. an der Rechtsöffnung, stellt jedoch die Rückweisung an das Richteramt als solche nicht in Frage. Demnach ist einzig die verweigerte Entschädigung Gegenstand des bundesgerichtlichen Verfahrens.
Das angefochtene Urteil ist ein Rückweisungsentscheid und damit ein Zwischenentscheid (BGE 144 III 253 E. 1.3 und 1.4 S. 253 ff.). Dies gilt auch für die darin enthaltene Entschädigungsregelung für das obergerichtliche Verfahren (BGE 135 III 329 E. 1.2 S. 331). Da kein Anwendungsfall von Art. 117 i.V.m. Art. 92 BGG vorliegt, ist die Beschwerde an das Bundesgericht nur unter den restriktiven Voraussetzungen von Art. 117 i.V.m. Art. 93 BGG zulässig. Vorliegend fällt einzig die Variante von Art. 93 Abs. 1 lit. a BGG in Betracht, d.h. die Beschwerde ist nur zulässig, wenn der angefochtene Zwischenentscheid einen nicht wieder gutzumachenden Nachteil bewirken könnte. Nach der Rechtsprechung bewirkt jedoch die Regelung der Kosten- und Entschädigungsfolgen in einem Zwischenentscheid für sich allein keinen solchen Nachteil (BGE 135 III 329 E. 1.2 S. 331 ff.; 138 III 94 E. 2.3 S. 95 f.; 143 III 416 E. 1.3 S. 419). Die Partei, die sich durch die Kosten- und Entschädigungsregelung im Zwischenentscheid verletzt fühlt, kann diesen Punkt zusammen mit dem Endentscheid gemäss Art. 93 Abs. 3 BGG anfechten oder, wenn der Endentscheid in der Sache nicht in Frage gestellt wird, sobald dieser ergangen ist (BGE 143 III 290 E. 1.3 S. 294; 143 III 416 E. 1.3 S. 419).
Die Beschwerde ist damit offensichtlich unzulässig. Auf sie ist im vereinfachten Verfahren durch das präsidierende Mitglied der Abteilung nicht einzutreten (Art. 117 i.V.m. Art. 108 Abs. 1 lit. a BGG).
3.
Es rechtfertigt sich ausnahmsweise, auf die Erhebung von Gerichtskosten zu verzichten (Art. 66 Abs. 1 BGG).
Demnach erkennt das präsidierende Mitglied:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Es werden keine Gerichtskosten erhoben.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 29. Mai 2020
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg