Erwägungen:
1.
Die Beschwerdegegnerin erhob am 21. August 2020 beim Richteramt Olten-Gösgen eine paulianische Anfechtungsklage gegen die Beschwerdeführerin. Mit Urteil vom 25. Mai 2021 verurteilte das Richteramt die Beschwerdeführerin, der Beschwerdegegnerin Fr. 5'000.-- zu bezahlen.
Gegen dieses Urteil erhob die Beschwerdeführerin am 21. Oktober 2021 Beschwerde beim Obergericht des Kantons Solothurn. Mit Urteil vom 8. November 2021 wies das Obergericht die Beschwerde ab, soweit es darauf eintrat.
Gegen dieses Urteil hat die Beschwerdeführerin am 11. November 2021 Beschwerde an das Bundesgericht erhoben. Am 17. und 18. November 2021 hat sie weitere Eingaben eingereicht. Das Bundesgericht hat die Akten beigezogen.
2.
Aufgrund des unter Fr. 30'000.-- liegenden Streitwerts (Art. 74 Abs. 1 lit. b BGG) und mangels Vorliegens einer Rechtsfrage von grundsätzlicher Bedeutung (Art. 74 Abs. 2 lit. a BGG) ist die Eingabe als subsidiäre Verfassungsbeschwerde entgegenzunehmen (Art. 113 ff. BGG). Mit ihr kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 116 BGG). Verfassungsrügen müssen gemäss dem strengen Rügeprinzip von Art. 117 i.V.m. Art. 106 Abs. 2 BGG in der Beschwerde präzise vorgebracht und begründet werden. Dies bedeutet, dass anhand der Erwägungen des angefochtenen Entscheids klar und detailliert darzulegen ist, inwiefern verfassungsmässige Rechte verletzt worden sein sollen (BGE 133 II 396 E. 3.1 S. 399; 142 III 364 E. 2.4 S. 368). Der vorinstanzlich festgestellte Sachverhalt ist für das Bundesgericht grundsätzlich verbindlich (Art. 118 BGG).
3.
Das Richteramt hat erwogen, die anfechtbare Rechtshandlung bestehe darin, dass sich der Schuldner (C._) von der Beschwerdeführerin keinen Lohn oder sonstige Vergütungen habe auszahlen lassen, dies in der Absicht, kein Vollstreckungssubstrat zu generieren. Damit habe er in Schädigungsabsicht gehandelt. Dies sei für die Beschwerdeführerin erkennbar gewesen, denn der Schuldner sei Organ der Beschwerdeführerin und sein Wissen sei ihr zuzurechnen. Das Obergericht hat erwogen, dass sich die Beschwerdeführerin in ihrer kantonalen Beschwerde dazu nicht äussere, sondern zu Punkten ohne Bezug zum angefochtenen erstinstanzlichen Urteil. Die Beschwerdeführerin bringe sodann vor, sie sei nicht in der Lage gewesen, Löhne zu bezahlen. Das entscheidende Tatbestandsmerkmal der Anfechtungsklage sei - so das Obergericht - jedoch die Begünstigung der Beschwerdeführerin durch den Schuldner. Es sei nicht relevant, ob die begünstigte Beschwerdeführerin eine Gegenleistung erbringen könnte.
Die Beschwerdeführerin legt vor Bundesgericht nicht dar, inwiefern verfassungsmässige Rechte verletzt worden sein sollen. Sie setzt sich auch nicht im Einzelnen mit den obergerichtlichen Erwägungen auseinander und geht namentlich nicht darauf ein, dass ihre kantonale Beschwerde ungenügend begründet war. Es genügt den Rügeanforderungen nicht, die Schädigungsabsicht des Schuldners in Abrede zu stellen und den Sachverhalt - insbesondere die Gründe für den Lohnverzicht - aus eigener Sicht zu schildern und zu behaupten, das Gegenteil der gerichtlichen Feststellungen könne mittels der beigelegten Akten bewiesen werden. Es ist nicht Aufgabe des Bundesgerichts, in den Beilagen nach Anhaltspunkten für die Darstellung der Beschwerdeführerin zu suchen. Die Beschwerdeführerin kann vor Bundesgericht auch nicht nachholen, was sie vor den kantonalen Instanzen vorzutragen verpasst hat. Im Zusammenhang mit der unterbliebenen Lohnauszahlung setzt sich die Beschwerdeführerin sodann nicht mit der obergerichtlichen Erwägung auseinander, wonach nicht relevant sei, ob sie eine Gegenleistung erbringen könnte. Unerheblich für die Entscheidfindung des Bundesgerichts ist schliesslich die Behauptung der Beschwerdeführerin, sie könne die ihr von den kantonalen Gerichten auferlegten Summen nicht zahlen und ein abschlägiges Urteil des Bundesgerichts würde das Aus für sie bedeuten, da sie Insolvenz anmelden würde.
Die Beschwerde enthält damit keine hinreichenden Rügen. Auf sie kann nicht eingetreten werden.
4.
Bei diesem Ausgang des Verfahrens trägt die Beschwerdeführerin die Gerichtskosten (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Auf die Verfassungsbeschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 2'500.-- werden der Beschwerdeführerin auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Zivilkammer, mitgeteilt.
Lausanne, 22. Dezember 2021
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zingg